Анализ и согласование экспертных данных

Вторым рассматриваемым элементом прогнозной модели являются экспертные данные. Следует отметить, что сегодня ООН, Правительство США, Всемирный банк, Международный институт прикладного системного анализа, а также подавляющее большинство национальных научных и статистических организаций широко используют экспертный метод в своих прогнозах^[1][44J.

Самыми известными методами количественной экспертной оценки являются методы: эталонных балльных оценок; предпочтений; согласование ранжирований; многомерного ранжирования объектов; анализа иерархий; парных сопоставлений; проверки согласованности мнений экспертов на основе коэффициента конкордации; проверки согласованности мнений экспертов на основе расчета коэффициентов ранговой корреляции Спирмена и Кендалла; графической интерпретации результатов экспертизы с помощью функций принадлежности (см., например, А.Н.Воронин^[2] [45]). В свою очередь С.А.Айвазяном был предложен экспертно-статистический метод, который основан на мно- гомерном статистическом анализе “[46].

Обозначим ряд исследуемых факторов Y₁₎ Y₂, .Yj, Y_n. При этом каждый из этих факторов может иметь только качественную определенность или может иметь количественное выражение (например, величины прогнозируемого параметра).В обоих случаях эксперт обязан дать количественную оценку, что дает возможность анализа результатов с применением математического и статистического аппарата. Для факторов качественной определенности такая оценка может быть выражена через количественное сравнение важности этих факторов, которая представляет собой ранг или балл определенной шкалы. Для факторов (параметров) количественной определенности оценка дается числом, которое соответствует предложенному значению этого фактора (параметра).

Обработка результатов экспертного опроса зависит от вида информации, получаемой от экспертов. В целом, если каждый из т экспертов дает на конкретный вопрос анкеты одно значение Qy (где i номер эксперта, a j — номер прогнозируемой величины), то по результатам обработки т значений могут рассчитываться следующие основные показатели:

• среднее значение экспертных оценок (точечный прогноз), характеризующее обобщенное мнение экспертов:

• дисперсию оценок, характеризующую разброс мнений (точечного прогноза) экспертов относительно среднего значения:

• коэффициент вариации, характеризующий степень единодушия экспертов по оценке j фактора (параметра):

При этом чем меньше коэффициент V, тем более схожее мнение у экспертов.

Показатели Mj и су (среднеквадратическое отклонение) позволяют определить интервальный прогноз. Для этого определяются размеры области, в которую с заданной вероятностью попадает будущее значение прогнозируемой величины:

Величины, определяющие доверительный интервал е_г и ?₂> зависят от значения доверительной вероятности /3 и закона распределения суммы величин. Так, если закон распределения можно считать нормальным, то для -й прогнозируемой величины:

где - величина, обратная нормальной функции распределения ф*(х), которая вычисляется для заданного значения вероятности Р.

При обработке экспертных данных осуществляется также оценка противоречия мнений экспертов. Предположим, что мнение -го экс- пертаявляется крайним по значению среди мыслей т экспертов. В связи с тем, что истинное значение дисперсии D:, как правило, неизвестно, а известна лишь ее оценка Dj, то для математической оценки противоречия мысли -го эксперта нужно найти вероятность того, что величина будет больше некоторого числа у:

Если эта вероятность достаточно велика (например больше 0,05- 0,10), то гипотеза о анормальности (j .может быть отвергнута,

в противном случае - принятой.В связи с этим спорной считается такая оценка С_к-у ^ПР^И которой выполняется неравенство:

с вероятностью, меньшей некоторого

значения Of' (значение Of' принимается равным ОД - 0,05).

Следует подчеркнуть, что этот признак может использоваться только тогда, когда распределение оценок экспертов можно считать нормальным.

Часто используется такая форма оценок, когда каждый из т экспертов дает два (минимальное С^и максимальное Сц) значения, между которыми, по мнению эксперта, будет находиться будущее значение прогнозируемой величины. Для обработки результатов опроса, прежде всего, необходимо принять вид закона распределения прогнозируемой величины между крайними оценками каждого эксперта. Как априорный закон распределения, например, может выбираться закон равномерного распределения:

При этом среднее значение (точечный прогноз), который дается /-м экспертом, определяется по формуле:

А точечный прогноз по результатам обобщения мнений всех экспертов определяется по формуле:

В практике прогнозирования часто возникают задачи, для решения которых нужно определить относительную важность факторов, имеющих качественную определенность (используется метод шкальных оценок, метод парных сравнений, метод Дельфи) или определить численное значение параметров объекта прогнозирования, которые имеют количественную определенность (используется метод шкальных оценок, метод Дельфи).

Метод шкальных оценок может использоваться как для факторов, имеющих только качественную определенность, так и для факторов-параметров, которые обозначаются числами (примеры использования различных шкал см. в таблице 3).

По нашему мнению, перспективно в дальнейшем распространить систему статистического инструментария анализа ответов экспертов с применением многофакторных статистических методов по следующим направлениям: классификация экспертов в различные группы, например: оптимисты, реалисты, пессимисты - кластерный анализ; выделение латентных факторов, которые влияют на мнения экспертов - факторный анализ.

Наряду со средним статистическим (М j) ^и методом (k₁₀₀j) максимально возможных оценок для суждения о важности фактора используется также сумма ранговых оценок, полученных j-м фактором ( Sj), которая используется также для определения степени согласованности мнений экспертов.

Для определения суммы рангов проводится ранжирование факторов по убыванию оценок, предоставленных каждым экспертом, каждому фактору: каждая оценка, даваемая фактору ?-м экспертом, представляет собой число натурального ряда таким образом, что число 1 предоставляется максимальной оценке, а число п - минимальной. Если все п оценок разные, то соответствующие числа натурального ряда и есть ранги оценок -го эксперта.

Если среди оценок -го эксперта есть одинаковые, то этим оценкам назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел нату рального ряда. Если эксперт считает себя недостаточно компетентным в некоторых вопросах и не оценивает тот или иной фактор, то при ранжировании величина оценки данного фактора берется равной средней статистической величине оценки ( Мj) этого фактора.

Использование шкальных оценок?3[47].

^'Bochkov A. Application of Analytic Hierarchy Process To Determining A Priori Distribution of Error-Free Running Time For High-Reliability Components / Alexander V. Bochkov // Proceedings of the 10th International Symposium on the Analytic Hierarchy/Network Process. Multi-criteria Decision Making. Pittsburgh, PA, USA. 29/07 - 1/08/2009 / ISSN 1556-8296 [Электронный ресурс]. - Режим доступа: http://www.isahp.org /2009Proceedings/Final_Papers/

Сумма рангов определяется по формуле:

где R.. - ранг оценки -го фактора i-м экспертом; т₁ - количество экспертов, которые оценили хотя бы один фактор (чаще всего т₁ = т). При сравнении важности различных факторов по показателю S ?

наиболее важным следует считать то, что характеризуется наименьшим значением S..

j

Наряду с показателями относительной важности существенным является прямое определение степени согласованности мнения экспертов. Степень согласованности мнения экспертов по относительной важности -го фактора определяется коэффициентом вариации:

где - оценка среднеквадратического отклонения {rrij - количество экспертов, которые оценили -й фактор).

Коэффициент вариации V определяется для каждого фактора и

характеризует степень согласованности мнений экспертов по относительной важности -го фактора.

Степень согласованности мнений экспертов по относительной важности совокупности всех предложений по оценкам факторов определяется коэффициентом конкордации:

где т₁ - количество экспертов, которые оценили хотя бы один фактор; п - количество факторов; d . - отклонения суммы рангов оценок, полученных j-м фактором, от средней арифметической суммы рангов оценок всех факторов; 7) - показатель связанных (равных) рангов оценок, назначенных i-м экспертом.

Отклонение d . определяется по формуле:

где - среднее арифметическое сумм рангов оценок, полученных всеми факторами.

Если все п рангов оценок, определенных i-м экспертом, разные, то Т( = 0; если среди рангов оценок есть одинаковые, то:

где ОС - количество групп связанных рангов; С - количество связанных рангов в -й группе.

Коэффициент конкордации может принимать значения от 0 до 1. Он определяется для каждого вопроса типа «оценка относительной важ- ности».В случае полной согласованности мнений экспертов к = 1. Если значение коэффициента конкордации небольшое, то это означает, что есть слабая согласованность мнений экспертов. Причиной низкой согласованности экспертов может быть либо действительное отсутствие общности мнений экспертов, либо наличие среди экспертов групп с высокой согласованностью мнений, однако их общие мысли противоположны.

Область будущего значения прогнозируемой величины определяется так:

Для определения этой области необходимо сделать предположение о виде закона распределения суммы величины Сц. При достаточно большом числе экспертов (практически при m> 10) это распределение можно считать нормальным. При m < 10 можно использовать распределение Стьюдента.

Среди методов экспертной оценки, используемых для получения коэффициентов относительной важности факторов (параметров, признаков, направления развития и т. д.), считается очень эффективным метод парных сравнений, так как он позволяет определить относительную важность факторов, когда непосредственное сравнение становится невозможным.

Согласно этому методу все факторы сравниваются между собой последовательно, причем каждая последующая оценка не связана с предыдущей.

Следует отметить такие преимущества метода парных сравнений:

• • допускается измерение неравномерно изменяемых по важности показателей;
• • есть большое количество сравнений каждого показателя с другими (повышается точность и открывается возможность изучения большого количества признаков);
• • метод позволяет получить не только среднюю оценку показателя, данную каждым экспертом, но и дисперсию этой оценки, что дает возможность проведения более глубокого статистического анализа;
• • эксперт в процессе экспертизы сосредоточивает свое внимание не на всех факторах сразу, а только на двух, которые сравниваются в данный момент (это облегчает работу и способствует повышению качества экспертизы).

Одним из перспективных методов прогнозирования является метод Дельфи. В основу метода Дельфи положены следующие предположения:

• • задаваемые вопросы должны допускать возможность ответа в виде числа;
• • эксперты должны иметь достаточно информации для того, чтобы дать оценку;
• • ответ на каждый вопрос (оценка) должна обосновываться экспертом.

Точность оценки обусловлена проведением нескольких итераций. На первой итерации эксперт должен дать оценку событиям, перечень которых разработан аналитиком. Далее аналитики проводят статистическую обработку полученных оценок, уточняют перечень событий и анализ оценки. Эти оценки упорядочиваются, например, в порядке убывания. Определяется медиана, за которую берут средний член ряда, по отношению к которому число оценок с начала и с конца ряда будет одинаковым. Затем определяются верхний и нижний квартили, то есть интервалы NQ₁ и NQ₃. Диапазоны этих квартилей в первом приближении равны значению оценок ряда в интервале, который равен 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили создают на оси ряда четыре интервала, среди которых двум средним Q_XM и Q₃M отдается предпочтение. Показатели, полученные таким образом, берутся за характеристики распределения оценок: медиана является характеристикой группового ответа, а диапазон квартилей Q₁M и Q₃M - показателями разброса индивидуальных оценок. Экспертов, оценки которых попали в последние квартили, просят обосновать, то есть объяснить причины расхождения с групповым мнением. Эксперты могут пересмотреть свое мнение и при желании исправить оценки. С полученным обоснованием знакомят остальные экспертов. Такая процедура позволяет всем экспертам учитывать обстоятельства, которые они могли случайно не заметить, или которыми могли пренебречь в первом туре опроса. За тем проводится новый опрос и соответствующая статистическая обработка оценок. Экспертов, оценки которых снова не вошли в интервал между крайними квартилями, просят предоставить контраргументы в пользу своих оценок. Итерации проводятся до того момента, когда не будет оценок, которые не вошли в доверительный интервал.

Практика показывает, что основные результаты использования метода Дельфи состоят в следующем. Типичным для первого опроса является широкий разброс индивидуальных оценок. Посредством осуществления итераций и обратной связи индивидуальные ответы сходятся, а групповая ответ (медиана остаточных индивидуальных оценок) становится более точной.

Для количественного представления данных целесообразно также использование количественных методов экспертного оценивания. Количественные методы экспертных технологий основаны на применении логико-математических и статистических методик для обобщения мнений экспертов, проверки статистической значимости результатов экспертизы, подтверждения опровержения качества экспертизы в целом (см. Р.Кук^э4[48]).

Перспективным методом является многомерное ранжирование - процесс агрегирования всех признаков множества в одну интегральную оценку. Процесс многомерного ранжирования осуществляется следующим образом (см. В.Г.Тоценко'⁵[49]:

• • агрегирование признаков происходит средствами теории «аддитивной ценности», согласно которой ценность целого равна сумме ценностей составляющих;
• • приведение показателей, имеющих различные единицы измерения к одной основе;
• • обеспечение информационной однонаправленности показателей путем преобразований дестимуляторов в стимуляторы с помощью специальных формул.

По такому методу вычисляют много международных экономических индексов - одним из самых известных можно назвать индекс «Doing Business» определяемый Всемирным банком. В нем существует система четких формализованных критериев, по которым ранжируются страны, принимающие участие в исследовании. Среднее значение ран- ^{[3] [4]}

гов является интегральной оценкой легкости ведения бизнеса в стране, причем индекс имеет строго сравнительный характер^{[5] [6] [7] [8]}[50].

Метод анализа иерархий- это один из методов выбора наилучшей альтернативы среди нескольких возможных. Согласно этому методу, для каждой проблемы нужно, прежде всего, определить количество иерархических уровней, критерии принятия решений, варианты альтернативных решений и их начальные весовые коэффициенты. Далее нужно построить структуру в виде дерева-схемы. Для каждого ответвления этой схемы обязательно нужно вычислить промежуточные весовые коэффициенты. Они вычисляются как произведения соответствующих начальных весовых коэффициентов. Чтобы принять окончательное решение используются комбинированные весовые коэффициенты, которые получают, просуммировав соответствующие промежуточные коэффициенты (см. H.R.Weistroffer, C.H.SmithH, S.C.Narukf [51]).Весомое преимущество метода анализа иерархий- его гибкость. Он учитывает самые разнообразные условия проведения экспертиз: многоэтапность, разную компетентность экспертов, оценку различными экспертами только тех показателей объекта, которые они считают нужным и т. д.(см. В.Т.Кушербаева, Ю.А.Сушков [52]).

В связи со стремительным ростом применения технологий поддержки принятия решений, в последнее время отмечается и рост спроса на интеллектуальные системы, предназначенные для анализа и согласования экспертных данных. Среди последних мировых разработок следует отметить: «Expert Choice», «Super Decisions», «Decision Lens», «D-Sight», «Promethee Visual», «Оценка и выбор», «Солон»,а также их различные модификации.

Один из самых распространенных на сегодняшний день метод поддержки принятия решений - метод анализа иерархий и сетей, разработанный Т.Л.Саати^э9[531, реализованный, в частности, в системе «Super Decisions».CncTeMa предназначена для расчета относительной эффективности (весомости) альтернатив на основе их многокритериальной оценки. Граф иерархии критериев в общем случае включает четыре подграфа: преимущества (В - benefits), возможности (О - opportunities), расходы (С - costs) и риски (R - risks). Вес каждой из имеющихся альтернатив и важность критериев определяются экспертами путем парных сравнений в фундаментальной шкале, или непосредственной оценкой. После этого, оценки агрегируются методом взвешенного суммирования. Оценки по критериям, соответствующие предпочтениям и возможностям берутся со знаком плюс, а оценки по критериям, определяют расходы и риски - со знаком минус. Отметим, что «Super Decisions» является лишь одной из многих систем, в основе которой лежат методы анализа иерархий и сетей. Среди других, в которых реализованы эти методы, стоит упомянуть такие системы как «Decision Lens», «Expert Choice», «Makelt Rational», «Mind Decider», «Rational Focal Point»,«Smarter Government» и др.

Система «Promethee Visual» предназначена для построения ранжирования вариантов решений (альтернатив) на основе их оценок по нескольким критериям. Система и метод PROMETHEE (в переводе на русский язык эта аббревиатура расшифровывается как «метод организации ранжирования преимуществ для обогащения оценок»), который лежит в ее основе, разработанные бельгийскими учеными Жаном-Пьером Бранса и Бертраном Марешаль⁶°154]. Агрегация оценок осуществляется методом взвешенной суммы. Критерии могут быть качественными или количественными. Оценки могут быть абсолютными и относительными. Особенность метода - наличие так называемой «функции предпочтения» (обычная, U-образная, V-образная, гауссовская, ступенчатая), которая задает характер отношения преимущества в зависимости от значений одного или нескольких определяющих параметров.

«1000 minds»^{[9] [10]}155 J - инструмент для группового дистанционного принятия решений по ранжированию альтернатив на основе их оценок по нескольким (двумя или более) критериям. В основе математического обеспечения системы лежит метод PAPRIKA (Potentially All Pairwise Ran Kingsofall possible Alternatives), то есть, метод всех потенциальных парных ранжированных возможных альтернатив, который описан, в частности, в работе П.Хансена^[11]156]. В процессе экспертизы экспертам предлагается попарно ординально сравнивать альтернативы из заданного множества (отвечать на вопрос: «какая из двух предложенных альтернатив лучше?»). При этом, как правило, речь идет о достижении компромисса между несколькими критериями.

В визуальном программном пакете «Analytica», разработанном компанией Lumina Decision Systems^[12][57], для иллюстративного представления ситуации, требующей принятия решения, используются так называемые диаграммы действий. Узлы на диаграмме действий могут принадлежать к одному из следующих типов: Decision («решение», количественная величина, которую ЛПР может непосредственно контролировать), Chance («шанс», величина, имеющая вероятностный характер), Objective («цель», главная цель, на которую направлена экспертиза, как правило, экспертиза имеет единственную цель), Variable («переменная»), Constraint («ограничение»), Module («модуль», узел, который, в свою очередь, объединяет несколько узлов низшего уровня, то есть, декомпозирует отдельный большой фрагмент диаграммы), Index («индекс», обозначающий названия элементов определенного множества или диапазона, например, названия месяцев, или названия проектов), Constant («константа»), Function («функция», данный узел вызывает имеющуюся или пользовательскую функцию или библиотеку), Button («кнопка», вызывающая выполнение определенной пользовательской процедуры (script)). При этом математическое обеспечение системы основывается не на каких-то конкретных методах многокритериальной поддержки принятия решений, а, в основном, на статистическом инструментарии. Значительное внимание уделяется построению функций распределения вероятностей величин, характеризующих альтернативные варианты решения. Система не позволяет вводить оценки в виде парных сравнений - от эксперта требуется, чтобы он вводил единицы измерения, диапазоны, предельные значения величин, влияющих на достижение цели.

Система«Тгее Age Рго»^[13][58] предназначена для оценки различных вариантов решений. Возможные варианты представляются в виде ветвей дерева решений. Граф дерева решений может включать вершины различных типов: «шанс» (вероятностную вершину), «вершину, которая соответствует логической переменной» и др. Фактически, «Tree Age Pro», подобно системе «Analytica», представляет собой целую среду с широкими возможностями для автоматизации и структурирования процесса экспертной оценки и выбора при решении задач различной специфики.

«ОЦЕНКА И ВЫБОР» - программная система, предназначенная для решения задач многокритериального принятия решений при условии, что задача может быть иерархически структурирована (от критериев верхнего уровня к критериям нижнего: цель анализа - обобщенные показатели - показатели). «ОЦЕНКА И ВЫБОР» использует различные методы поддержки принятия решений: метод анализа иерархий Т.Саати, функции ценности, метод простого взвешивания, доминантный анализ Парето, анализ Выгоды/Затраты. Авторами системы является А.И.Иоффин (Канада) и А.Д.Абдрахимов (Россия)^[14][59]. Конечный результат экспертизы - рейтинги альтернатив, рассчитанные как взвешенные суммы соответствующих показателей, характеризующих эти альтернативы. Показатели могут быть качественными, количественными, логического типа (да/нет). Стоит отметить, что система априорно ориентирована на дистанционное решение задач поддержки принятия решений. Подробнее с описанием возможностей и процесса функционирования системы можно ознакомиться здесь.

В имеющихся экспертных системах полнота и адекватность информации ограничиваются за счет того, что эксперту априорно предлагается некоторая определенная шкала для введения им своих оценок. Хотя и очевидно, что обстоятельность наиболее удобной шкалы оценивания для конкретного эксперта определяется уровнем его информированности в рассматриваемом вопросе, имеющиеся системы не дают возможности эксперту свободно воспользоваться той шкалой для оценки, которая лучше всего отвечает его информированности (знаниям, опыту и интуиции) в каждом конкретном вопросе. Это ограничение фактически приводит к неадекватному отражению знаний эксперта в базе знаний системы при формировании модели конкретной предметной области, и, как следствие, к снижению достоверности рекомендаций по принятию решений. Поскольку речь идет, в основном, о решении высоких организационных уровней, цена неверного решения в настоящее время оказывается слишком высокой, и постоянно растет. Из-за этого, адекватное представление и обработка экспертной информации в процессе принятия решений является приоритетным направлением научных исследований, и насущные проблемы, связанные с этими вопросами, требуют безотлагательного решения. Учитывая вышеупомянутые ограничения имеющихся технологий, возникает актуальная проблема разработки инструментария поддержки принятия решений различного назначения, что позволит более эффективно, правильно, без давления на эксперта получать, толковать, обрабатывать, согласовывать и агрегировать индивидуальные экспертные оценки, и, тем самым, позволит повысить эффективность процесса принятия решений на основе этих экспертных данных.

Из приведенного выше обзора различных подходов к анализу статистических и экспертных данных понятно, что неопределенность - существенное свойство социально-экономических процессов. Причиной этому является чрезвычайная сложность, взаимосвязанность и взаимообусловленность социально-экономических систем, в которых совместное действие нескольких факторов (одно- или разнонаправленных) может порой приводить к неожиданной реакции.

Комплексное использование методов математической статистики обеспечивает наиболее полное раскрытие сути, закономерностей и тенденций развития социально-экономических явлений и позволяет строить прогнозы их развития. Овладение современными методами математической статистики и их использование позволяет осуществить на основе достоверной оценки состояния и возможностей различных сфер деятельности, своевременного определения тенденций, прогнозирование развития и оценки весь комплекс связей, детерминирующий социально-экономическое развитие.

Очевидно, что экспертно-аналитическая работа при системности подхода к ее организации может стать основой для решения сложных задач прогнозирования развития экономических систем, которые практически не поддаются формализации. Экспертно-аналитическое сопровождение прогнозирования это, по сути, новое направление, прикладные стороны которого порождают сложные самостоятельные научные проблемы. Таким образом, в настоящий момент существуют объективные предпосылки выделения теории экспертного оценивания в отдельную самостоятельную проблемную отрасль знаний. При этом, поскольку эффективность, достоверность и полнота экспертизы зависит от профессиональных и личностных качеств экспертов, отдельного исследования заслуживают принципы формирования экспертных групп, что может быть предметом следующих исследований.

Рассмотренные методики экспертного оценивания созданы, чтобы достичь максимально объективных и «справедливых» итоговых результатов, обеспечить лиц, принимающих решения, качественной, статистически значимой информацией. В то же время по своей сути, целям и используемым инструментам эти методики являются достаточно разноплановыми.

• [1] 5(,Lutz W., Saariluoma P., Sanderson W.C., ScherbovS.New Developments in the Methodology ofExpert- and Argument-Based Probabilistic Population Forecasting.InterimReport. - Ladenburg,2000. - P. 6. мВоронин A.H. Нелинейная схема компромиссов в многокритериальных задачах оцениванияи оптимизации. // Кибернетика и системный анализ, 2009, №4. - С. 106-114.
• [2] ^Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. - М.:Финансы и статистика, 1989. - с. 334.
• [3] ^Cooke R. Experts in Uncertainty.Oxford University Press, 1991.
• [4] Тоценко В.Г. Методы и системы поддержки принятия решений. Алгоритмический аспект. -Киев: Наукова думка, 2002. - 382 с
• [5] Links to the methodologies for each Doing Business topic and to the Doing Business 2015 questionnaire instruments [Электронный ресурс]. - Режим доступа:http://www.doingbusiness.org/methodology
• [6] Weistroffer H.R.. Smith С. H., Narula S. C. Multiple criteria decision support software, Ch 24 in:Figueira J., Greco S. and Ehrgott M. eds, Multiple Criteria Decision Analysis: State of the Art Surveys Series / H.R. Weistroffer, C.H. Smith and S.C. Narula; N.Y.: Springer, - 2005.
• [7] Кушербаева B.T., СушковЮ.А. Шкалы и их свойства в методе анализа иерархий. // ИзвестияКабардино-Балкарского центра РАН. - 2010. - Т. 5(37). - С. 15-23.
• [8] Saaty Т. L. Decision Making with Dependence and Feedback: The analytic Network Process / T.L. Saaty; Pittsburgh: RWS Publicaitons. - 1996. - 370 p.
• [9] w,Mareschal В. «PROMETHEE Methods», Ch 5 in: Figueira, J, Greco, S and Ehrgott, M, eds, Multiple Criteria Decision Analysis: State of the Art Surveys Series / B. Mareschal, J.-P. Brans, NewYork: Springer, - 2005.
• [10] Decision-making Support System «lOOOminds» [Электронный ресурс]. - Режим доступа:http://www.1000minds.com/
• [11] Hansen Р. A new method for scoring multi-attribute value models using pairwise rankings ofalternatives / P. Hansen and F. Ornbler// Journal of Multi-Criteria Decision Analysis. - 2008. - 15.-P.87-107.
• [12] Decision-making Support System «Analytica» [Электронный ресурс]. - Режим доступа:https://www.lumina.com/support/downloads/
• [13] MDecision-making Support System «Tree Age Pro» [Электронный ресурс]. - Режим доступа:http://www.treeage.com/
• [14] “Система поддержки принятия решений «ОЦЕНКА И ВЫБОР» [Электронный ресурс]. - Режимдоступа: http://atss.brinkster.net/Noosphere/Ru/Magazine/Default.asp?file=20030801_Ioffin_Abdnihimov.htm