8. Модели и методы качественного оценивания систем

 

Методы оценивания систем разделяются на качественные и количественные.

Качественные методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках, отсутствуют описания закономерностей систем в виде аналитических зависимостей. В результате такого моделирования разрабатывается концептуальная модель системы.

Количественные методы используются на последующих этапах моделирования для количественного анализа вариантов системы.

Между этими крайними методами имеются и такие, с помощью которых стремятся охватить все этапы моделирования от постановки задачи до оценки вариантов, но для представления задачи оценивания привлекают разные исходные концепции и терминологию с разной степенью формализации. К ним относят:

·   кибернетический подход к разработке адаптивных систем управления, проектирования и принятия решений (который исходит из теории автоматического управления применительно к организационным системам);

·   информационно-гносеологический подход к моделированию систем (основанный на общности процессов отражения, познания в системах различной физической природы);

·   структурный и объектно-ориентированные подходы системного анализа;

·   метод ситуационного моделирования;

·   метод имитационного динамического моделирования.

 

Такие методы позволяют разрабатывать как концептуальные, так и строго формализованные модели, обеспечивающие требуемое качество оценки систем.

Во всех методах смысл задачи оценивания состоит в сопоставлении рассматриваемой системе (альтернативе) вектора из критериального пространства К_m, координаты точек которого рассматриваются как оценки по соответствующим критериям.

Например, пусть множество Q разбито на подмножества Q1, Q2,… Qn. Для каждого элемента х  Q необходимо указать, к какому из подмножеств Qi он относится. В этом случае элементу х сопоставляется одно из чисел 1, 2, ... n, в зависимости от номера содержащего его подмножества.

Простейшей формой задачи оценивания является обычная задача измерения, когда оценивание есть сравнение с эталоном, а решение задачи находится подсчетом числа эталонных единиц в измеряемом объекте.

Например, пусть х - отрезок, длину которого надо измерить. В этом случае отрезку сопоставляется действительное число φ(х) - его длина.

Более сложные задачи оценивания разделяются на задачи: ранжирования, численной оценки, парного сравнения, классификации.

·   Ранжирование - упорядочение объектов, образующих систему, по убыванию (возрастанию) значения некоторого признака.

·   Численная оценка (нормирование) - сопоставление системе одного или нескольких чисел.

·   Парные сравнения - выявление лучшего из двух имеющихся объектов.

·   Классификация - отнесение заданного элемента к одному из подмножеств.

 

Перечисленные задачи могут быть решены непосредственно лицом, принимающим решение, или с помощью экспертов - специалистов в исследуемой области. Во втором случае решение задачи оценивания называется экспертизой.

Качественные методы измерения и оценивания характеристик систем, используемые в системном анализе, достаточно многочисленны и разнообразны.

К основным методам качественного оценивания систем относят:

·     экспертных оценок

·     методы типа мозговой атаки или коллективной генерации идей;

·     типа сценариев

·     типа Дельфи

·     типа дерева целей

·     морфологические методы.

 

8.1. Экспертные методы

 

Группа методов экспертных (латинское expert -‘опытный’) оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне.

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К таким требованиям относятся:

·   распределение оценок, полученных от экспертов, должно быть ‘гладким‘;

·   две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

 

Преимущества коллективных экспертных методов перед индивидуальными состоит в следующем.

·    Сумма информации, которой обладают все члены группы экспертов, не меньше информации, располагаемой каждым из них. При удачном (правильном) подборе группы суммарная информация, располагаемая ею, гораздо больше информации любого из участников группы.

·    При коллективной экспертизе количество учитываемых альтернатив обычно превосходит число альтернатив, которыми оперирует отдельный член группы.

·    Правильно организованное взаимодействие членов группы позволяет компенсировать полярность их мнений и тем самым способствует разработке более обоснованного прогнозного решения.

 

Кроме того, каждый из методов коллективной оценки прогноза может иметь свои преимущества, следующие из способа организации экспертизы, который включает в себя подбор экспертов, учет степени их компетентности, установление обратной связи и т.п.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса.

К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению.

Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узко-субъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Методы обработки групповых мнений и принятия коллективных решений есть общее определение для разнообразных методов построения некоторого коллективного мнения по совокупности индивидуальных мнений (или предположений) — голосование, проведение опроса, или проведение экспертизы, т. е. измерение группой людей свойств определенных объектов или признаков объектов, если эти признаки носят субъективный характер или нет измерительных приборов.

 

Примеры:

1)     Оценка качества продукции.

2)     Решение о победителях соревнований, конкурсов и т. д.

 

Совокупность опрашиваемых участников процесса называется референтной или экспертной группой, а для оцениваемых объектов принято использовать термин факторы.

Принятие решений с помощью экспертов включает следующие типовые этапы (

Рисунок 0‑1):

 

Рисунок 0‑1 . Схема процесса проведения сбора и обработки индивидуальных данных при принятии групповых решений

 

Методы сбора данных включают:

·   проверку результатов на обоснованность;

·   обсуждение результатов и зацикливание (коррекция анкеты, переформирование группы и т. д.).

·   оформление решения.

 

8.1.1. Методы сбора данных

 

Результатом экспертизы является так называемая совокупность групповых предпочтений, к изображению которой имеются два альтернативных подхода (как и к изображению индивидуальных предпочтений):

-    ординальное (порядковое) предпочтение — здесь объекты упорядочиваются по рангу или месту в общем ряду совокупности. Ранг — это число i= 1, ..., n, где n — общая численность факторов;

-    кардинальное (числовое) представление. Здесь каждому фактору ставится в соответствие вес или число wi, вся группа оцениваемых факторов описывается вектором.

 

,   обычно 

 

Наибольшее распространение получили следующие три метода:

·   ранжирование;

·   нормирование;

·   парные сравнения.

 

Рассмотрим данные методы сбора для общей ситуации: наличия п объектов а₁, а₂,... a_n  (или факторов Ф1, Ф2, ..., Фn) и т экспертов Э1, ..., Э2, ..., Эm.

 

8.1.1.1. Ранжирование (ординарный подход)

 

Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех факторов (объектов) по отношению строгого порядка составляется упорядоченная последовательность а₁  а₂  ...  a_n, где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел х1 >... > xN, где х1=р (a₁).

Возможна и обратная последовательность х₁ <... < x_N, в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.

Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале.

В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел:

 

x1=φ(a1), x2=φ(a2), … xn=φ(an)

 

т.е. используется числовая последовательность. Числа х₁, х₂,...x_n в этом случае называются рангами и обычно обозначаются буквами г₁, r₂, ... r_n. Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например, полезности), отношения типа «более предпочтительно» (  ), «менее предпочтительно» (  ), «равноценно» (  ) или «безразлично» (~). Упорядочение объектов при этом может иметь, например, следующий вид:

 

a1  a2  a3 ≈ a4 ≈ a5   a6  …  an-1 ≈  an

 

Такое упорядочение образует нестрогий линейный порядок. Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом.

Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами.

Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов n объектов равна сумме натуральных чисел от единицы до n. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

В общем случае, если, например, не удается различать факторы, занимающие места с р по q (область безразличия), то им всем присваивается ранг:

 

 

(фактически связанный ранг – это связанный ранг для данного промежутка). Для приведенного примера упорядочения на основе нестрогого линейного порядка при n = 10 ранги объектов а₃, а₄, а₅ будут равными г₃ = г₄ = г₅ = (3+4+5) / 3 = 4. В этом же примере ранги объектов а₉, и  а₁₀ также одинаковы и равны среднеарифметическому г₉ = г10 = (9+10) / 2 = 9,5.

Существенно, что сумма всех рангов для данного эксперта должна быть постоянной и равняться .

Результатом опроса в случае метода ранжирования является матрица R= Rij, i=1...n, j= l...m,   для j= 1, ..., m:

 

Пример ЭМ- 1:

Пусть n = 5, m = 4, i=1...5, j = 1...4, тогда матрица R= (Rij) может иметь вид, приведенный в Таблица 0‑1

Таблица 0‑1

Пример результата опроса методом ранжирования

 

 

Здесь сумма каждого столбца составляет  

В третьем и четвертом столбцах наблюдаются связанные ранги, причем в третьем столбце для опрашиваемого в области безразличия находятся объекты с рангами 2, 3, 4, поэтому значения связанных рангов составят R_CB = (2 + 3 + 4)/3 = 3; четвертый опрашиваемый не различает первый и второй объекты, поэтому здесь Rсв =(l+2)/2=l,5.

 

8.1.1.2. Нормирование (балльная кардинальная оценка)

 

Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа.

На Рисунок 0‑2 в качестве примера приведено такое представление для девяти объектов на отрезок числовой оси [0,1].

Здесь каждый эксперт Эj приписывает ai определенный балл ρij   [0, 1]. Оценки удобно задавать в анкете так, как это показано на Рисунок 0‑2

 

 

Рисунок 0‑2 Пример сбора данных методом нормирования

 

Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов:

ρ1=0,65  ρ2=0,95  ρ3=0,95 ….

Результатом работы группы экспертов является таблица (матрица):

 

     (0‑1)

 

где ρij — балл, присвоенный i-му фактору с точки зрения j-го опрашиваемого.

Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.

Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

 

8.1.1.3. Парное сравнение (парные оценки)

 

Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов a_i, a_j  эксперт упорядочивает ее, высказывая либо a_i  a_j, либо a_j  a_j, либо a_i  a_j.

,

, , , , , , , ,

В практике парного сравнения используются следующие числовые представления:

 

      (1)

    (2)

Каждый j-й эксперт записывает свой результат в формат матрицы В^j = (  ), имеющей размерность n x n (иногда для них достаточно полуматрицы).

 

Пример ЭМ- 2 (качественная оценка).

Пусть, например, имеются пять объектов a₁, a₂, a₃, a₄, a₅ и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения отдельного эксперта Эj представляются как

 

Таблица 0‑2

Пример матрицы парных сравнений (вариант 1)

 

 или

Таблица 0‑3

Пример матрицы парных сравнений (вариант 2)

 

 

которые называются матрицами парных сравнений.

В таблице на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление Таблица 0‑3 характерно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в Таблица 0‑3 приведены результаты измерения пяти объектов с использованием представления (2), соответствующие

Таблица 0‑2.

 

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а₁  предпочтительнее объекта а₂,  а₂ предпочтительнее объекта а₃  и в то же время а₃ предпочтительнее объекта а₁. Выявление такой ошибки можно произвести путем визуального контроля графического представления матрицы предпочтений на присутствие в нем циклов.

В случае разбиения объекта на классы эксперт может к одному классу отнести пары а₁ и а₂, а₂ и а_3,  но в то же время отнести к различным классам а₁ и а₃.

Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д.

Непоследовательность эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзитивности.

Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Результаты в матричном виде Вj имеют следующий вид (будем в дальнейшем изложении ориентироваться на вариант представления результатов сравнений в виде Таблица 0‑3):

 

Пример ЭМ- 3

  (0‑2)

8.1.2. Обработка результатов опроса

 

Основным результатом обработки является вектор весов факторов:

 

 

или ряд рангов — для ординального указания предпочтений, который строится в два этапа.

1)                Построение системы векторов или матрицы Х = (х_ij)

2)                 

 

Это матрица индивидуальных весов, где j-й столбец описывает веса, приписанные j-м экспертом j=1...m, по всем  n факторам, причем

 для j=1,…m

 

3)                Построение групповых весов (при использовании метода ранжирования обычно получают также групповые ранги).

Рассмотрим сначала построение X отдельно по каждому из методов сбора данных.

 

8.1.2.1. Метод ранжирования

 

Здесь в качестве исходной информации используется R= (Rij).

1)                Строится матрица преобразованных рангов

 

 

элементы которой Rij вычисляются по следующему правилу:

 

 

2)                Строится матрица нормированных весов Х= (х_ij), где

 

 

поскольку

 для j=1,2,…m

 

Если воспользоваться данными Таблица 0‑1, то матрица R' = (  ) определяется из соотношения  = 5 – R_ij (для всех значений i, j):

 

Здесь  =10 и после нормирования элементов

 

8.1.2.2. Метод нормирования

 

Здесь процедура наиболее проста: исходя из матрицы (0‑1) ρ = (ρ _ij) _{i=1,..n, j=1,…m} посредством нормирования к единице определяются элементы матрицы X:

 

8.1.2.3. Метод парных сравнений

 

Матрица X = (x_ij)_{n x m} здесь строится на базе последовательности матриц (0‑2) В: {В', ..., В^j, ..., В^m}.

Рассмотрим вначале построение j-го столбца матрицы X (вектора х^j), опуская далее временно в тексте индекс j

,

B=Bj=(bik)nxm                

Здесь существуют по крайней мере два метода перехода от В к х — без учета и с учетом косвенных (т. е. неявных, скрытых в структуре матрицы В) предпочтений.

Здесь вначале определяется сумма в каждой строке матрицы В, дающая вектор-столбец β:

β

где               — сумма элементов по i-й строке;

 =  (b_ik —элемент матрицы В = В^j).

Затем осуществляется нормирование элементов вектора, приводящее к весам:

причем

Для матрицы (0‑2)

 = 3,

 =7, …

т.е.

и поскольку

Если факторам поставить в соответствие места по их весам, то это будет

 

8.1.3. Построение результата

 

Итак, вне зависимости от того, какой метод сбора данных использовался, в результате первого этапа мы имеем совокупность векторов х₁ ..., х_j, ..., х_m или матрицу Х= (х_ij), показывающую (количественно), как оценивает каждый из опрашиваемых все факторы.

Теперь необходимо построить групповое мнение или некоторый центроид системы векторов х₁ ..., х_j, ..., х_m.

Центроид находится где-то внутри области, ограниченной крайними мнениями», а фактическое его местонахождение зависит от выбора меры или критерия расстояния между векторами х₁ ... х_m.

Классической мерой близости является квадрат отклонения. Поэтому наиболее распространенный метод построения центроида есть нахождение вектора-столбца w, такого, что

   

Известно, что это выполняется тогда и только тогда, когда

т. е.  является средним арифметическим оценок варианта a_i экспертами Э₁, ..., Э_j, ..., Э_m.

Вернемся к примеру Таблица 0‑1 (используем матрицу X весов, полученную выше).

 

 

Отсюда следует, что

 

 

Здесь необходимо заметить, что при использовании метода ранжирования в качестве результата часто приводят групповые ранги.

В результате могут быть получены порядковые групповые предпочтения. Более предпочтительному фактору присваивается больший вес. Для примера  (Таблица 0‑1) результат принимает вид Таблица 0‑4.

Таблица 0‑4

Построение групповых рангов по весам

 

 

Простое усреднение факторов содержит предположение о равной компетентности (весах) экспертов. Однако, это не всегда так, и логично предположить, что более компетентный должен «притягивать к себе» центроид мнений.

Назовем вектором нормированных весов экспертов (или вектором компетентностей) вектор

 

 

Оценка i-го фактора с учетом весов экспертов есть:

или

Отсутствие взвешивания формально эквивалентно случаю Кj = 1/m, т. е. ситуации равной компетентности.

Для построения К можно применять различные подходы:

-      перекрестные оценки экспертами друг друга (ранжирование, например, результаты которого обрабатываются обычным образом);

-      оценка экспертов данной группы экспертами другой группы.

 

Данные подходы явно носят выраженный субъективный характер.

По-видимому, более объективной, хотя это и не обязательно, является оценка эксперта по его результатам голосования, причем более компетентным можно считать того эксперта, оценки которого наиболее близки к оценкам группы (однако, это может быть не компетентность, а конформизм).

Рассмотрим процедуру такой оценки на следующем примере:

 

Пример ЭМ- 4.

Пусть n = 2, m = 3, и матрица нормированных индивидуальных весов (X) есть:

 

 

Предположим, что эксперты равнокомпетентны, и определим веса факторов.

 

 

В матричной форме:

 

 

Где

 

 

вектор начальной (априорной) компетентности (компоненты равны между собой).

Теперь можно уточнить вектор компетентности. В результате больший вес должен получить тот эксперт, который дал большую оценку фактору, получившему большее групповое предпочтение.

Для этого сначала суммируем индивидуальные оценки экспертами факторов, взвесив их весами факторов:

в матричной форме Q(i)= XТ x W(i), где Т- символ транспозиции

 

 

затем результат нормируется

 

Для рассматриваемого примера:

 

 

т. е. вектор «невзвешенных» коэффициентов для экспертов принимает вид:

 

 

Нормирующий множитель есть:

 

Откуда после нормирования получаем веса компетентности после первой итерации:

 

 

Далее пересчитываются веса с учетом К(1)

 

 

Имеем процесс вида

 

где

 - модуль вектора

 - исходное состояние вектора K

 

8.1.4. Анализ результатов

 

Итак, получено групповое мнение в кардинальном или ординальном представлении.

На этапе анализа пытаются оценить, можно ли доверять полученным результатам. Действительно, один и тот же центроид может получиться при различных конфигурациях области мнений (в                                            г

 

Рисунок 0‑3).

 

 

а                                                             б

 

в                                                               г

 

Рисунок 0‑3 Варианты конфигураций области мнений: а - плотная; б - размытая; в - распадающаяся на коалиции; г - с особым мнением

 

Математика не может дать точные рекомендации, как действовать организаторам голосования при разных конфигурациях. Можно лишь оценить количественно плотность области мнений, оценить ее размеры и расстояния между векторами, а также от центроида области до каждого из векторов.

Методы такой оценки, рассматриваемые далее, исходят из априорного (начального) предположения о том, что существует некая объективная система оценок, и индивидуальные оценки суть флуктуации, вероятностные отклонения. Поэтому на данном этапе анализа используют методы теории вероятностей и иногда говорят о «статистическом анализе результата».

Традиционной мерой оценки плотности области мнений для случая голосования методом ранжирования является коэффициент конкордации Кендалла (W).

Коэффициент конкордации W изменяется от 1 до приблизительно нуля, при этом он равен 1, если все ранжировки комонотонны, т. е. совпадают, и наоборот, равен нулю, если они образуют все возможные перестановки, т. е. они все контрамонотонны (это в точности возможно только при п=т).

Строится W следующим образом.

Вначале в каждой строке матрицы R = {R_j) вычисляется сумма элементов (рангов):

 

 

Для примера Таблица 0‑1 это составляет:

 

По матрице R в целом вычисляется среднее значение R;.

 

 

Далее определяется s - сумма квадратов отклонений значений в строке матрицы R от

 

Для примера 1 это

 

 

Определяем далее W по формуле:

 

 

где  — нормирующий множитель.

Рассмотрим вывод  для случая отсутствия связанных рангов.

Если все ранжирования комонотонны, то

Определим s_max для случая совпадающих ранжирований. Здесь

 

 

соответственно

 

Тогда

 

откуда

 

Тогда коэффициент конкордации может быть вычислен путем нормирования s:

 

 

Для случая наличия связанных рангов W приобретает более сложный вид, поэтому данное выражение дает только приближенное значение.

Для

Пример ЭМ- 1:

 

(Получено приближенное значение, так как в реальной таблице присутствовали связанные ранги.)

Далее полученное значение проверяется на значимость (поскольку в принципе то или иное W может появиться случайно).

Интуитивно понятно, что чем больше п и/или т, тем ниже вероятность того, что случайно расставленные экспертами ранги выстроятся так, что W будет велик (т. е. близко совпадающими последовательностями).

Если все ранжирования случайны, то некоторая величина α = т(п-1) W подчиняется закону, близкому  (распределение Пирсона) с к = {п - 1) степенями свободы.

Чтобы утверждать, что ранжирования зависимы (т. е. совпадение мнений экспертов не случайно, а имеет объективную подоплеку), достаточно убедиться, что в данной экспертизе α не распределено по  или, иначе говоря, коэффициент конкордации  W значим.

Надо при этом иметь в виду, что с абсолютной надежностью никогда нельзя утверждать, что данная случайная величина распределена или нет по данному закону. Можно говорить лишь о высокой вероятности данной гипотезы.

Для различных к (степеней свободы) функции плотности вероятностей различны. Распределение  принято табулировать в форме особым образом организованных таблиц, содержащих

 

k, β, P(x≤β) =

 

и называемых таблицами квантилей, фрагмент приведен в Таблица 0‑5

Таблица 0‑5.

Фрагмент таблицы квантилей распределения

 

 

Здесь β(Р, к) — квантили, т. е. такие числа, что вероятность того, что х> β равна Р_k (β).

Пусть необходимо проверить гипотезу о том, что некоторая случайная величина а принадлежит выборке из  с к степенями свободы, с надежностью (вероятностью ошибки) Р₀, (где Р₀ — малое число).

В таблице квантилей на пересечении столбца Р_k (β) и строки к содержится β, и если α > β, то вероятность того, что α принадлежит выборке из , есть Р_к (β).

Пусть m = 5, n = 7, W=0,8, Р₀ = 0,1, тогда α = 5 • 6 • 0,8 = 24 (здесь число степеней свободы к = 7 - 1 = 6).

На пересечении строки 6 и столбца 0,1 находится число β > 10,6. Очевидно, 24 > 10,6, откуда следует, что α > β, и поэтому коэффициент W значим (вероятность ошибки около 0,1).

Анализ результатов экспертизы может включать также установление расстояний между индивидуальными предпочтениями. В частности, расстояние между ранжированиями R_ij и R_il может бытъ оценено коэффициентом корреляции Спирмена:

 

Для

Пример ЭМ- 1 вычислим r_ij для j = 1 и l= 2, т. е. для 1-го и 2-го экспертов:

 

 

8.2. Методы типа “Мозговая атака” или “Коллективная генерация идей”

 

Концепция «мозговая атака» получила широкое распространение с начала 50-х гг. как метод тренировки мышления, нацененный на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления. Методы этого типа известны также под названиями «мозговой штурм», «конференция идей», «коллективная генерация идей» (КГИ).

Его сущность состоит в том, что при обосновании прогноза дифференцированно решаются две задачи:

·    генерирование новых идей в отношении возможных вариантов развития процесса;

·    анализ и оценка выдвинутых идей.

 

Обычно при проведении сессий КГИ стараются выполнять определенные правила, суть которых:

·    обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;

·    приветствовать любые идеи, даже если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производятся позднее);

·    не допускать критики любой идеи, не объявлять ее ложной и не прекращать обсуждение;

·    желательно высказывать как можно больше идей, особенно нетривиальных.

 

В зависимости от принятых правил и жесткости их выполнения различают прямую «мозговую атаку», метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время стараются ввести правила, помогающие сформировать некоторую систему идей, т.е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно нацелить участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед началом сессии участникам представляется некоторая предварительная информация об обсуждаемой проблеме в письменной или устной форме. Подобием сессий КГИ можно считать разного рода совещания – конструктораты, заседания научных советов по проблемам, заседания специально создаваемых временных комиссий и другие собрания компетентных специалистов.

Так как на практике трудно собрать специалистов ввиду их занятости по основной работе, желательно привлекать компетентных специалистов, не требуя обязательного их присутствия на общих собраниях КГИ и устного высказывания своих соображений хотя бы на первом этапе системного анализа при формировании предварительных вариантов.

Обычно все специалисты в ходе заседания разделяются на две группы, состоящие из одних и тех же или разных представителей так, что одна группа генерирует идеи, а вторая — их анализирует. При этом в ходе заседания запрещается высказывать любые критические оценки ценности идеи; приветствуется выдвижение как можно большего их количества, поскольку предполагается, что вероятность появления действительно ценной идеи повышается с увеличением их общего числа; поощряется свободный обмен мнениями, т.е. высказанные мысли должны подхватываться и развиваться и т.п. Ходом заседания руководит беспристрастный ведущий. Его задача состоит в том, чтобы направлять развитие дискуссии в нужное русло, к достижению заданной цели, не сбиваясь на беседу, соревнование в остроумии и т.п. В то же время он не должен навязывать участникам дискуссии свое мнение, ориентировать их на определенный способ мышления.

Роль ведущего в поиске решения с помощью метода «мозгового штурма» чрезвычайно велика. Он должен следить за тем, чтобы эксперты при выработке решения не встали на путь компромиссов и взаимных уступок. Психологически для группы, как для единого организма, проблема достижения соглашения часто оказывается более важной, чем разработка тщательно продуманного и полезного прогноза. Кроме того, в силу чрезмерной активности один или несколько членов группы, обладающие даром убеждения, могут направить всю группу по ложному пути. Группа может оказать давление на своих членов, вынуждая отдельных специалистов соглашаться с большинством, даже если каждый из них понимает, что точка зрения большинства ошибочна.

Особое значение в этом методе придается вопросам формирования группы экспертов. При неудачном их подборе группа может разделять общее предубеждение, и прогноз в этом случае оказывается предрешенным без проведения глубокого анализа проблемы. Вследствие этого нежелательна слишком тесная связь между членами группы. Никто из них не должен «давить» на окружающих своим высоким авторитетом, и потому экспертов целесообразно подбирать из людей, занимающих примерно одинаковое служебное и общественное положение.

Критика идей осуществляется в неявной форме, скорее можно говорить даже не о критике, а о степени поддержки каждой идеи. Более сильная идея должна получать и большую поддержку.

После проведения заседания наступает второй этап разработки прогноза, состоящий в анализе его результатов, выборе и обосновании окончательного решения. В ходе его выдвинутые предположения классифицируются по определенным критериям, оцениваются по принятой шкале значимости. Если возможности формализации решений достаточно велики, то на этапе анализа целесообразно использовать и математико-статистические методы обработки их количественных характеристик.

Метод «мозгового штурма» рекомендуется использовать в практических ситуациях, характеризующихся отсутствием реальных, достаточно очевидных вариантов развития процессов в перспективе. Наиболее часто он применяется на уровне крупных фирм, концернов для анализа ситуации, складывающейся на рынке, для определения круга мероприятий по преодолению «барьеров». Известны случаи его использования военными организациями при прогнозировании конфликтных ситуаций, в области развития вооружения. Этот метод также используется в более крупных прогнозных системах для осуществления аналитических функций при анализе вариантов решений.

 

8.3. Методы типа Дельфи

 

Название методов экспертной оценки типа Дельфи связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям находился Дельфийский оракул.

В отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

 

8.3.1. Метод Дельфи

 

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура «мозговой атаки», которая должна помочь снизить влияние психологических факторов и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев за счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих результатов при оценке значимости мнений экспертов.

Процедура Дельфи-метода заключается в следующем:

1) организуется последовательность циклов «мозговой атаки»;

2) разрабатывается программа последовательных индивидуальных опросов с помощью вопросников, исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;

3) в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

 

Как правило, на практике оказывается достаточным проведение четырех туров опросов. После чего мнения всех экспертов либо сближаются, либо образуют две (или больше) группы существенно различающихся мнений. В первом случае достигнутый результат со значительной степенью обоснованности может быть рассмотрен в качестве прогнозного решения, во втором — необходимо продолжить исследование проблем развития объекта с учетом выдвигаемой различными группами аргументации.

Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.

Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия. За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом.

Недостатки метода Дельфи:

·    значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;

·    необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию, что сказывается на результатах экспертизы.

 

В 60-е гг. область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди них особого внимания заслуживают методы QUEST, SEER, PATTERN.

 

8.3.2. Метод QUEST

 

Метод QUEST (Qualitative Utility Estimates for Science and Technology - количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого метода экспертной оценки) различных отраслей и научных направлений в решение какого-либо круга задач.

 

8.3.4. Метод SEER

 

Метод SEER (System for Event Evaluation and Review - система оценок и обзора событий) предусматривает всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура - специалисты промышленности, эксперты второго тура - наиболее квалифицированные специалисты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов за исключением тех случаев, когда его ответ выпадает из некоторого интервала,  котором находится большинство оценок (например, интервала, в котором находится 90 % всех оценок).

 

8.3.5. Методы типа сценариев

 

Методы подготовки и согласования представлений о проблеме или анализируемом объекте, изложенные в письменном виде, получили название сценария. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, упорядоченные по времени. Однако требование временных координат позднее было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы или предложения по ее решению независимо от того, в какой форме он представлен.

Сценарий не только предусматривает содержательные рассуждения, которые помогают не упустить детали, обычно не учитываемые при формальном представлении системы (в этом и заключалась первоначально основная роль сценария), но и содержит результаты количественного технико-экономического или статистического анализа с предварительными выводами, которые можно получить на их основе. Группа экспертов, подготавливающих сценарии, пользуется правом получения необходимых справок от организаций, консультаций специалистов. Понятие сценариев расширяется в направлении как областей применения, так и форм представления и методов их разработки: в сценарий не только вводятся количественные параметры и устанавливаются их взаимосвязи, но и предлагаются методики составления сценариев с использованием ЭВМ.

На практике по типу сценариев разрабатывались прогнозы в некоторых отраслях промышленности. В настоящее время разновидностью сценариев можно считать предложения к комплексным программам развития отраслей народного хозяйства, подготавливаемые организациями или специальными комиссиями. Существенную помощь в подготовке сценариев оказывают специалисты по системному анализу. Весьма перспективной представляется разработка специализированных информационно-поисковых систем, накапливающих прогнозную информацию по данной отрасли и по смежным отраслям.

Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию или разработке вариантов проекта. Таким образом, сценарий помогает составить представление о проблеме, а затем приступить к более формализованному представлению системы в виде графиков, таблиц для проведения других методов системного анализа.

 

8.4. Метод Черчмена Акоффа (последовательное сравнение).

 

Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:

·    каждой альтернативе ai, i = 1,N, ставится в соответствие действительное неотрицательное число φ (ai);

·    если альтернатива ai. предпочтительнее альтернативы aj, то φ (ai) > φ (aj), если же альтернативы ai и aj равноценны, то φ (ai) = φ (aj);

·    если φ (ai) и φ (aj) - оценки альтернатив ai и aj, то φ (ai) и φ (aj) соответствует совместному осуществлению альтернатив ai и aj.

Наиболее сильным является последнее предположение об аддитивности оценок альтернатив.

 

Согласно методу Черчмена-Акоффа альтернативы a_1t а₂, ... a_N  ранжируются по предпочтительности. Пусть для удобства изложения альтернатива а₁ наиболее предпочтительна, за ней следует а₂ и т.д. Эксперт указывает предварительные численные оценки φ(a_i) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы а₁ и суммы альтернатив а₂,...a_N. Если а₁ предпочтительнее, то эксперт корректирует оценки так, чтобы

 

 

В противном случае должно выполняться неравенство

 

 

Если альтернатива а₁ оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а₂, а₃,..., a_N-1 и т.д. После того как альтернатива а₁ оказывается предпочтительнее суммы альтернатив а₂,..., а_к (к ≥ 2), она исключается из рассмотрения, а вместо оценки альтернативы а₁ рассматривается и корректируется оценка альтернативы а₂. Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это позволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

Метод Черчмена-Акоффа является одним из самых эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива а_i1. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем а_i1. Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, производится корректировка.