Наиболее широко в исследовании СУ, как правило, используются экспертные методы. Как научный способ экспертный метод был разработан сравнительно недавно и впервые он получил название "Дельфи". В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении.

Сущность экспертных методов, как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Наиболее распространенными экспертными методами при классификации по признаку оценки предпочтений в настоящее время при принятии решений по управлению являются следующие:

• метод рангов;
• метод непосредственного оценивания;
• метод сопоставлений.

Последний метод включает две его разновидности:

парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

• организацию экспертного оценивания;
• проведение сбора мнений экспертов;
• обработку результатов мнений экспертов.

Практика показывает, что уменьшение субъективности и соответственно повышение объективности результатов использования экспертных методов существенно зависит от соблюдения правил организации, подготовки и проведения экспертных работ. Особенно это зависит, в первую очередь, от организации экспертного оценивания, назначения ответственного за организацию и проведение работ по экспертной оценке, а также от формирования экспертных комиссий.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и экспертную.

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, отработку результатов работы экспертов и т.п.

В экспертную группу входят эксперты - специалисты по решаемым проблемам.

Формирование экспертной осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

• постановку проблемы и определение области деятельности группы;
• составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;
• анализ качественного состава предварительного списка экспертов и уточнение списка;
• получение согласия эксперта для участия в работе;
• составление окончательного списка экспертной группы.

Количество экспертов в экспертной группе зависит от множества факторов и условий. В частности, от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа приглашаемых экспертов.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

• оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
• коллективная оценка кандидата в эксперты как специалиста в данной области;
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.

Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако, следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям как:

• профессиональной компетентности в области проектирования организационных систем;
• креативности (умению решать творческие задачи);
• научной интуицией;
• заинтересованности в объективных результатах экспертной работы;
• деловитости (собранности, умению переключаться с одного вида деятельности на другой, коммуникативности, независимости суждений, мотивированности действий);
• объективности;
• нонконформизма.

Проведение сбора мнений экспертов предполагает решение следующих вопросов:

• определение места и времени сбора мнений;
• определение формы и методики сбора мнений;
• определение количества туров сбора мнений;
• определение состава и содержательной части документации;
• определение порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные, т.е. указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование;
• интервьюирование;
• дискуссия;
• мозговой штурм;
• совещание;
• деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях оргпроектирования каждая их этих разновидностей используются совместно, что дает нередко большой эффект и объективность. Такой подход к сбору мнений экспертов, то есть когда используется смешанная форма, применяется в случаях некоторой неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

Вместе с тем, наиболее часто в практике проектирования оргсистем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнение, но по времени сбор мнений при использовании этого вида более длительный.

Обычно процесс разработки анкеты включает:

• определение формы и содержания обращения к эксперту;
• выбор типа вопросов;
• формулировку вопросов;
• изложение необходимых для эксперта информации;
• разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может быть дан в произвольно форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений).

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов СУ. Достоинством метода рангов является его простота. Недостатками являются:

• невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;
• не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования СУ несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу(что нередко бывает при проектировании СУ) используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации - дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает значения от 0 до 1. При 0 - нет согласованности между мнениями экспертов, при 1 - согласованность полная. Если дисперсионный коэффициент конкордации больше 0,5, то обычно согласованность считается достаточной.

Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1 и также при большей величине коэффициента согласия - большая мера согласованности.

В случаях, когда мнения экспертов различаются незначительно, то указанные выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании СУ. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.

К разновидности экспертного метода можно отнести социологический, который основывается на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме - распространением анкет или устно (на конференциях, аукционах, выставках, в учебных заведениях и т.п.). При использовании этого метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.

Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому следует шире использовать при проведении сбора и обработке результатов экспертной и социологической информации компьютерную технику. Возможности для этого есть, так как автоматизация проведения и обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

И. Acтaшкинa, B. Mишин

Исследование систем управления,

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

3.4. ЭКСПЕРТНЫЕ МЕТОДЫ

В главе обсуждаются основные вопросы теории и практики экспертных оценок, в том числе связанные с типовыми стадиями экспертного опроса, методами подбора экспертов, разработкой регламентов проведения сбора и анализа экспертных мнений. Рассмотрены основные идеи современной теории измерений, метода согласования кластеризованных ранжировок и ряда других математических методов анализа экспертных оценок.

3.4.1. Зачем менеджеру экспертные оценки?

Какова будет реакция потребителей на рекламную компанию? Как изменится социальная, технологическая, экологическая, экономическая, политическая ситуация через десять лет? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг будет простираться рукотворная пустыня? Достаточно вдуматься в эту постановку вопроса, проанализировать, как десять лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и более лет.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов . Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования я проводят с целью подготовки информации для принятия решений лицом, принимающим решения (ЛПР). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные . Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже мы увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Экспертные оценки часто используются при выборе - одного варианта технических устройств из нескольких, группы космонавтов из многих претендентов, набора проектов научно-исследовательских работ для финансирования из массы заявок, получателей экологических кредитов из многих желающих, выбор инвестиционных проектов для реализации среди представленных, и т.д.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - ниже). Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных

Один из наиболее известных методов экспертных оценок - это метод "Дельфи" . Название дано по ассоциации с Дельфийским храмом, куда согласно древнему обычаю было принято обращаться для получения поддержки при принятии решений. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось. Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев , применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. При разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения. Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:
- построение исчерпывающего, но обозримого набора сценариев;
- прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям. Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации , в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Еще один вариант экспертного оценивания - мозговой штурм . Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию устройств, создающих волны, сбивающиеся торпеду с курса.

3.4.2. Основные стадии экспертного опроса

Как показывает опыт проведения экспертных исследований, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.

2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем). Дело секретаря - ведение документации, решение организационных задач.

3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти направления работ были утверждены ЛПР.

4) Разработка аналитической группой РГ подробного сценария (т.е. регламента ) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, тексты (слова), условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Так, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов современной эконометрики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает опыт, информация используется лишь на 1-2%.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов.

6) Формирование экспертной комиссии . На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

Разберем подробнее отдельные стадии экспертного исследования.

3.4.3. Подбор экспертов

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели ". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун " может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

3.4.4. О разработке регламента проведения сбора и анализа экспертных мнений

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.

В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения может принести лишь вред.

Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.

Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.

ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.

ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в академическом Институте проблем управления (автоматики и телемеханики)). Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее "полюбившейся" Рабочей группе (или даже "подсказанной" ЛПР).

Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных ). Группы экспертов с близкими методами можно выделить эконометрическими методами кластер-анализа.

МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов , т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели. Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур . Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.

ДОГМА ОДНОМЕРНОСТИ. Распространен довольно примитивный подход, согласно которому объект экспертизы всегда можно оценить одним числом . Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости".

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям: расход бензина на 100 км пути (в среднем); надежность (средняя стоимость ремонта за год); экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах; маневренность; быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость; длительность сохранения в салоне положительной температуры при низкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе; дизайн (привлекательность и "модность" внешнего вида и отделки салона); вес, и т.д. Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных государственных служб, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д. Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур. Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе. Заочное анонимное общение , например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место. При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут говорить, а лейтенанты - помалкивать.

КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу. Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

3.4.5. Современная теория измерений и экспертные оценки

Для дальнейшего более углубленного рассмотрения проблем экспертных оценок понадобятся некоторые понятия так называемой репрезентативной теории измерений , служащей основой теории экспертных оценок, прежде всего той ее части, которая связана с анализом заключений экспертов, выраженных в качественном (а не в количественном) виде.

Мнения экспертов часто выражены в порядковой шкале (подробнее о шкалах говорится ниже), т.е. эксперт может сказать (и обосновать), что один показатель качества продукции более важен, чем другой, первый технологический объект более опасен, чем второй, и т.д. Но он не в состоянии сказать, во сколько раз или на сколько более важен, соответственно, более опасен. Экспертов часто просят дать ранжировку (упорядочение) объектов экспертизы, т.е. расположить их в порядке возрастания (или убывания) интенсивности интересующей организаторов экспертизы характеристики. Ранг - это номер (объекта экспертизы) в упорядоченном ряду. Формально ранги выражаются числами 1, 2, 3, ..., но с этими числами нельзя делать привычные арифметические операции. Например, хотя 1 + 2 = 3, но нельзя утверждать, что для объекта, стоящем на третьем месте в упорядочении, интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2. Так, один из видов экспертного оценивания - оценки учащихся. Вряд ли кто-либо будет утверждать, что знания отличника равны сумме знаний двоечника и троечника (хотя 5 = 2 + 3), хорошист соответствует двум двоечникам (2 + 2 = 4), а между отличником и троечником такая же разница, как между хорошистом и двоечником (5 - 3 = 4 - 2). Поэтому очевидно, что для анализа подобного рода качественных данных необходима не всем известная арифметика, а другая теория, дающая базу для разработки, изучения и применения конкретных методов расчета. Это и есть РТИ. Надо иметь в виду, что в настоящее время термин "теория измерений" применяется для обозначения целого ряда научных дисциплин: классической метрологии, РТИ, некоторых других направлений, например, алгоритмической теории измерений.

Сначала РТИ развивалась как теория психофизических измерений. Основоположник РТИ американский психолог С.С. Стивенс основное внимание уделял шкалам измерения. Характерен следующий этап развития РТИ. Один из томов выпущенной в США в 1950-х годах "Энциклопедии психологических наук" назывался "Психологические измерения". Значит, составители этого тома расширили сферу применения РТИ с психофизики на психологию в целом. А в основной статье в этом сборнике под названием, обратите внимание, "Основы теории измерений", изложение шло на абстрактно-математическом уровне, без привязки к какой-либо конкретной области применения. В этой статье упор был сделан на "гомоморфизмах эмпирических систем с отношениями в числовые" (в эти математические термины здесь вдаваться нет необходимости), и математическая сложность возросла по сравнению с работами С.С. Стивенса.

Уже в одной из первых отечественных статей по РТИ (конец 1960-х годов) было установлено, что баллы, присваиваемые экспертами при оценке объектов экспертизы, как правило, измерены в порядковой шкале. Отечественные работы, появившиеся в начале 1970-х годов, привели к существенному расширению области использования РТИ. Ее применяли к педагогической квалиметрии (измерению качества знаний учащихся), в системных исследованиях, в различных задачах теории экспертных оценок, для агрегирования показателей качества продукции, в социологических исследованиях, и др.

В качестве двух основных проблем РТИ наряду с установлением типа шкалы был выдвинут поиск алгоритмов анализа данных, результат работы которых не меняется при любом допустимом преобразовании шкалы (т.е. является инвариантным относительно этого преобразования).

Основные шкалы измерения. В соответствии с РТИ при математическом моделировании реального явления или процесса следует прежде всего установить, в каких типах шкал измерены те или иные переменные. Тип шкалы задает группу допустимых преобразований. Допустимые преобразования не меняют соотношений между объектами измерения. Например, при измерении длины переход от аршин к метрам не меняет соотношений между длинами рассматриваемых объектов - если первый объект длиннее второго, то это будет установлено и при измерении в аршинах, и при измерении в метрах.

Укажем основные виды шкал измерения и соответствующие группы допустимых преобразований. В шкале наименований (другое название - номинальной шкалы) допустимыми являются все взаимно-однозначные преобразования. В этой шкале числа используются лишь как метки. Примерно так же, как при сдаче белья в прачечную, т.е. лишь для различения объектов. В шкале наименований измерены, например, номера телефонов, автомашин, паспортов, студенческих билетов. Пол людей тоже измерен в шкале наименований, результат измерения принимает два значения - мужской, женский. Раса, национальность, цвет глаз, волос - номинальные признаки. Номера букв в алфавите - тоже измерения в шкале наименований. Никому в здравом уме не придет в голову складывать или умножать номера телефонов, такие операции не имеют смысла. Сравнивать буквы и говорить, например, что буква П лучше буквы С, также никто не будет. Единственное, для чего годятся измерения в шкале наименований - это различать объекты. Во многих случаях только это от них и требуется. Например, шкафчики в раздевалках для взрослых различают по номерам, т.е. числам, а в детских садах используют рисунки, поскольку дети еще не знают чисел.

В порядковой шкале числа используются для установления порядка между объектами. Простейшим примером являются оценки знаний учащихся. Символично, что в средней школе применяются оценки 2, 3, 4, 5, а в высшей ровно тот же смысл выражается словесно - неудовлетворительно, удовлетворительно, хорошо, отлично. Этим подчеркивается "нечисловой" характер оценок знаний учащихся. В порядковой шкале допустимыми являются все строго возрастающие преобразования.

Установление типа шкалы, т.е. задания группы допустимых преобразований шкалы измерения - дело специалистов соответствующей прикладной области. Так, оценки привлекательности профессий мы, выступая в качестве социологов, считали измеренными в порядковой шкале. Однако отдельные социологи не соглашались с нами, полагая, что выпускники школ пользуются шкалой с более узкой группой допустимых преобразований, например, интервальной шкалой. Очевидно, эта проблема относится не к математике, а к наукам о человеке. Для ее решения может быть поставлен достаточно трудоемкий эксперимент. Пока же он не поставлен, целесообразно принимать порядковую шкалу, так как это гарантирует от возможных ошибок.

Оценки экспертов, как уже отмечалось, часто следует считать измеренными в порядковой шкале. Типичным примером являются задачи ранжирования и классификации промышленных объектов, подлежащих экологическому страхованию (см. ниже).

Почему мнения экспертов естественно выражать именно в порядковой шкале? Как показали многочисленные опыты, человек более правильно (и с меньшими затруднениями) отвечает на вопросы качественного, например, сравнительного, характера, чем количественного. Так, ему легче сказать, какая из двух гирь тяжелее, чем указать их примерный вес в граммах.

Используется много других известных примеров порядковых шкал. Так, например, в минералогии используется шкала Мооса, по которому минералы классифицируются согласно критерию твердости. А именно: тальк имеет балл 1, гипс - 2, кальций - 3, флюорит - 4, апатит - 5, ортоклаз - 6, кварц - 7, топаз - 8, корунд - 9, алмаз - 10. Порядковыми шкалами в географии являются - бофортова шкала ветров ("штиль", "слабый ветер", "умеренный ветер" и т.д.), шкала силы землетрясений. В медицине порядковыми шкалами являются - шкала стадий гипертонической болезни (по Мясникову), шкала степеней сердечной недостаточности (по Стражеско-Василенко-Лангу), шкала степени выраженности коронарной недостаточности (по Фогельсону). Номера домов также измерены в порядковой шкале. При оценке качества продукции и услуг, в т.н. квалиметрии (буквальный перевод: измерение качества) популярны порядковые шкалы. А именно, единица продукции оценивается как годная или не годная. При более тщательном анализе используется шкала с тремя градациями: есть значительные дефекты - присутствуют только незначительные дефекты - нет дефектов.

При оценке экологических воздействий первая оценка - обычно порядковая: природная среда стабильна - природная среда угнетена (деградирует). Аналогично в эколого-медицинской шкале: нет выраженного воздействия на здоровье людей - отмечается отрицательное воздействие на здоровье. Порядковая шкала используется и в иных областях.

Порядковая шкала и шкала наименований - основные шкалы качественных признаков . Поэтому во многих конкретных областях результаты качественного анализа можно рассматривать как измерения по этим шкалам.

Шкалы количественных признаков - это шкалы интервалов, отношений, разностей, абсолютная . По шкале интервалов измеряют величину потенциальной энергии или координату точки на прямой. В этих случаях на шкале нельзя отметить ни естественное начало отсчета, ни естественную единицу измерения. Допустимыми преобразованиями в шкале интервалов являются линейные возрастающие преобразования, т.е. линейные функции. Температурные шкалы Цельсия и Фаренгейта связаны именно такой зависимостью: С 0 = 5/9 (Ф 0 - 32), где С 0 - температура по шкале Цельсия, а Ф 0 - температура по шкале Фаренгейта.

Из количественных шкал наиболее распространенными в науке и практике являются шкалы отношений. В них есть естественное начало отсчета - нуль, т.е. отсутствие величины, но нет естественной единицы измерения. По шкале отношений измерены большинство физических единиц: масса тела, длина, заряд, а также цены в экономике. Допустимыми преобразованиями шкале отношений являются подобные (изменяющие только масштаб). Другими словами, линейные возрастающие преобразования без свободного члена.

Время измеряется по шкале разностей , если год принимаем естественной единицей измерения, и по шкале интервалов в общем случае. Естественного начала отсчета указать на современном уровне знаний нельзя. Дату сотворения мира различные авторы рассчитывают по-разному, равно как и момент рождества Христова. Так, согласно новой статистической хронологии Господь Иисус Христос родился в 1054 г. н.э. (по принятому ныне летоисчислению) в Стамбуле (он же - Царьград, Византия, Троя, Иерусалим, Рим).

Только для абсолютной шкалы результаты измерений - числа в обычном смысле слова. Примером является число людей в комнате. Для абсолютной шкалы допустимым является только тождественное преобразование.

В процессе развития соответствующей области знания тип шкалы может меняться. Так, сначала температура измерялась по порядковой шкале (холоднее - теплее). Затем - по интервальной (шкалы Цельсия, Фаренгейта, Реомюра). Наконец, после открытия абсолютного нуля температуру следует считать измеренной по шкале отношений (шкала Кельвина). Надо отметить, что среди специалистов иногда имеются разногласия по поводу того, по каким шкалам следует считать измеренными те или иные реальные величины. Другими словами, процесс измерения включает в себя и определение типа шкалы (вместе с обоснованием).

Инвариантные алгоритмы и средние величины. Основное требование к алгоритмам анализа данных формулируется в РТИ так: выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных . Другими словами, выводы должны быть инвариантны по отношению к допустимым преобразованиям шкалы.

Таким образом, одна из основных целей теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в аршинах, метрах, микронах, милях, парсеках и других единицах измерения. Массу (вес) - в пудах, килограммах, фунтах и др. Цены на товары и услуги можно указывать в юанях, рублях, тенге, гривнах, латах, кронах, марках, долларах США и других валютах (при условии заданных курсов пересчета). Подчеркнем очень важное, хотя и вполне очевидное обстоятельство: выбор единиц измерения зависит от исследователя, т.е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтет исследователь, т.е. когда они инвариантны относительно допустимого преобразования шкалы.

В качестве примера рассмотрим обработку мнений экспертов, измеренных в порядковой шкале. Пусть Y1, Y2,...,Yn - совокупность оценок экспертов, "выставленных" одному объекту экспертизы (например, одному из вариантов стратегического развития фирмы), Z1, Z2,...,Zn - второму (другому варианту такого развития).

Как сравнивать эти совокупности? Очевидно, самый простой способ - по средним значениям. А как вычислять средние? Известны различные виды средних величин: среднее арифметическое, медиана, мода, среднее геометрическое, среднее гармоническое, среднее квадратическое. Обобщением нескольких из перечисленных является среднее по Колмогорову. Для чисел X1, X2,...,Xn среднее по Колмогорову вычисляется по формуле

G{(F(X1)+F(X2)+...F(Xn))/n},

где F - строго монотонная функция, G - функция, обратная к F . Среди средних по Колмогорову - много хорошо известных персонажей. Так, если F(x) = x , то среднее по Колмогорову - это среднее арифметическое, если F(x) = ln x , то среднее геометрическое, если F(x) = 1/x , то среднее гармоническое, если F(x) = x 2 , то среднее квадратическое, и т.д. С другой стороны, такие популярные средние, как медиана и мода, нельзя представить в виде средних по Колмогорову.

Напомним, что общее понятие средней величины введено французским математиком первой половины ХIХ в. академиком О. Коши. Оно таково: средней величиной является любая функция f(X1, X2,...Xn) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X1, X2,...Xn , и не больше, чем максимальное из этих чисел. Среднее по Колмогорову - частный случай среднего по Коши. Медиана и мода, хотя и не являются средними по Колмогорову, но тоже - средние по Коши.

При допустимом преобразовании шкалы значение средней величины, очевидно, меняется. Но выводы о том, для какой совокупности среднее больше, а для какой - меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом как основное требование в РТИ). Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы.

Пусть f(X1, X2,...,Xn) - среднее по Коши. Пусть среднее по первой совокупности меньше среднего по второй совокупности:

f(Y1, Y2,...,Yn) < f(Z1, Z2,...,Zn). (1)

Согласно РТИ для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g из группы допустимых преобразований в соответствующей шкале было справедливо также неравенство

f(g(Y1), g(Y2),..., g(Yn)) < f (g(Z1), g(Z2),..., g(Zn)), (2)

т.е. среднее преобразованных значений из первой совокупности также было меньше среднего преобразованных значений для второй совокупности. Причем сформулированное условие должно быть верно для любых двух совокупностей Y1, Y2,...,Yn и Z1, Z2,...,Zn и, напомним, любого допустимого преобразования g . Согласно РТИ только такими средними можно пользоваться при анализе мнений экспертов и иных данных, измеренных в рассматриваемой шкале.

С помощью математической теории, развитой А.И.Орловым в 1970-х годах, удается описать вид допустимых средних в основных шкалах. В шкале наименований в качестве среднего годится только мода. Из всех средних по Коши в порядковой шкале в качестве средних можно использовать только члены вариационного ряда (порядковые статистики), в частности, медиану (при нечетном объеме выборки. При четном же объеме следует применять один из двух центральных членов вариационного ряда - как их иногда называют, левую медиану или правую медиану), но не среднее арифметическое, среднее геометрическое и т.д. В шкале интервалов из всех средних по Колмогорову можно применять только среднее арифметическое. В шкале отношений из всех средних по Колмогорову устойчивыми относительно сравнения являются только степенные средние и среднее геометрическое.

Приведем численный пример, показывающий некорректность использования среднего арифметического f(X1, X2) = (X1+X2)/2 в порядковой шкале. Пусть Y1= 1, Y2 = 11, Z1 = 6, Z2 = 8. Тогда f(Y1, Y2) = 6 , что меньше, чем f(Z1, Z2) = 7 . Пусть строго возрастающее преобразование g таково, что g(1) = 1, g(6) = 6, g(8) = 8, g(11) = 99. Таких преобразований много. Например, можно положить g (x ) = x при x , не превосходящих 8, и g (x ) = 99(x -8)/3 + 8 для х , больших 8. Тогда f(g(Y1), g(Y2)) = 50 , что больше, чем f(g(Z1), g(Z2)) = 7 . Как видим, в результате допустимого, т.е. строго возрастающего преобразования шкалы упорядоченность средних изменилась.

Приведенные результаты о средних величинах широко применяются, причем не только в теории экспертных оценок или социологии, но и, например, для анализа методов агрегирования датчиков в АСУ ТП доменных печей. Велико прикладное значение РТИ в задачах стандартизации и управления качеством, в частности, в квалиметрии. Здесь есть и интересные теоретические результаты. Так, например, любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю (эта теорема доказана проф. В.В. Подиновским).

Методы средних баллов. В настоящее время распространены экспертные, маркетинговые, квалиметрические, социологические и иные опросы, в которых опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п., а затем рассчитывают средние баллы и рассматривают их как интегральные оценки, выставленные коллективом опрошенных. Какими формулами пользоваться для вычисления средних величин? Ведь средних величин, как мы знаем, очень много разных видов. Обычно применяют среднее арифметическое. Уже более 30 лет известно, что такой способ некорректен , поскольку баллы обычно измерены в порядковой шкале (см. выше). Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности . Поэтому целесообразно использовать одновременно оба метода - и метод средних арифметических рангов (баллов), и методов медианных рангов . Такая рекомендация находится в согласии с концепцией устойчивости, рекомендующей использовать различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.

Пример сравнения восьми проектов. Рассмотрим конкретный пример применения только что сформулированного подхода. По заданию руководства фирмы анализировались восемь проектов, предлагаемых для включения в план стратегического развития фирмы. Они были обозначены следующим образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиям менеджеров, предложивших их для рассмотрения). Все проекты были направлены 12 экспертам, назначенным Правлением фирмы. В приведенной ниже табл.1 приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с представлением экспертов о целесообразности включения проекта в стратегический план фирмы. При этом эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 получает от эксперта второй по привлекательности проект,..., наконец, ранг 8 - наиболее сомнительный проект, который реализовывать стоит лишь в последнюю очередь). Анализируя результаты работы экспертов (т.е. табл.1), члены Правления фирмы были вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в табл.1, следует подвергнуть более тщательному математическому анализу.

Таблица 1.

Ранги 8 проектов по степени привлекательности для включения в план стратегического развития фирмы

№ эксперта

Примечание. Эксперт № 4 считает, что проекты М-К и Б равноценны, но уступают лишь одному проекту - проекту Сол. Поэтому проекты М-К и Б должны были бы стоять на втором и третьем местах и получить баллы 2 и 3. Поскольку они равноценны, то получают средний балл (2+3)/ 2 = 5/ 2 = 2,5.

Метод средних арифметических рангов. Сначала был применен метод средних арифметических рангов. Для этого прежде всего была подсчитана сумма рангов, присвоенных проектам (см. табл.1). Затем эта сумма была разделена на число экспертов, в результате рассчитан средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, чем лучше проект.

Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К, - и он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в табл.2 ниже. Итак, ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К. (3)

Здесь запись типа "А<Б" означает, что проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу (в фигурных скобках). В терминологии математической статистики ранжировка (3) имеет одну связь.

Таблица 2.

Результаты расчетов по методу средних арифметических и методу медиан для данных, приведенных в табл.1.

Сумма рангов
Среднее арифметическое рангов
Итоговый ранг по среднему арифметическому
Медианы рангов
Итоговый ранг по медианам

Метод медиан рангов. Значит, итог расчетов - ранжировка (3), и на ее основе предстоит принимать решение? Но тут наиболее знакомый с современной эконометрикой член Правления вспомнил, что ответы экспертов измерены в порядковой шкале, а потому для них неправомерно проводить усреднение методом средних арифметических. Надо использовать метод медиан. Что это значит? Надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания (проще было бы сказать - "в порядке возрастания", но поскольку некоторые ответы совпадают, то приходится использовать непривычный термин "неубывание"). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.

Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке табл.2. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда.) Итоговое упорядочение по методу медиан приведено в последней строке таблицы. Ранжировка (т.е. упорядочение - итоговое мнение комиссии экспертов) по медианам имеет вид:

Б < {М-К, Л} < Сол < Д < Стеф < К <Г-Б. (4)

Поскольку проекты Л и М-К имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т.е. с точки зрения математической статистики ранжировка (4) имеет одну связь.

Сравнение ранжировок по методу средних арифметических и методу медиан. Сравнение ранжировок (3) и (4) показывает их близость (похожесть). Можно принять, что проекты М-К, Л, Сол упорядочены как М-К < Л < Сол, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и Сол (ранжировка (3)), а в другом - проекты М-К и Л (ранжировка (4)). Существенным является только расхождение, касающееся упорядочения проектов К и Г-Б: в ранжировке (3) Г-Б < К, а в ранжировке (4), наоборот, К < Г-Б. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования это расхождение не существенно.

Рассмотренный пример демонстрирует сходство и различие ранжировок, полученных по методу средних арифметических рангов и по методу медиан, а также пользу от их совместного применения.

3.4.6. Метод согласования кластеризованных ранжировок

Проблема состоит в выделении общего нестрогого порядка из набора кластеризованных ранжировок (на статистическом языке - ранжировок со связями). Этот набор может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами. Предлагается метод согласования кластеризованных ранжировок, позволяющий «загнать» противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочение кластеров соответствует всем исходным упорядочениям. В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов. К таким областям относятся прежде всего инженерный бизнес, менеджмент, экономика, социология, экология, прогнозирование, научные и технические исследования и т.д., особенно те их разделы, что связаны с экспертными оценками (см., например, ). В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Кластеризованные ранжировки могут быть получены как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества. Описанный ниже метод был разработан в связи с проблемами химической безопасности биосферы и экологического страхования.

Рассмотрим метод построения кластеризованной ранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках.

В кластеры заключены объекты, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими (например, вычисление медианы Кемени, упорядочения по средним рангам или по медианам и т.п.), так и требовать привлечения новой информации из соответствующей прикладной области, возможно, проведения дополнительных научных или прикладных работ.

Введем необходимые понятия, затем сформулируем алгоритм согласования кластеризованных ранжировок в общем виде и рассмотрим его свойства.

Пусть имеется конечное число объектов, которые мы для простоты изложения будем изображать натуральными числами 1,2,3,...,k и называть «носителем». Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию . Пусть объекты разбиты на группы, которые будем называть кластерами. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1}, {2,3}, {4}, {5,6,7}, {8}, {9}, {10}. В этом разбиении один кластер {5,6,7} содержит три элемента, другой - {2,3} - два, остальные пять - по одному элементу. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов.

Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами . Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака < . При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку на основе введенных выше кластеров можно изобразить так: А = [ 1 < {2,3} < 4 < {5,6,7} < 8 < 9 < 10 ]. Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.

Введенная описанным образом кластеризованная ранжировка является бинарным отношением на множестве {1,2,3,...,10}. Его структура такова. Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2,3}, {5,6,7}, а остальные состоят из оставшихся 5 отдельных элементов. Затем введен строгий линейный порядок между классами эквивалентности. Введенный математический объект известен в литературе как "ранжировка со связями" (М. Холлендер, Д.Вулф), "упорядочение" (Дж. Кемени, Дж. Снелл), "квазисерия" (Б.Г.Миркин), "совершенный квазипорядок" (Ю.А. Шрейдер ). Учитывая разнобой в терминологии, мы ввели термин "кластеризованная ранжировка", поскольку в нем явным образом названы основные элементы изучаемого математического объекта - кластеры, рассматриваемые на этапе согласования ранжировок как классы эквивалентности, и ранжировка - строгий совершенный порядок между ними (в терминологии ).

Следующее важное понятие - противоречивость . Оно определяется для четверки - две кластеризованные ранжировки на одном и том же носителе и два различных объекта - элементы того же носителя. При этом два элемента из одного кластера будем связывать символом равенства = , как эквивалентные.

Пусть А и В - две кластеризованные ранжировки. Пару объектов (a,b) назовем «противоречивой»относительно А и В, если эти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b в В (первый вариант противоречивости) либо a >b в А и a < b в В (второй вариант противоречивости). Отметим, что в соответствии с этим определением пара объектов (a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть противоречивой: a = b не образует "противоречия" ни с a < b , ни с a > b.

В качестве примера рассмотрим две кластеризованные ранжировки В = [{1,2} < { 3,4, 5} < 6 < 7 < 9 < {8, 10}], C = . Совокупность противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем «ядром противоречий»и обозначим S(A,B). Для рассмотренных выше в качестве примеров трех кластеризованных ранжировок А, В и С, определенных на одном и том же носителе {1, 2, 3,..., 10}, имеем S(A,B) = [ (8, 9)], S(A,C) = [ (1, 3), (2,4) ] , S(B,C) = [ (1, 3), (2, 3), (2, 4), (5, 6), (8,9) ] . Как при ручном, так и при программном нахождении ядра можно в поисках противоречивых пар просматривать пары (1,2), (1,3), (1.,4), ...., (1, k), затем (2,3), (2,4), ..., (2, k), потом (3,4), ..., (3, k), и т.д., вплоть до (k-1, k).

Пользуясь понятиями дискретной математики, «ядро противоречий» можно изобразить графом с вершинами в точках носителя. При этом противоречивые пары задают ребра этого графа. Граф для S(A,B) имеет только одно ребро (одна связная компонента более чем из одной точки), для S(A,C) - 2 ребра (две связные компоненты более чем из одной точки), для S(B,C) - 5 ребер (три связные компоненты более чем из одной точки {1, 2 , 3, 4}, {5, 6} и {8, 9}).

Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k . При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b . В первом случае x(b, a) = 0, а во втором x(b, a) x(a, b) и x(b, a) равно 1. Из определения противоречивости пары (a, b) вытекает, что для нахождения всех таких пар достаточно поэлементно перемножить две матрицы ||x(a,b)|| и ||y(a, b)||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b)y(a,b)=x(b,a)y(b,a)=0.

Предлагаемый алгоритм согласования некоторого числа кластеризованных ранжировок состоят из трех этапов. На первом выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. На втором формируются кластеры итоговой кластеризованной ранжировки (т.е. классы эквивалентности - связные компоненты графов , соответствующих объединению попарных ядер противоречий). На третьем этапе эти кластеры (классы эквивалентности) упорядочиваются . Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок. Корректность подобного упорядочивания, т.е. его независимость от выбора той или иной пары объектов, вытекает из соответствующих теорем, доказанных в статье . Два объекта из разных кластеров согласующей кластеризованной ранжировки могут оказаться эквивалентными в одной из исходных кластеризованных ранжировок (т.е. находиться в одном кластере). В таком случае надо рассмотреть упорядоченность этих объектов в какой-либо другой из исходных кластеризованных ранжировок. Если же во всех исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к этапу 3 алгоритма), что они находятся в одном кластере и в согласующей кластеризованной ранжировке.

Результат согласования кластеризованных ранжировок А, В, С,... обозначим f(А, В, С,...). Тогда f(А, В) = , f(А, С) = [{1,3}<{2, 4}<5<6<7<8<9<10], f(В, С) = [{1,2,3,4}<{5,6}<7<{8,9}<10], f(А, В, С) = f(В, С) = [{1,2,3,4} <{5,6}<7<{8, 9}<10]. В случае f(А, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае f(В, С) объекты 1,2,3,4 объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести достаточно полную декомпозицию задачи нахождения итогового мнения экспертов.

Рассмотрим некоторые свойства алгоритмов согласования. Пусть D = f(А, В, C,...). Если aядро противоречий для набора кластеризованных ранжировок является объединением таких ядер для всех пар рассматриваемых ранжировок . Построение согласующих кластеризованных ранжировок нацелено на выделение общего упорядочения в исходных кластеризованных ранжировках. Однако при этом некоторые общие свойства исходных кластеризованных ранжировок могут теряться. Так, при согласовании ранжировок В и С, рассмотренных выше, противоречия в упорядочении элементов 1 и 2 не было - в ранжировке В эти объекты входили в один кластер, т.е. 1 = 2, в то время как 1<2 в кластеризованной ранжировке С. Значит, при их отдельном рассмотрении можно принять упорядочение 1 < 2. Однако в f(В,C) они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с 2. Другими словами, связная компонента графа, соответствующего ядру противоречий, сама по себе не всегда является полным графом. Недостающие ребра при этом соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.

Необходимость согласования кластеризованных ранжировок возникает, в частности, при разработке методики применения экспертных оценок в задачах экологического страхования и химической безопасности биосферы. Как уже говорилось, популярным является метод упорядочения по средним рангам, в котором итоговая ранжировка строится на основе средних арифметических рангов, выставленных отдельными экспертами . Однако из теории измерений известно , что более обоснованным является использование не средних арифметических, а медиан. Вместе с тем метод средних рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Поэтому было принято решение об одновременном применении обеих методов. Реализация этого решения потребовала разработки методики согласования двух указанных кластеризованных ранжировок.

Рассматриваемый метод согласования кластеризованных ранжировок построен в соответствии с методологией теории устойчивости , согласно которой результат обработки данных, инвариантный относительно метода обработки, соответствует реальности, а результат расчетов, зависящий от метода обработки, отражает субъективизм исследователя, а не объективные соотношения.

3.4.7. Математические методы анализа экспертных оценок

При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику. Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.

Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы.

Почему ответы экспертов часто носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответ в форме чисел - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями, обычно оформленными в виде инструкций) характера балансовой прибыли, амортизационных отчислений и других экономических показателей. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период?" И сразу станет ясно, что степень оптимальности принимаемых решений зависит от горизонта планирования (на экономико-математическом уровне этот сюжет рассмотрен в монографии ).

Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности "оцифровки" выводы, полученные в результате обработки данных, могут не иметь отношения к реальности.

Проверка согласованности мнений экспертов и классификация экспертных мнений. Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.

Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности?

Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.

При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик (см. ниже) нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу . Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок .

Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи . А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в ряде работ, в частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).

В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам.

Бинарные отношения и расстояние Кемени. Как известно, бинарное отношение А на конечном множестве Q = {q 1 , q 2 ,..., q k } - это подмножество декартова квадрата Q 2 = { (q m , q n), m,n = 1,2,…,k } . При этом пара (q m , q n) входит в А тогда и только тогда, когда между q m и q n имеется рассматриваемое отношение. Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k . При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b . В первом случае x(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) и x(b, a) равно 1.

Как использовать связь между ранжировками и матрицами? Например, из определения противоречивости пары (a, b) (см. выше, пункт о теории измерений) вытекает, что для нахождения всех таких пар можно воспользоваться матрицами, соответствующими ранжировкам. Достаточно поэлементно перемножить две матрицы ||x(a,b) || и ||y(a, b) ||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b)y(a,b)=x(b,a)y(b,a)= 0.

В экспертных методах используют, в частности, такие бинарные отношения, как ранжировки (упорядочения, или разбиения на группы, между которыми имеется строгий порядок), отношения эквивалентности, толерантности (отношения сходства). Как следует из сказанного выше, каждое бинарное отношение А можно описать матрицей || a(i,j) || из 0 и 1, причем a(i,j) = 1 тогда и только тогда, когда q i и q j находятся в отношении А , и a(i,j) = 0 в противном случае.

Определение. Расстоянием Кемени между бинарными отношениями А и В, описываемыми матрицами || a(i,j) || и || b(i,j) || соответственно, называется число D (A, B) = ∑ │a(i,j) - b(i,j) │, где суммирование производится по всем i,j от 1 до k , т.е. расстояние Кемени между бинарными отношениями равно сумме модулей разностей элементов, стоящих на одних и тех же местах в соответствующих им матрицах.

Легко видеть, что расстояние Кемени - это число несовпадающих элементов в матрицах || a(i,j) || и || b(i,j) || .Расстояние Кемени основано на некоторой системе аксиом. Эта система аксиом и вывод из нее формулы для расстояния Кемени между упорядочениями содержится в книге , которая сыграла большую роль в развитии в нашей стране такого научного направления, как анализ нечисловой информации . В дальнейшем под влиянием Кемени были предложены различные системы аксиом для получения расстояний в тех или иных нужных для социально-экономических исследований пространствах, например, в пространствах множеств .

Медиана Кемени и законы больших чисел. С помощью расстояния Кемени находят итоговое мнение комиссии экспертов. Пусть А 1 , А 2 , А 3 ,…, А р - ответы р экспертов, представленные в виде бинарных отношений. Для их усреднения используют т.н. медиану Кемени Arg min ∑ D (A i ,A) , где Arg min - то или те значения А , при которых достигает минимума указанная сумма расстояний Кемени от ответов экспертов до текущей переменной А , по которой и проводится минимизация. Таким образом, ∑ D (A i ,A) = D (A 1 ,A) + D (A 2 ,A) + D (A 3 ,A) +…+ D (A р,A) . Кроме медианы Кемени, используют среднее по Кемени, в котором вместо D (A i ,A) стоит D 2 (A i ,A) . Медиана Кемени - частный случай определения эмпирического среднего в пространствах нечисловой природы. Для нее справедлив закон больших чисел, т.е. эмпирическое среднее приближается при росте числа составляющих (т.е. р - числа слагаемых в сумме), к теоретическому среднему: Arg min ∑ D (A i ,A) → Arg min М D (A 1 , A) . Здесь М - символ математического ожидания. Предполагается, что ответы р экспертов А 1 , А 2 , А 3 ,…, А р есть основания рассматривать как независимые одинаково распределенные случайные элементы (т.е. как случайную выборку) в соответствующем пространстве произвольной природы, например, в пространстве упорядочений или отношений эквивалентности. Систематически эмпирические и теоретические средние и соответствующие законы больших чисел изучены в ряде работ (см., например, ).

Законы больших чисел показывают, во-первых, что медиана Кемени обладает устойчивостью по отношению к незначительному изменению состава экспертной комиссии; во-вторых, при увеличении числа экспертов она приближается к некоторому пределу. Его естественно рассматривать как истинное мнение экспертов, от которого каждый из них несколько отклонялся по случайным причинам. Рассматриваемый здесь закон больших чисел является обобщением известного в статистике "классического" закона больших чисел. Он основан на иной математической базе - теории оптимизации, в то время как "классический" закон больших чисел использует суммирование. Упорядочения и другие бинарные отношения нельзя складывать, поэтому приходится применять иную математику. Вычисление медианы Кемени - задача целочисленного программирования. В частности, для ее нахождения используется различные алгоритмы дискретной математики, в частности, основанные на методе ветвей и границ. Применяют также алгоритмы, основанные на идее случайного поиска, поскольку для каждого бинарного отношения нетрудно найти множество его соседей.

Таблица 3.

Матрица попарных расстояний

Рассмотрим пример вычисления медианы Кемени. Пусть дана квадратная матрица (порядка 9) попарных расстояний для множества бинарных отношений из 9 элементов А 1 , А 2 , А 3 ,..., А 9 (см. табл. 3). Требуется найти в этом множестве медиану для множества из 5 элементов {А 2 , А 4 , А 5 , А 8 , А 9 }.

В соответствии с определением медианы Кемени следует ввести в рассмотрение функцию

С (А ) = ∑ D(A i ,A) = D(A 2 ,A)+D(A 4 ,A)+D(A 5 ,A)+D(A 8 ,A)+D(A 9 ,A),

рассчитать ее значения для всех А 1 , А 2 , А 3 ,..., А 9 и выбрать наименьшее. Проведем расчеты: С(А 1) = 24, С(А 2) = 13, С(А 3) = 21, С(А 4) = 27, С(А 5) = 16, С(А 6) = 23, С(А 7) = 15, С(А 8) = 25, С(А 9) = 25. Из всех вычисленных сумм наименьшая равна 13, и достигается она при А = А 2 , следовательно, медиана Кемени - это А 2 .

Экспертные методы успешно применяются в различных областях менеджмента при решении конкретных задач .

Литература

1. Орлов А.И. Экспертные оценки // Заводская лаборатория. 1996. Т.62. № 1. С.54-60.
2. Горский В.Г., Орлов А.И., Гриценко А.А. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. 2000. №3. С. 159-167.
3. Шрейдер Ю.А. Равенство, сходство, порядок. М.: Наука, 1971.
4. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
5. Менеджмент. Учебное пособие. / Под ред. Ж.В. Прокофьевой. - М.: Знание, 2000. - 288 с.
6. Орлов А.И. Современная прикладная статистика // Заводская лаборатория. 1998. Т. 64. № 3. С.52-60.
7. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.
8. Орлов А.И. Эконометрика. Учебник. - М.: Изд-во "Экзамен", 2003. – 576 с.
9. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. – М.: Академия, 2003. -404 с.

Контрольные вопросы и задачи

1.Почему необходимо применение экспертных оценок при решении технических, организационных, экономических, экологических и иных проблем?
2. Какие стадии экспертного исследования выделяет менеджер - организатор такого исследования?
3. По каким основаниям классифицируют различные варианты организации экспертных исследований?
4. Какова роль диссидентов в различных видах экспертиз?
5. Какой вид могут иметь ответы экспертов?
6. Чем метод средних арифметических рангов отличает от метода медиан рангов?
7. Почему необходимо согласование кластеризованных ранжировок и как оно проводится?
8. В чем состоит проблема согласованности ответов экспертов?
9. Как бинарные отношения используются в экспертизах?
10. Как бинарные отношения описываются матрицами из 0 и 1?
11. Что такое расстояние Кемени и медиана Кемени?
12. Чем закон больших чисел для медианы Кемени отличается от "классического" закона больших чисел, известного в статистике?
13. В табл. 4 приведены упорядочения 7 инвестиционных проектов, представленные 7 экспертами.

Таблица 4.

Упорядочения проектов экспертами

Эксперты	Упорядочения
	1 < {2,3} < 4 < 5 < {6,7}
	{1,3} < 4 < 2< 5< 7 < 6
	1 < 4 < 2 < 3 < 6 < 5 < 7
	1 < {2, 4} < 3 < 5 < 7 <6
	2 < 3 < 4 < 5 <1 <6 <7
	1 < 3 < 2 < 5 < 6 < 7 < 4
	1 < 5 < 3 < 4 < 2 < 6 < 7

а) итоговое упорядочение по средним арифметическим рангам;

б) итоговое упорядочение по медианам рангов;

в) кластеризованную ранжировку, согласующую эти два упорядочения.

14. Выпишите матрицу из 0 и 1, соответствующую бинарному отношению (кластеризованной ранжировке) 5 < {1, 3} < 4 < 2 < {6, 7}.

15. Найдите расстояние Кемени между бинарными отношениями - упорядочениями А = и B = .

16. Дана квадратная матрица (порядка 9) попарных расстояний (мер различия) для множества бинарных отношений из 9 элементов А 1 , А 2 , А 3 ,..., А 9 (табл.5). Найдите в этом множестве медиану для множества из 5 элементов {А 2 , А 3 , А 5 , А 6 , А 9 }.

Таблица 5.

Попарные расстояния между бинарными отношениями

Темы докладов и рефератов

1. Роль экспертных методов в менеджменте.
2. Организация различных видов экспертных исследований.
3. Сравнение очных и заочных вариантов работы экспертов.
4. Методы средних баллов.
5. Согласование кластеризованных ранжировок.
6. Методы теории люсианов в экспертных оценках .
7. Классификация мнений экспертов и проверка согласованности.
8. Использование люсианов в теории и практике экспертных оценок.
9. Формирование итогового мнения комиссии экспертов.
10. Расстояние по Кемени и медиана Кемени в экспертных оценках.
11. Законы больших чисел в пространствах нечисловой природы.

Предыдущая

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

1. Краткая характеристика экспертных методов

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности.

В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании.

Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Функции экспертных оценок в системе управления:

Прогноз тенденций развития тех или иных объектов управления и возможных сбоев в управляющих подсистемах, возникновения новых субъектов в формировании систем управления;

Обоснование построения модели объекта прогнозирования. Методы экспертных оценок - одна из групп методов научно-технического прогнозирования, базирующаяся на предположении, что на основе мнений экспертов возможно построить адекватную модель объекта прогнозирования;

Оценка степени достоверности данных, полученных в результате исследования, когда на процесс исследования естественным образом влияют субъективные факторы. Например, выводы по любому социально-экономическому исследованию могут быть сделаны на фактах, деформированных социальной концепцией исследователя;

Оценка степени полноты и объективности информации, получаемой управляющей системой от объекта управления, а также обоснованности информации (решений), поступающей на вход в объект управления от управляющей системы;

Оценка конкретных альтернативных путей развития или объекта управления, или управляющей системы, или обеих систем вместе;

Аттестация конкретных элементов управляющей системы и объекта управления на предмет их соответствия функциям, для которых они созданы.

Наиболее распространенными экспертными методами при в настоящее время при принятии решений по управлению являются следующие:

Метод рангов;

Метод непосредственного оценивания;

Метод сопоставлений.

Последний метод включает две его разновидности: парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

Организацию экспертного оценивания;

Проведение сбора мнений экспертов;

Обработку результатов мнений экспертов.

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов системы управления. Достоинством метода рангов является его простота. Недостатками являются:

Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.

Для общего руководства экспертными работами назначается председатель экспертной комиссии. В ее составе организуют две группы -- рабочую и экспертную.

В подчинении руководителя рабочей группы находятся технические работники, отвечающие за техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым вопросам. Формирование экспертной группы осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

Постановку проблемы и определение области деятельности группы;

Составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;

Анализ качественного состава предварительного списка экспертов и уточнение списка;

Получение согласия эксперта для участия в работе;

Составление окончательного списка экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т.п.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

Оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;

Коллективная оценка кандидата в эксперты как специалиста в данной области;

Самооценка кандидата в эксперты;

Аналитическое определение компетентности кандидатов в эксперты.

Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеет разновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих случаях управления качеством они используются совместно, что дает больший эффект и объективность.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.

Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.

«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод «совещаний» («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи».

Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи» представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

Процедура метода включает несколько последовательных этапов опроса.

На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений.

На втором - вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Таким образом, можно сделать вывод, что экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

экспертный оценка метод управление

2. Обработка данных, полученных экспертным методом

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, обеспеченных достаточным информационным материалом, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных, используются методы качественного анализа и синтеза.

Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

При применении рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценить меру согласованности мнений экспертов и определить причины несовпадения суждений. Мера согласованности, естественно, устанавливается па основе статистических данных всей группы экспертов. Для оценки данной меры используются коэффициенты конкордации, которые рассчитываются по формуле

где С -- сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.

где -- средняя сумма рангов;

Аij -- оценка (в баллах), данная i-му объекту j-м экспертом.

К-эксперты, Н-объекты.

Коэффициент конкордации может быть в диапазоне 1>W>0. При W=0 согласованность мнений экспертов отсутствует, а при W=1полная. Обычно считается, что согласованность вполне достаточна при W>0,5.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона Х^2 с определенным уровнем значимости B -Максимальной вероятностью неправильного результата работы экспертов. Обычно значимость достаточно задавать в пределах 0,005 --0,05

В случае получения расчетной величины Х^2расч больше табличной(с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

В случае определения несогласованности линий экспертов по коэффициентам конкордации и при соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, которые строятся по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами -- средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Таким образом, обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

Список используемой ли тературы

1. Василевская И.В. Управление качеством: Учебное пособие / И.В. Василевская. - М.: ИЦ РИОР, 2011. - 112 c.

2. Виханский О.С., Наумов А.И. Менеджмент: Учебник. - 3-е изд. - М.: Экономистъ, 2004. - 528с.: ил.

3. Гительман Л.Д. Преобразующий менеджмент.- М.: Дело, 1999. - 412с.

4. Игнатьева А.В. Исследование систем управления. - М.: ЮНИТИ - ДАНА, 2000. - 156с.

5. Коротков Э.М. Исследование систем управления: Учебник. - М.: ДеКа, 2003. - 264с.

Размещено на Allbest.ru

Подобные документы

Понятие "эвристика" и "эвристический метод". Эвристический метод принятия управленческих решений решения, его особенности. Специфика метода "мозговой атаки", его достоинства и недостатки. Анализ и оценка выдвинутых идей с помощью "мозгового штурма".

реферат , добавлен 07.03.2015


"Мозговая атака" - метод раскрепощения и активизации мышления. Один из наиболее известных и применяемых методов поиска идей путем творческого сотрудничества группы специалистов. Исследование метода "мозговой атаки" при анализе работы пищевого предприятия.

контрольная работа , добавлен 03.09.2010


Применение основных методов на этапе определения альтернатив на практике. Сущность управленческих решений: особенность и эффективность методов. Понятие метода "мозговой атаки". Применение метода "мозговой атаки" на предприятии ОАО "Вимм-Билль-Данн".

курсовая работа , добавлен 20.12.2013


Усовершенствование методик группового принятия решений. Содержание метода экспертных оценок Дельфи. Работа с экспертными оценками, их статистическая обработка. Экспертные оценки вероятности события, их расхождение. Характер взаимодействия экспертов.

курсовая работа , добавлен 21.01.2015


Мозговой штурм, как креативный метод решения задач, стимулирует активность и интуитивное мышление людей в процессе поиска идей. Процесс принятия решения методом мозгового штурма, его достоинства и недостатки. Модификации метода мозгового штурма.

реферат , добавлен 15.05.2008


Анализ метода организации коллективной мыследеятельности: мозговой штурм и метод Дельфи. Содержание методов Дельфи и мозговой атаки. Составляющие внутреннего содержания этих методов. Исторический экскурс по возникновению и развитию, процесс проведения.

контрольная работа , добавлен 20.02.2011


Анализ основ управления организацией. Управленческие решения как главный компонент управления на ООО "СтройБел". Эффективность методик принятия решений в организации и мероприятия по их совершенствованию. Основная структура метода "мозговой атаки".

курсовая работа , добавлен 28.03.2016


Разработка гипотезы исследования системы управления. Исследование управления посредством социально-экономического экспериментирования. Тестирование, имитационное моделирование, факторный анализ, экспертные оценки в исследовании систем управления.

реферат , добавлен 31.01.2010


Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.

реферат , добавлен 10.05.2010


Суть форсайта как метода долгосрочного прогнозирования. Методы прогнозирования, применяемые в форсайтах. Критические технологии, экспертные панели. Особенности корпоративного форсайта. Применение метода корпоративных технологических "дорожных карт".

Поделись статьей:

Похожие статьи

17 апреля 2015
Фандрайзинг где и как обучают

17 апреля 2015
Должности в компании: генеральный директор, главный инженер, технический директор

17 апреля 2015
Минфин утвердил новые формы бухотчетности От главбухов стали требовать новый ежеквартальный отчет

17 апреля 2015
Предварительное таможенное декларирование товаров по таможенному кодексу таможенного союза Различие основного таможенного декларирования от предварительных процедур