Экспертные методы используются при решении прогностических, аналитических и проектных задач, свя­занных с неформализуемостью и отсутствием определен­ности в представлениях об организационно-экономиче­ских объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обра­боткой результатов. Особенности метода экспертных оце­нок: необходимость научно обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при опреде­лении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода - формиро­вание группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу.

Компетентность (степень квалификации в опреде­ленной области знаний);

Креативность (способность решать творческие за­дачи);

Аналитичность и широта мышления; конструктив­ность (способность формировать конкретные предложе­ния);

Самокритичность эксперта; отношение к экспертизе.

Для формирования экспертных групп могут исполь­зоваться способ тестирования, документационный и дру­гие методы.

Способ тестирования состоит в том, что на основе раз­работанных тестов проходят обследование возможные кан­дидаты, и по результатам ответов формируется группа.

Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая сте­пень, количество публикаций и др.).

Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недо­статок способа: мнение сотрудников может быть согла­сованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект шко­лы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода - проведе­ние экспертизы. Данный этап начинается с выбора спо­соба опроса экспертов. Различают индивидуальный, груп­повой и дельфийский способы.

При индивидуальном способе от каждого эксперта по­средством анкетирования или интервьюирования получа­ют оценки, не зависимые от мнения других. Затем после их обобщения и обработки определяют общую, резуль­тирующую оценку. Индивидуальную экспертизу рацио­нально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важней­шими качествами экспертами выступают его компетент­ность и конструктивность.

Групповой способ предусматривает получение суммар­ной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование це­лесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т.е. при необходимости получения творческого решения. Группо­вой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты незави­симо друг от друга высказывают свое мнение в письмен­ной форме. Важнейшая составляющая метода - тщатель­но разработанные программы анкетирования, осущест­вляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулирован­ные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется еди­ное мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким об­разом, область расхождения мнений сужается и выраба­тывается общее решение. Достоинство дельфийского ме­тода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания сво­его мнения, влияния авторитета.

3 -й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной об­работки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (раз­личные шкалы наименований (классификации), поряд­ков, интервалов, отношений, разностей).

Шкала наименований используется для описания при­надлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по од­ному или ряду признаков (шкала рангов). Шкала интер­валов - для отображения величины различий между свойствами объектов. Шкала отношений - для отраже­ния отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, на сколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значе­ние имеет выбор метода измерения. Наиболее употреби­тельные методы: ранжирование, парное сравнение, не­посредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, форму­лировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?) Полученные формулировки должны достаточно полно отражать важ­нейшее их содержание, т.е. обладать значительной емко­стью; формулирование должно происходить таким обра­зом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: форми­рование экспертной комиссии, организация и проведение экспертиз на основе использования современных мето­дов, использование многокритериальных оценок при ин­терпретации результатов.

25. ЭВРИСТИЧЕСКИЕ МЕТОДЫ

Эвристические методы основаны на логике, инту­иции и опыте лиц, принимающих решение (ЛПР). Данные методы позволяют «уловить» и использовать эти процес­сы при разработке альтернатив. В зависимости от исполь­зуемого подхода эвристические методы подразделяются на формально-эвристические и неформально-эвристи­ческие.

Основа формально-эвристических методов - форма­лизация приемов решения сложных задач человеком пу­тем моделирования его мыслительных процессов. Вклю­чают метод эволюционного моделирования, лабиринтные методы и др.

Эволюционное моделирование предполагает наличие исходного опыта по процессу принятия УР. Этот опыт­ный, информационный материал необходим, чтобы за­пустить модель эволюции. На основе имеющегося опыта разрабатывается несколько вариантов решения, позволя­ющих подойти к ликвидации проблемы и достижению цели решения с разных позиций. Каждый вариант иссле­дуется на основе заранее определенных критериев. В режиме испытаний исходное, опорное решение («родительское») изменяется случайным образом, в результате чего производится «потомок» (генерированная идея). Если «по­томок» хуже «родителя», он отбрасывается, и путем оче­редной мутации рождается новый «потомок». Если же «потомок» лучше, то отбрасывается «родитель», а «пото­мок» занимает его место, и процедура повторяется вновь. Основное достоинство данного метода: возможность ис­пользования вычислительной техники, что позволяет про­водить поиск довольно быстро. Однако нельзя получить выдающегося, нестандартного, творческого решения.

Лабиринтные методы основаны на пошаговом поиске с последующей оценкой возможного продолжения пути ликвидации проблемы. Если направление «тупиковое» происходит возврат в исходную точку, и процесс повто­ряется вновь, пока не будет найден путь дальнейшего перемещения.

Концептуальное моделирование основано на сборе исходной информации при анализе ситуации и постро­ении структурной модели, позволяющей вычленять на­иболее важные элементы отношений. Основное средсию для достижения цели - метод структуризации, базиру­ющийся на принципе декомпозиции (разъединении).

В основе неформально-эвристических методов лежит управление интеллектуальной деятельностью человека. Необходимость такого управления обусловлена особен­ностями его мышления (неформальность, способность к обобщениям, к ориентации в неопределенной ситуа­ции, склонность к рассеиванию и к потере информации). Для усиления первых трех свойств и нейтрализации двух последних используется психоинтеллектуальная генера­ция идей.

Процесс решения сложных задач с использованием генерации идей осуществляется в виде целенаправленной, управляемой беседы-дискуссии двух непосредственных участников: ведущего и решающего. Ведущий ставит пе­ред решающим вопросы, на которые решающий должен высказать свои суждения. Вокруг этих суждений завязы­вается дискуссия. В помощь ведущему могут быть выделены оппоненты и эксперты. Задача оппонентов - кри­тика суждений решающего и вовлечение его в дискуссию. Задача экспертов - помочь ведущему оценить суж­дения и наметить последствия дальнейшего обсуждения. Несколько возможных схем организации сеансов генера­ции идей:

По числу ведущих: полиуправление (несколько ве­дущих), моноуправление (один ведущий), автогенерация (отсутствие ведущего);

По числу решающих: односторонние схемы (один решающий), многосторонние схемы (много решающих);

По виду контакта: с непосредственным контактом (в одном помещении), с опосредованным контактом (че­рез технические средства).

Условия для обеспечения целенаправленности гене­рации идей:

Необходимо обеспечить психологический комфорт (создание удобства рабочего места, приподнятого настро­ения и чувства раскованности решающего);

Обеспечить структуризацию процесса поиска реше­ния (разработать психоэвристическую программу, содер­жащую перечень обсуждаемых вопросов, цели дискуссии и рекомендации);

Создать системы информационного и технического обеспечения.

В результате генерации должен быть получен набор данных, составляющих основной информационный мас­сив или поле возможных решений.

На концепции психоинтеллектуальной генерации идей базируется целый ряд метод психологической акти­визации. Выбор способа генерации производится в зави­симости от характера задачи. При решении неотложных вопросов наилучшими методами могут являться прямая мозговая атака или деловые игры. В изобретательском творчестве - разновидности мозговой атаки и синектические методы. В задачах прогностики - анкетные мето­ды, морфологический анализ и др.

Метод номинальной групповой техники построен на принципе ограничений межличностных коммуникаций, поэтому все члены группы, собравшиеся для разработки решения, на начальном этапе излагают свои предложе­ния в письменном виде самостоятельно, независимо от других. Затем каждый участник докладывает суть своего проекта, представленные варианты рассматриваются чле­нами группы (без обсуждения и критики), и только после этого каждый член группы независимо от других в пись­менной форме представляет ранжирование рассмотрен­ных идей. Предложения, получившие наивысшую оцен­ку, принимаются за основу решения. Особенность дан­ного метода и его достоинство - несмотря на совместную работу членов группы, не происходит ограничения инди­видуального мышления.

Методика атаки разносом может быть применена для обнаружения недочетов, ошибочных заключений и выводов в исследовании, находящемся на стадии завер­шения. В заседании принимают участие до 50 человек, которые заранее ознакомлены с рабочим документом, являющимся предметом обсуждения. Все участники вы­ступают по очереди. Задачей каждого выступающего яв­ляется обнаружение возможно большего числа недостат­ков работы. О достоинствах работы и путях ликвидации недостатков не упоминают. Время одного выступления 1-3 мин., запрещается повторять недостатки, отмечен­ные другими участниками. Иногда целесообразно прово­дить обсуждение в два круга, предоставляя возможность повторного выступления желающим, уточнить свои заме­чания.

Атака разносом является действующим средством не­гативного анализа. Поэтому авторам обсуждаемого доку­мента не следует присутствовать на обсуждении. Орга­низация атаки разносом аналогична прямой мозговой атаке.

Синектические методы базируются на методе мозго­вого штурма, проводимого специальной группой специ­алистов, отличающихся гибкостью мышления, широким кругозором. Такие группы, накапливая приемы и опыт работы, добиваются положительных результатов при на­хождении новых технических решений.

Синектика - это метод прогнозирования по аналогии, перенесения выводов относительно некоторых признаков с одного предмета на другой. На первом этапе руководи­тель ставит задачу, отвечает на вопросы членов группы. На втором этапе каждый из участников предлагает свои идеи, пытаясь взглянуть на проблемы с различных точек зрения, таким образом, преодолевая «психологическую инерцию». Руководитель выбирает одну из них и фор­мирует ее сущность (ключевые представления). На треть­ем _ участники ведут поиск аналогий к ключевому пред­ставлению, используя известные факты из других областей знаний. На четвертом - руководитель пытается приме­нить некоторые из аналогий и представлений, предло­женных членами группы, к поставленной задаче. Далее осуществляется экспертная оценка выбранного направ­ления, и при положительном заключении работа продол­жается до принятия решения.

Морфологические методы при разработке альтерна­тив _ это подход к установлению типичных логических связей и взаимообусловленности. Чаще всего данная груп­па методов применяется при выявлении возможных ва­риантов технических, экономических, организационных решений.

Строится морфологическая таблица. Весь процесс разработки вариантов решения в таблице представляется в области трех полей. Первое поле - информационное служит для обозначения всех операций сбора, предвари­тельной обработки, хранения и передачи информации. В аналитическом поле представляются операции, свя­занные с анализом информации и выбором альтернатив. В целевом - формируются выводы, целевые установки, ограничения и требования к решению. Прослеживаются все операции, протекающие в процессе разработки и принятия решения.

На практике ни один из методов не применяется изо­лированно от других, получение эффективного решения возможно лишь путем целесообразного их сочетания.

Общие представления

Экспертные методы применяются при решении следующих задач:

формулирование и уточнение цели оценки качества продукции;

разработка классификации продукции и потребителей;

построение иерархической структурной схемы показателей качества;

определение коэффициентов весомости показателей;

определение базовых значений показателей.

Применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка производится в случае невозможности использования более объективных методов для решения вопроса;

мнения экспертов должны быть независимыми;

формулировка вопросов, поставленных перед экспертами, должна исключать возможность различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Операции, выполняемые экспертами можно разделить на два класса: органолептические и мыслительные. Органолептические выполняются с помощью органов чувств, а мыслительные - принятие решений на основе переработки информации. К недостаткам экспертных методов следует отнести присущий ему субъективизм, а также явление конформизма - влияние преобладающего в группе суждения на мнение эксперта.

Применение экспертных методов требует привлечения высокопрофессиональных экспертов. В нашей стране еще не развит институт экспертов профессионалов по оценке качества. Поэтому, для этих целей, как правило, приглашаются специалисты по оцениваемой продукции.

В настоящее время активно заявляет о себе новый термин - “экспертные системы”. Под экспертной системой понимается система “человек - машина”, в которой человек играет решающую роль при вынесении оценок. Экспертные системы подразделяют на две группы:

• - системы, функционирующие за счет знаний, в основном, в процессе поиска информации;
• - системы, имеющие в своем составе ЭВМ с соответствующим математическим обеспечением, способные “отвечать” на вопросы типа “что будет, если...?”

Считается наиболее перспективным развитие экспертных систем первого типа, так как, прежде всего человек, в отличие от ЭВМ, может творчески мыслить и синтезировать информацию.

Формирование и подготовка экспертной комиссии

Экспертные комиссии, создаваемые для оценки качества продукции, состоят из двух групп: рабочей (организационная) и экспертной. Рабочая группа занимается разработкой методики оценивания качества, организацией и проведением экспертной оценки качества, обработкой полученной от экспертов информации и анализом результатов. В состав рабочей группы входит организатор, консультант по оцениваемой продукции и технические работники для выполнения машинописных, чертежных, вычислительных работ. Экспертная группа выполняет только оценочные операции.

Организация, в которой формируется экспертная комиссия, должна издать приказ или распоряжение, где указывается состав экспертной комиссии, обязанности ее членов, период и продолжительность работы. Для повышения качества работы экспертов, необходимо, чтобы состав экспертной комиссии был постоянным достаточно длительное время. В.И. Галеев считает, что в состав экспертной группы следует включать 7-12 (15) человек. При этом целесообразно принимать решение, за которое подано не менее 2/3 голосов членов экспертной комиссии. Г.Г. Азгальдов предлагает для упрощенного метода оценивания численность экспертной группы от 7 до 10 человек. В отдельных случаях, когда времени на разработку мало (не больше месяца), а оцениваемый объект сложный (например, грузовой автомобиль или морское судно) необходимо образовать две или три экспертных группы, численностью по 7-10 человек. В этом случае каждая группа работает на отдельных группах свойств объекта.

Если же для оценки качества используется приближенный или точный методы, то применяется более сложный и более точный способ определения численности экспертной группы, который основан на двух основных положениях:

1. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки gэ, тем меньше относительная погрешность и выше доверительная вероятность (надежность) , с которой вычислены gэ. Причем:

где gист - истинное значение той характеристики, которая определяется экспертным методом;

g - абсолютная погрешность, определяющая доверительный

интервал:

g =g ист - g э. (31)

2. Чем больше предварительной информации известно рабочей группе относительно экспертной группы и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов.

При создании экспертной группы используются следующие методы анализа соответствия экспертов предъявляемым требованиям:

• 1) Качественный метод, при котором соответствие определяется в процессе беседы с экспертом организатора-руководителя деятельностью экспертной комиссии и консультанта по оцениваемой продукции.
• 2). Количественный метод включает в себя следующие виды оценки качества экспертов:

эвристические - значения оценок качества экспертов определяются человеком;

статистические - значения оценок получаются в результате обработки ответов экспертов;

тестовые - значения оценок находятся в результате специальных испытаний экспертов;

документальные - значения оценок основываются на анализе документальных данных об экспертах;

комбинированные - значения оценок получаются с помощью некоторой совокупности перечисленных методов.

Перед работой экспертов необходимо обсудить с ними следующие вопросы:

сущность понятия “качество продукции”;

основные термины и определения по оцениваемой продукции и квалиметрии;

сущность экспертных методов и область их применения;

основные оценочные операции, их описание, специфика, трудности выполнения;

наиболее распространенные ошибки экспертов, содержание и программа проводимой работы;

методы обработки значений экспертных оценок и их сущность.

Необходимо, чтобы структура экспертной группы, ее профессиональный состав и количество экспертов соответствовали способу опроса.

С этими целями рабочая группа выбирает способ опроса экспертов и проводит его до формирования экспертной группы.

Опрос экспертов осуществляется индивидуально или совместно с другими экспертами; с обсуждением суждений эксперта на заседании экспертной группы или без него. Опрос может заключаться в беседе эксперта с техническим работником, по схеме “вопрос - ответ” (интервьюирование), в самостоятельном заполнении карты опроса (анкетирование), в заполнении карты опроса, получая при этом все необходимые разъяснения от технического работника (смешенное анкетирование).

Если используется упрощенный метод оценивания качества, то рабочая (организационная) группа проводит выбор экспертов в следующем порядке. Отбирается группа потенциальных экспертов, численностью на 2 -5 человек больше, чем положено иметь в экспертной группе. Затем в личной беседе с каждым потенциальным экспертом стараются получить информацию о качестве самого эксперта. Г.Г. Азгальдов предлагает “дерево свойств” эксперта в виде рисунка 8.

Рассмотрим содержание каждого из приведенных свойств.

Компетентность - всестороннее знание экспертом объекта (профессиональная компетентность) и методов оценивания его качества (квалиметрическая компетентность). Профессиональная компетентность включает знание методов проектирования и производства продукции, показателей качества аналогов, перспектив развития продукции, условий и характера эксплуатации. Квалиметрическая компетентность обеспечивает понимание принципов и методов оценки качества продукции, практическое умение пользоваться ими, знание типов оценочных шкал, субъективных вероятностей и умение различать достаточное число градаций оцениваемого объекта. Компетентность является наиболее важным, но трудно оцениваемым свойством. Оценка специалиста по уже освоенной им профессии является достаточно простой, но экспертам приходится работать на стыке специальностей, здесь требуется оригинальное мышление, интуиция, умение оценить новые идеи, а “чрезмерный профессионализм” может мешать выйти эксперту за рамки его профессиональных представлений.

Для определения показателя компетенции чаще всего используют два метода: самооценка и взаимооценка, на них мы остановимся ниже. Расчетная формула показателя компетентности К ком выражена в виде:

К ком = 0,4К с ком + 0,6 К в ком, (32)

где К с ком - результат самооценки, в баллах;

К в ком - результат взаимооценки, в баллах.

Рисунок 3 Свойства, характеризующие качество эксперта

Уверенность - убежденность эксперта в правильности выбранной им оценки.

Объективность - способность эксперта быть объективным, то есть при участии в экспертизе не поддаваться ведомственным, начальственным или личным интересам.

Деловитость - умение быстро выполнять порученную работу, способность быстро переключаться с оценки одного показателя на оценку другого, умение работать с людьми в конфликтной ситуации, способность противостоять мнению большинства при уверенности в своей правоте, обоснованность и мотивированность выносимых оценок и суждений, умение четко формулировать свои мысли.

Заинтересованность - желание делать порученную работу зависит от его индивидуальных способностей, загруженности основной работой, целей экспертизы и возможностей использования ее результатов в своей практической деятельности.

Учитывая эти свойства, рабочая группа отбирает 7-10 экспертов, у которых они выражены в наибольшей степени.

Окончательным этапом формирования экспертной группы является проведение тестирования, самооценки, взаимооценки экспертов, анализа их надежности и проверки согласованности мнений.

Тестирование проводится для установления компетентности и профпригодности экспертов и заключается в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы анкеты, после чего эксперт по бальной системе проверяет свои профессиональные знания и деловые качества.

Если эксперты имеют опыт совместной работы, то они могут провести взаимную оценку друг друга.

Анализ надежности экспертов проводится по степени надежности, которую можно рассчитать, основываясь на сведениях о результатах работы эксперта в других экспертных группах. Степень надежности - это отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.

Согласованность мнений экспертов оценивается коэффициентом конкордации W , о котором будет рассказано ниже.

Проведение экспертного опроса

Опрос экспертов должен соответствовать следующим требованиям:

• - ограниченное количество вопросов, задаваемых эксперту;
• - полнота охвата решаемой задачи;
• - всестороннее рассмотрение вопроса;
• - ограниченное время опроса;
• - возможность применения заочного опроса;

Операции экспертной оценки качества выполняются по этапам:

• 1. Подготовительный этап:
  • - формулирование цели оценки;
  • - формирование рабочей группы.
• 2. Этап работы рабочей группы:
  • - уточнение цели оценки;
  • - выбор методов, модификаций, способов и процедур оценки;
  • - определение перечня операций, выполняемых экспертами;
  • - формирование экспертной группы;
  • - выбор методов, способов и процедур опроса экспертов.
• 3. Этап работы экспертной группы:
  • - классификация продукции и потребителей;
  • - определение номенклатуры показателей качества;
  • - определение коэффициентов весомости показателей;
  • - определение базовых значений показателей;
  • - определение оценок единичных показателей;
  • - определение комплексных показателей.
• 4. Заключительный этап:
  • - обработка значений экспертных оценок;
  • - анализ результатов и подготовка решения экспертной группы.

При реализации третьего этапа - работы экспертной группы, получают ответы экспертов, которые можно разделить на:

• 1. Общие ответы в виде описаний, их используют при определении и уточнении целей оценки и условий эксплуатации (потребления) продукции или как источник дополнительной информации при оценке качества продукции.
• 2. Классификационные ответы могут быть как в виде описаний, так и в виде шкалы наименований (например, деление потребителей на группы в соответствии с условиями потребления оцениваемой продукции).
• 3. Оценочные ответы представляют в количественном виде (баллы, проценты, доли единицы) или качественной форме (“хорошо - плохо”, “достаточно - недостаточно”), их используют при определении коэффициентов весомости, значения оценок показателей качества. При оценке качества опрос экспертов рекомендуется проводить в два - три тура: индивидуальный и групповой. Это позволяет обеспечить независимость суждений экспертов в первом туре, (что снижает отрицательное конформное и авторитетное влияние) и обмен информацией между экспертами в последующих турах. Проведение более трех туров опроса экспертов нецелесообразно.

Необходимость повторения операций экспертизы оценки качества продукции может возникнуть по различным причинам:

• - сравнение результатов, полученных с использованием одинаковых процедур в различных условиях;
• - сравнение различных методов или процедур, например, очного или заочного опроса;
• - повышение точности результата за счет многократного обмена информацией;
• - оценка качества эксперта за счет определения стабильности его суждения, выраженного показателем воспроизводимости.

К одной из разновидностей многоэтапного метода относится метод Делфи, который американцы довольно долго держали засекреченным.

Метод Делфи был предложен в начале пятидесятых годов американскими учеными Т.Дж. Гордоном и О. Хелмером для решения военных проблем. Название этого метода происходит от древнегреческого города Дельфа, где с IX в. до н. э. при храме Аполлона существовал совет мудрецов - “дельфийский оракул”. Назначение метода Делфи состоит в выявлении мнения специалистов в обстановке, исключающей прямые дебаты между ними, но позволяющей им неоднократно взвешивать свои суждения, учитывая ответы коллег.

Характерными чертами метода Делфи являются:

• - анонимность; эксперты не встречаются друг с другом;
• - ответы на вопросы обязательно содержат количественную характеристику;
• - многоэтапность; после каждого тура эксперты знакомятся с ответами коллег и при необходимости составляют письменные обоснования своих точек зрения, что может найти отражение в изменении мнений эксперта на следующем этапе опроса;
• - контроль; после каждого тура проводится статистическая обработка полученных ответов до тех пор, пока степень согласованности мнений экспертов не достигнет заранее выбранного значения.

Количество проводимых туров опроса зависит от квалификации специалистов и опыта. При особо важных измерениях можно учитывать весовые коэффициенты квалификации экспертов. В среднем считается достаточно проведения трех туров для группы, состоящей из 10-12 экспертов.

По способу проведения экспертные опросы подразделяются:

• - непосредственное измерение;
• - ранжирование;
• - сопоставление.

При непосредственном измерении экспертным методом значения показателей качества определяются в установленных единицах: единицы СИ, баллы, нормо-часы, рубли, единицы условного топлива и т.д. Такие измерения могут проводиться по шкале отношений или по шкале интервалов. Для измерения по шкале отношений требуется наличие эталона. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале интервалов.

Значения коэффициентов рассчитываются по формуле (33):

где n - количество экспертов;

m - число взвешиваемых показателей;

G ij - коэффициент весомости j-го показателя в баллах, данный

i-м экспертом.

Непосредственное измерение экспертным методом является наиболее сложным и требует высококвалифицированных экспертов.

Ранжирование заключается в расстановке объектов измерений или показателей качества в порядке их предпочтения или по важности. Место, занятое при такой расстановке называется рангом. Согласно метода предпочтения эксперта просят пронумеровать все весомости M j в порядке их предпочтения так, что весомость наименее предпочитаемого свойства получает номер 1, следующее - 2, и чем важнее свойство, тем больше значение весомости.

Расчетная формула весомости j-го свойства M j:

где W jl - место, на которое поставлена весомость j-го свойства у

l-го эксперта;

r - количество экспертов;

n - количество свойств.

Согласно метода ранга эксперт делает оценку важности каждого свойства по шкале относительной значимости в диапазоне от 1 до 10, причем он может присваивать свойству как целые, так и дробные числа. В данном методе расчетная формула весомости M j имеет вид:

причем P jl - оценка весомости j-го свойства у l-го эксперта.

Сопоставление подразделяется на последовательное и попарное. Метод последовательного сопоставления заключается:

• 1. Расположение весомостей всех свойств в порядке предпочтения аналогично методу предпочтения (ранжирования).
• 2. Наиболее важное свойство получает весомость M j = 1,0; все остальные - в порядке убывания в диапазоне от 1 до 0.
• 3. Если свойство с весомостью M 1 важнее всех остальных свойств вместе взятых, то M 1 увеличивается до величины, превосходящей сумму всех прочих весомостей:

Если же эксперт считает, что свойство M 1 менее важное, то проводится обратная процедура:

• 4. Аналогичным образом сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом, и так далее для всех остальных. При этом нужно следить, чтобы не нарушалось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе.
• 5. Полученные результаты измерений или весовые коэффициенты нормируют, то есть делят на общую сумму баллов или весовых коэффициентов, после этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Метод попарного сопоставления является наиболее простым и заключается в сравнении двух объектов. Результаты представляются в форме ортогональной матрицы. Например, необходимо сравнить эстетические показатели шести видов обоев, обозначенных номерами 1, 2, ....6 (таблица 3), где предпочтение i-го вида над j-ым соответствует 1, а противоположное - 0.

Ранжированный ряд имеет вид (по возрастающей): №4 №5, №6, №2, №1, №3.

Этот же пример можно рассмотреть с проведением ранжирования следующего вида: преимущество i-го вида над j-ым соответствует 1, противоположное - (-1); а при равном качестве - 0 (таблица 4).

Следовательно, наивысшие эстетические показатели имеют обои № 3, затем, № 1; № 2, № 6 и № 4 имеют равные свойства, наихудшие показатели у обоев № 5.

Шишкин И.Ф. приводит следующий вариант проведения попарного сопоставления. Предпочтение выражается указанием номера предпочитаемого объекта (таблица 3).

Таблица 3

Таблица 4

Балл j-го объекта или весомость j-го показателя рассчитывается по формуле (39). В данном случае:

где F i,j - частота предпочтения i-м экспертом j-го объекта

экспертизы;

c - общее число суждений одного эксперта, связанное с

числом объектов экспертизы m (числом измеряемых

показателей или коэффициентов весомости) соотношением:

Таблица 5

Номер объекта экспертизы

Анализ результатов

После проведения опроса экспертов необходимо определить их степень согласованности, используя коэффициент конкордации W (41).

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднеарифметического рангов;

n - число экспертов;

m - число объектов экспертизы.

Коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Существенность значения W устанавливают с помощью критерия (распределение Пирсона) (42):

Значение сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1. При (f) степень согласия между исследователями (значение коэффициента конкордации W) не вызывает сомнения.

Если имеют место «связанные ранги», то коэффициент конкордации задается формулой

L-е число одинаковых рангов в k-м ранжировании. Например, если некоторый k-й исследователь записал ранги 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10, то для него

(4 3 -4)+(3 3 -3)=84.

Существенность значения W устанавливается также с помощью критерия

который также сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

1. Краткая характеристика экспертных методов

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности.

В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании.

Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Функции экспертных оценок в системе управления:

Прогноз тенденций развития тех или иных объектов управления и возможных сбоев в управляющих подсистемах, возникновения новых субъектов в формировании систем управления;

Обоснование построения модели объекта прогнозирования. Методы экспертных оценок - одна из групп методов научно-технического прогнозирования, базирующаяся на предположении, что на основе мнений экспертов возможно построить адекватную модель объекта прогнозирования;

Оценка степени достоверности данных, полученных в результате исследования, когда на процесс исследования естественным образом влияют субъективные факторы. Например, выводы по любому социально-экономическому исследованию могут быть сделаны на фактах, деформированных социальной концепцией исследователя;

Оценка степени полноты и объективности информации, получаемой управляющей системой от объекта управления, а также обоснованности информации (решений), поступающей на вход в объект управления от управляющей системы;

Оценка конкретных альтернативных путей развития или объекта управления, или управляющей системы, или обеих систем вместе;

Аттестация конкретных элементов управляющей системы и объекта управления на предмет их соответствия функциям, для которых они созданы.

Наиболее распространенными экспертными методами при в настоящее время при принятии решений по управлению являются следующие:

Метод рангов;

Метод непосредственного оценивания;

Метод сопоставлений.

Последний метод включает две его разновидности: парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

Организацию экспертного оценивания;

Проведение сбора мнений экспертов;

Обработку результатов мнений экспертов.

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов системы управления. Достоинством метода рангов является его простота. Недостатками являются:

Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.

Для общего руководства экспертными работами назначается председатель экспертной комиссии. В ее составе организуют две группы -- рабочую и экспертную.

В подчинении руководителя рабочей группы находятся технические работники, отвечающие за техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым вопросам. Формирование экспертной группы осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

Постановку проблемы и определение области деятельности группы;

Составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;

Анализ качественного состава предварительного списка экспертов и уточнение списка;

Получение согласия эксперта для участия в работе;

Составление окончательного списка экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т.п.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

Оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;

Коллективная оценка кандидата в эксперты как специалиста в данной области;

Самооценка кандидата в эксперты;

Аналитическое определение компетентности кандидатов в эксперты.

Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеет разновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих случаях управления качеством они используются совместно, что дает больший эффект и объективность.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.

Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.

«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод «совещаний» («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи».

Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи» представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

Процедура метода включает несколько последовательных этапов опроса.

На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений.

На втором - вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Таким образом, можно сделать вывод, что экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

экспертный оценка метод управление

2. Обработка данных, полученных экспертным методом

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, обеспеченных достаточным информационным материалом, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных, используются методы качественного анализа и синтеза.

Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

При применении рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценить меру согласованности мнений экспертов и определить причины несовпадения суждений. Мера согласованности, естественно, устанавливается па основе статистических данных всей группы экспертов. Для оценки данной меры используются коэффициенты конкордации, которые рассчитываются по формуле

где С -- сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.

где -- средняя сумма рангов;

Аij -- оценка (в баллах), данная i-му объекту j-м экспертом.

К-эксперты, Н-объекты.

Коэффициент конкордации может быть в диапазоне 1>W>0. При W=0 согласованность мнений экспертов отсутствует, а при W=1полная. Обычно считается, что согласованность вполне достаточна при W>0,5.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона Х^2 с определенным уровнем значимости B -Максимальной вероятностью неправильного результата работы экспертов. Обычно значимость достаточно задавать в пределах 0,005 --0,05

В случае получения расчетной величины Х^2расч больше табличной(с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

В случае определения несогласованности линий экспертов по коэффициентам конкордации и при соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, которые строятся по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами -- средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Таким образом, обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

Список используемой ли тературы

1. Василевская И.В. Управление качеством: Учебное пособие / И.В. Василевская. - М.: ИЦ РИОР, 2011. - 112 c.

2. Виханский О.С., Наумов А.И. Менеджмент: Учебник. - 3-е изд. - М.: Экономистъ, 2004. - 528с.: ил.

3. Гительман Л.Д. Преобразующий менеджмент.- М.: Дело, 1999. - 412с.

4. Игнатьева А.В. Исследование систем управления. - М.: ЮНИТИ - ДАНА, 2000. - 156с.

5. Коротков Э.М. Исследование систем управления: Учебник. - М.: ДеКа, 2003. - 264с.

Размещено на Allbest.ru

Подобные документы

Понятие "эвристика" и "эвристический метод". Эвристический метод принятия управленческих решений решения, его особенности. Специфика метода "мозговой атаки", его достоинства и недостатки. Анализ и оценка выдвинутых идей с помощью "мозгового штурма".

реферат , добавлен 07.03.2015


"Мозговая атака" - метод раскрепощения и активизации мышления. Один из наиболее известных и применяемых методов поиска идей путем творческого сотрудничества группы специалистов. Исследование метода "мозговой атаки" при анализе работы пищевого предприятия.

контрольная работа , добавлен 03.09.2010


Применение основных методов на этапе определения альтернатив на практике. Сущность управленческих решений: особенность и эффективность методов. Понятие метода "мозговой атаки". Применение метода "мозговой атаки" на предприятии ОАО "Вимм-Билль-Данн".

курсовая работа , добавлен 20.12.2013


Усовершенствование методик группового принятия решений. Содержание метода экспертных оценок Дельфи. Работа с экспертными оценками, их статистическая обработка. Экспертные оценки вероятности события, их расхождение. Характер взаимодействия экспертов.

курсовая работа , добавлен 21.01.2015


Мозговой штурм, как креативный метод решения задач, стимулирует активность и интуитивное мышление людей в процессе поиска идей. Процесс принятия решения методом мозгового штурма, его достоинства и недостатки. Модификации метода мозгового штурма.

реферат , добавлен 15.05.2008


Анализ метода организации коллективной мыследеятельности: мозговой штурм и метод Дельфи. Содержание методов Дельфи и мозговой атаки. Составляющие внутреннего содержания этих методов. Исторический экскурс по возникновению и развитию, процесс проведения.

контрольная работа , добавлен 20.02.2011


Анализ основ управления организацией. Управленческие решения как главный компонент управления на ООО "СтройБел". Эффективность методик принятия решений в организации и мероприятия по их совершенствованию. Основная структура метода "мозговой атаки".

курсовая работа , добавлен 28.03.2016


Разработка гипотезы исследования системы управления. Исследование управления посредством социально-экономического экспериментирования. Тестирование, имитационное моделирование, факторный анализ, экспертные оценки в исследовании систем управления.

реферат , добавлен 31.01.2010


Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.

реферат , добавлен 10.05.2010


Суть форсайта как метода долгосрочного прогнозирования. Методы прогнозирования, применяемые в форсайтах. Критические технологии, экспертные панели. Особенности корпоративного форсайта. Применение метода корпоративных технологических "дорожных карт".

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.