Качество есть качество . Качество в отличие от количества не измеряют, а оценивают. Существуют две формы оценки качества: лингвистическая и количественная. В первом случае качество определяют словами: например, "качество высокое", "среднее", "низкое" и т.д. Во втором случае качество оценивают по некоторой условной шкале числом к (0 < к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.

Для оценки качества привлекаются эксперты, мы рекомендуем компанию ООО "ПрофЭксперт" -https://profexpert-ocenka.ru. К подобной оценке качества мы уже прибегали, когда пытались характеризовать параметры пожарного ведра. Экспертной оценке качества могут быть подвергнуты товары и услуги, проекты и законы, знания и квалификация, выступления фигуристов, гимнастов или вокалистов и многое другое. Как ни ругают качественные, а не количественные оценки в некоторых видах спорта, вспоминая при этом скандалы на соревнованиях, экспертные оценки жюри остаются единственным мерилом выступления многих спортсменов. Не говоря уже о людях искусства и о различных творческих конкурсах...

В повседневной жизни при принятии решения можно исходить из лингвистической оценки качества: мы, например, покупаем хороший чай или газонокосилку высокого качества и т. д. Однако есть такие задачи, в решении которых лучше руководствоваться количественной оценкой качества. Кроме того, обычно лингвистические оценки строятся на основе экспертных количественных оценок. Так, качество выпускника английского университета и достоинство диплома, который он получает, определяется по следующей шкале, представленной в табл. 4.11.

Таблица 4.11. Шкала оценки качества диплома

Независимо от объекта, качество которого подлежит экспертной оценке, методика ее получения в основе своей одинакова.

На рис. 4.29 показана оценка качеств некоторой рукописи книги по Mathcad, сделанная по пятибалльной шкале разными рецензентами (таблица Excel, внедренная в Mathcad-документ), проиллюстрированная двумя диаграммами, глядя на которые можно сделать лишь один вывод о том, что качества отдельных семи сторон рукописи более соответствуют друг другу, чем качества отдельных пяти рецензентов.

Но оценку качества можно делать не только качественно (прошу прощения за тавтологию), но и количественно, цифрами. Для этого рассмотрим задачу оценки деловых качеств руководителя (менеджера). Для оценки потребуются модель качества менеджера, эксперты и математическая обработка результатов работы экспертов.

Модель качества специалиста может быть представлена в виде некоторого набора важнейших качественных параметров (качеств), характеризующих его профессиональный уровень, личностные, деловые качества и предопределяющих успешную работу в рассматриваемой сфере деятельности.

Допустим, что этот набор включает следующие качества:

Уровень и качество образования, опыт практической работы;

Эрудицию, знания и умения в своей и смежных сферах деятельности;

Обучаемость и способность обучать;

Культурный уровень, моральные стандарты;

Физическое и психологическое здоровье, возраст;

Характер, отношение к окружающим;

Умение руководить;

Амбициозность, стремление к лидерству; - способность к риску;

Динамизм, способность оценивать и принимать изменения внутренней и внешней среды.

Рис. 4.29. Графическое сопоставление качеств рукописи и рецензентов

Пред. -

Экспертные оценки и способы измерений.

Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка

Эксперт указывает конкретное числовое значение или диапазон искомого параметра.

Метод средней точки.

Применяется при большом количестве альтернативных вариантов.

Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.

Методы получения качественных экспертных оценок

Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)

Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.

Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.

Инструментами вышеперечисленных методов являются качественные и количественные шкалы.

19. Способы оценки качеств экспертов и формирование экспертных комиссий.

Метод суда.

Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.

Оценка качеств эксперта .

Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.

Формирование состава экспертной комиссии эависит от:

Конкретной ситуации принятия решения;

Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

Возможностей специалистов принять участие в работе экспертной комиссии.

Не существует общепринятой единой методики оценки качеств эксперта.

Можно опираться на:

Профессиональные знания;

Опыт и эффективность деятельности в составе экспертных комиссий.

Способы оценки качеств эксперта:

Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).

Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).

Тестовые – подразумевают проведение специального испытания.

Тест должен быть специально разработан под конкретные объекты экспертной оценки

Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту

Должна быть разработана шкала для определения точности оценок, даваемых экспертом

Вероятность случайного угадывания правильной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.

ЦЕЛИ ЗАНЯТИЯ: 1) изучение методов количественной оценки качества экспертов при формировании экспертной группы;

2) использование методов статистической оценки качества экспертов при создании экспертной группы, предназначенной для оценки качества конкретного изделия.

1.ОБЩИЕ ПОЛОЖЕНИЯ

Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы:

1. Эвристические, при которых значение оценок определяются человеком; методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество; эвристические оценки включают: самооценку, взаимооценку, оценку эксперта членами рабочей группы.
2. Статические, при которых значение оценок получаются в результате обработки суждения экспертов об оцениваемой продукции.
3. Тестовые, при которых значения оценок получаются в результате специальных испытаний, основанных на решении специально подобранных тестовых задач.
4. Документальные, при которых значения оценок получаются на основе анализа документальных данных об экспертах.
5. Комбинированные, при которых значения оценок получаются с помощью любой совокупности перечисленных выше методов.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно.

К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы.

В основе первого метода лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путем присвоения в результате каждому эксперту соответствующего «веса» или весового коэффициента.

В том случае, когда эксперт определяет численные значения оцениваемых свойств (в баллах, долях единицы или ппроцентах), предлагается использовать в качестве оценки эксперта расстояние между «средним» рядом значений оценок и значениями оценок назначенными данным экспертом. Например:

при этом n

j=1/2А Кi - Кij

где Кi- среднее значение i- той оцениваемой величины (свойства);

Кij- значение i- той величины (свойства), назначенное j -тым экспертом; n

В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом:

m2 (n3 - n) - m Tj

где Si - сумма рангов, присвоенных m экспертами i-тому фактору;

S - среднее значение сумм рангов;

Величины Si и S определяются отношениями:

Si= Кij ; S= Si / n

где j - номер эксперта;

i - номер оцениваемого фактора.

Величина Tj определяется из выражения:

Tj= (t3jl – tjl),

где tjl - число одинаковых рангов 1-го вида в оценках j -того эксперта;

Lj -количество групп факторов с совпавшими рангами в оценках j -того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации. Этот уровень находится из таблицы на основе данных о числе степеней свободы n=1 и величины 2 (критерий Пирсона).

Величина 2 определяется по формуле:

mn (n +1) - 1 Tj

Определенный таким образом уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная (W<0,5), то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов.

II Самостоятельная работа.

Задание 1. Для заданного аналога оцениваемого изделия, произвести экспертную оценку эргомических свойств, в соответствии с разработанной иерархической структурой свойств этого изделия (см. практическое занятие №2). Определить численные значения соответствующих эргономических показателей, руководствуясь следующей оценочной шкалой:

Произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

						Число совпавших оценок	Максимальное отклонение

Задание 2. Используя экспресс-метод экспертной оценки качества, произвести ранжирование ряда предложенных изделий (3…5 шт.), аналогичных оцениваемому изделию, в зависимости от уровня их качества произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

							Макси-мальное откло-нение	Сумма отклоне-ний	Число совпавших оценок
Обобщен-ная оценка (средний балл)

Методы экспертной оценки показателей качества това­ров - это методы определения действительных значений еди­ничных и комплексных показателей качества.

Предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэконо­мично из-за чрезмерных расходов на их применение или дли­тельного времени испытаний. Например, при определении вку­са и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется опре­делять значение единичного показателя Р следующим обра­зом :

где Pj8- базовое (эталонное значение).

Другой, более точный метод основан на исследовании по­казателей с целью определения видов зависимости f, т. е. с це­лью разработки формул для расчетов оценок показателей:

Оценка единичных показателей качества начинается с определения допустимых интервалов их измене­ния (Рi макс-Рi мин). Рi макс - наилучшее значение показателя, пре­вышение которого нецелесообразно или невозможно. Принци­пы назначения максимально допустимого значения показателя (Рi макс) зависят от целей оценки качества, при этом необходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые со­ставляют многоступенчатую процедуру оценки допустимых зна­чений показателя. Переход к каждой последующей ступени со­вершается после выработки согласованных решений на преды­дущей.

Экспертная процедура определения допустимых значений показателей качества состоит из ряда операций:

выдачи экспертам анкетой пояснительных записок, в кото­рых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных мо­делей продукции, значения которых они считают предельно допустимыми;

ознакомление каждого эксперта с оценками, назначенны­ми другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

усреднение результатов оценки.

При значительном разбросе мнений проводится дополни­тельный тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое зна­чение принимается среднее из 50% наибольших значений Р.макс, за минимальное допустимое значение - среднее из 50% наи­больших значений Р.мин. Полученные значения используются экспертами при определении оценок показателей качества К.

Для определения экспертами вида зависимостей (f) между значениям показателей Р. и их оценками К нередко использу­ется "метод главный точек". Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно по­строить модель искомой величины.

"Метод главных точек" в зависимости от их числа име­ет несколько разновидностей.

"Метод трех главных точек" - метод, основанный на разделении значений показателей Pj на максимальное, мини­мальное, среднее значение и определении значений оценок К, в ггих точках. Интервал шкалы между максимальной и мини­мальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависи­мости в интервале между главными точками и построение гра­фика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя каче-с т ва К. "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки К(.

"Метод семи главных точек" - метод оценки по семи­Вилльной шкале оценки показателей, значения которых опре-

делены экспериментальным или расчетным путем, а также ор-ганолептическим методом.

Семибалльная шкала является равномерной, т. е. при пере­ходе от одного класса качества к другому оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости f. Затем каждому клас- j су качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом це­лесообразно пользоваться числами в интервале 0-10, кратны­ми 0,5, причем класс "наивысшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характе­ризует зависимость между абсолютными значениями показа­телей Р. и их оценками Кi, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных резуль­татов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать ана­литическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осу­ществлять группировку и классификацию показателей по ви дам зависимости.

Определение комплексных показателей ка чества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателе качества.

Методы комплексной оценки качества имеют две разно видности - экспресс-метод и методы движения по уровням бе подготовки и с подготовкой.

Экспресс -методы комплексной оценки качества образ­цов товаров основаны на определении комплексного показате ля качества путем анализа значений отдельных единичных казателей и внешнего вида без предварительной их оценки и учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта является 7-9 показате­лей, расположенных на одном уровне иерархии и составляю­щих достаточно однородную группу. Кроме того, эксперты долж­ны учитывать важность отдельных показателей с помощью ко­эффициентов весомости, взаимосвязь между ними, а также рас­сматривать качество товара как систему.

Метод движения по уровням без подготовки представ­ляет собой комплекс операций, осуществляемых последователь­но, с постепенным повышением уровня. При этом анализ начи­нается от нижнего уровня дерева показателей. С учетом значе­ния показателей нижнего уровня эксперт дает оценку показа­телям вышележащего уровня. Эти операции повторяются с по­вышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов ве­сомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения ко­эффициентов весомости и оценки единичных показателей. Про­цедура определения комплексных показателей аналогична про­цедуре по методу движения по уровням без подготовки.

Формализация процесса экспертной оценки заключа­ется в нахождении зависимости между значениями показате­лей качества Рi (или их оценками Кi) и показателем качества вышележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении ком­плексных показателей. При этом решающая функция, как и любая модель, упрощает объект исследования, так как учиты­ваются не все показатели и связи между ними.

Среди методов, применяемых в управлении качеством для решения многих управленческих задач, очень часто используются экспертные методы.

Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении качеством. Это связано с большим числом возникающих при этом виде управления противоречий, которые во многих случаях невозможно разрешить объективными методами. Экспертные методы также используют в случаях:

Невозможности применения моделирования и описания управляемых объектов формализованными математическими способами;

Отсутствия достаточно достоверной информации;

Информационной неопределенности управляемых объектов;

Разработки средне- и долгосрочных прогнозов влияния законов и закономерностей на управление качеством;

Существования тенденций развития управления качеством и рыночной среды;

Наличия экстремальных ситуаций в управлении качеством.

В таких случаях непереоценимое значение приобретает использование профессионального опыта и сформированной на его основе интуиции специалистов-экспертов.

Сущность экспертных методов как при решении задач управления качеством, так и при использовании их в практике принятия решений в других областях науки, техники и управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Экспертный метод оценки уровня качества технической продукции используется в тех случаях, когда невозможно или очень затруднительно применить методы объективного определения значений единичных или комплексных показателей качества такими методами как инструментальный, эмпирический или расчетный.

Экспертный метод (или экспертный способ, т.е. метод экспертных оценок) является совокупностью нескольких различных методов, которые представляют собой разновидности, модификации метода экспертиз. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. -- все это решения, принимаемые экспертными методами.

Экспертные методы оценки качества продукции могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества чего-либо. Следовательно, экспертные методы применяются:

При общей (обобщенной) оценки качества продукции;

При классификации оцениваемой продукции;

При определении номенклатуры показателей качества оцениваемой продукции;

При определении коэффициентов весомости показателей качества продукции;

При оценки показателей качества продукции органолептическим методом;

При выборе базовых образцов и безразмерных значений базовых показателей качества;

При определении итогового комплексного показателя качества на основе совокупности единичных и комплексных (обобщенных и групповых) показателей;

При аттестации продукции и сертификации.

Экспертный метод оценки уровня качества продукции не может быть использован, если качество можно оценить другими аналитическими или экспериментальными методами с большей точностью или с меньшими затратами.

Результаты общей экспертной оценки такого сложного комплекса свойств, каким является качество продукции, имеют элементы неопределенности и необоснованности. Поэтому экспертная оценка качества продукции в целом является предварительной, ненасыщенной информационно и только в первом приближении, ориентировочно характеризует качество оцениваемого изделия. На основе такой экспертной оценки качества, очевидно, нет возможности принимать какие-либо инженерно-технические решения. Этот метод может, например, использоваться при коммерческих сделках, когда нет конкретных (численно выраженных) сведений об уровне качества приобретаемой продукции и т.п.

Однако следует отметить, что экспертный метод для оценки многих показателей качества технической и другой продукции является единственно возможным, применяется достаточно широко и для этого разработаны соответствующие методики.

Объектом экспертизы (экспертных оценок) в нашем случае являются потребительские свойства в их совокупности, т.е. качество.

Критерии, по которым осуществляется экспертиза качества, подразделяются на общие и конкретные.

К общим критериям относятся сложившиеся в обществе ценностные ориентиры, представления и нормы. Конкретные критерии для эксперта -- это реальные требования к качеству продукции данного вида, установленные в нормативно-технических и других обязательных для исполнения документах. В форме конкретных критериев выступает также комплекс базовых значений показателей качества, характеризующих планируемую или проектируемую продукцию. Характеристики реально существующих высококачественных изделий, изготавливаемых в стране или за рубежом, тоже являются конкретными критериями для экспертов.

С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертизу осуществляют путем принятия группового решения компетентными людьми. Для оценки уровня качестве продукции создается экспертная комиссия, состоящая из экспертной и рабочей групп.

В экспертную группу включаются высококвалифицированные и специально подготовленные работники в области создания и функционирования оцениваемой продукции: исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от семи до двадцати человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.

Экспертная группа (комиссия) пользуется экспертным способом получения информации о показателях качества оцениваемой продукции. При этом экспертная группа может принимать решения на основе усреднения оценок экспертов или проводя голосования экспертов (метод "комиссий"). С целью уменьшения субъективности в экспертном методе рекомендуется проводить несколько туров опросов экспериментов.

Экспертный метод "комиссий" заключается в том, что в нем используется как бы голосование. Сначала эксперты выставляют оценки независимо друг от друга. Потом, после открытого обсуждения выставленных оценок, эксперты вновь независимо друг от друга дают оценки каждому параметру качества. Впоследствии по скорректированным индивидуальным оценкам рассчитывают экспертную оценку. Эту работу проводит рабочая группа экспертной комиссии. Кроме того, рабочая группа организует процедуру опроса экспертов, анализирует полученные результаты и составляет заключение экспертной комиссии.

Желательно, чтобы для оценок однотипной продукции экспертная комиссия формировалась из постоянных экспертов и членов рабочей группы. Это связано с тем, что в процессе работы относительно постоянной комиссии накапливается опыт работы, происходит обучение ее членов, вырабатываются общие подходы и принципы, а это повышает эффективность работы экспертной комиссии.

Перечень и последовательность основных этапов работы экспертной комиссии состоит в следующем:

1) назначение лиц, ответственных за организацию и проведение работ по экспертной оценке качества продукции;

2) формирование экспертной и рабочей групп;

3) разработка классификации и определение номенклатуры показателей качества оцениваемой продукции;

4) подготовка анкет и пояснительных записок для опроса экспертов;

5) оценка и опрос экспертов;

6) обработка экспертных оценок;

7) анализ и оформление результатов экспертной оценки качества (или показателей качества) продукции.

В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества групп однородных изделий, выпускаемых промышленностью серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке продукции. При комплексной экспертизе получают не только более полную характеристику оцениваемого объекта, но и определенный научный, методический и нормативный материал, используемый при проведении других видов экспертизы.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

Наиболее распространенные экспертные методы при классификации по признаку оценки предпочтений:

1. Метод рангов

2. Метод непосредственного оценивания

3. Метод сопоставлений:

Парного сравнения

Последовательного сопоставления

Используя метод рангов, производят ранжирование (упорядочение) исследуемых объектов организованной системы в зависимости от их относительной значимости. При этом наиболее предпочтительному объекту обычно присваивается первый ранг, и наименее-последний, равный по абсолютной величине числу упорядоченных объектов

Таблица 1 - Определение результирующего ранга объектов ранжирования

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов. Достоинством метода рангов является его простота. Недостатками являются:

Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них.

При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Таблица 2 - Определение результатов непосредственного оценивания объектов

Объект ранжирования №	Эксперт №	Сумма рангов объектов	Результирующий ранг объекта	Весомость объекта

По результатам оценок экспертов место любого объекта можно определить по формуле (1),

где Вi- значимость i-го объекта (i=123….n)рассчитанная на основании экспертов(j=1,2,3,….k)

Aij= оценка (в баллах), данная i-му объекту j-тым экспертом

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, то есть от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Согласованность мнений экспертов определяется с помощью коэффициента конкордации:

где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам (Н) и экспертам (К).

Общими достоинствами экспертных методов являются быстрота получения результатов без наличия нормативной базы в системе управления, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

Недостатками экспертных методов являются их субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в экспертных работах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании систем управления. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.