Исследование нетранзитивных подмножеств в результатах экспертных измерений


Однократное и многократное экспертное измерение



страница2/21
Дата01.05.2016
Размер5.29 Mb.
ТипИсследование
1   2   3   4   5   6   7   8   9   ...   21

1.1.1 Однократное и многократное экспертное измерение

Видом измерений названа часть области измерений, имеющая свои особенности и отличающаяся однородностью измеряемых величин. По числу повторных измерений одной и той же величины различают однократные и многократные измерения. Однократное измерение – измерение, выполненное одним экспертом. Многократное измерение – измерение экспертной комиссии, результат которого получен из нескольких следующих друг за другом измерений, т.е. состоящее из ряда однократных измерений [101].

Подавляющее большинство измерений являются однократными. Можно сказать, что в обиходе, торговле, во многих областях производственной деятельности выполняются только однократные измерения. В обычных условиях их точность вполне приемлема, а простота, высокая производительность (количество измерений в единицу времени) и низкая стоимость (по оценке трудозатрат) ставят их вне конкуренции.

Необходимым условием проведения однократного измерения служит наличие априорной информации. К ней относится, например, информация о виде закона распределения вероятности показания и мере его рассеяния, которая извлекается из опыта предшествующих измерений, компетентность эксперта. Без априорной информации выполнение однократного измерения бессмысленно [101].

При обработке результатов однократного измерения предварительно проводится тщательный анализ априорной информации. В ходе этого анализа уясняется физическая сущность изучаемого явления, уточняется его модель, определяются влияющие факторы и меры, направленные на уменьшение их влияния, значения поправок, принимается решение в пользу той или иной методики измерения, выбирается эксперт (дегустатор), изучаются его квалификационные характеристики и опыт выполнения подобных измерений в прошлом. Важным итогом этой предварительной работы должна стать твердая уверенность в том, что точности однократного измерения достаточно для решения поставленной задачи. Если это условие выполняется, то после необходимых приготовлений, включающих выбор эксперта, исключение или компенсацию влияющих факторов, выполняется основная измерительная процедура – получение одного значения показания эксперта.

Согласно аксиоме метрологии, показание является случайным. Ни одно из отдельных его значений не дает полного представления о таком значении [101].

Конечной целью измерительного эксперимента является получение достоверной количественной информации о значении измеряемой величины. На пути к достижению этой цели получение результата однократного измерения служит промежуточным этапом. Дальнейшее зависит от того, какая априорная информация используется.

На основании анализа априорной информации устанавливаются вероятности ошибок первого и второго рода PI и PII. После этого выполняется основная измерительная процедура – сравнение между собой размеров Qi и Qj. На основании сравнения принимается решение относительно неравенства Qi ≥ Qj. Результат измерения представляет собой решение с указанием его вероятности [93].

Разновидностью однократного измерения по шкале порядка служит контрольно-измерительная операция, при которой случайный размер Q сравнивается с нормой.

Другой разновидностью однократного измерения по шкале порядка является обнаружение полезного сигнала на фоне случайных помех.

Результатом сравнения является ранжированный ряд, представляющий собой ряд однократных решений. В зависимости от того, как он получен, ранжированный ряд может быть:

– результатом измерений, если сравнение размеров производиться опытным путем: ранжированием; попарным сопоставлением; двойным попарным сопоставлением.

– результатом вычислений, если сравнение размеров производится теоретически (расчетным методом);

– смешанным ранжированным рядом, т. е. просто результатом сравнения размеров по шкале порядка, если сравнение производилось и теоретически, и экспериментально [85].

Во-первых, независимо от того, как получен ранжированный ряд, одним из условий обеспечения единства измерений экспертными методами по шкале порядка, несомненно, является требование к соблюдению свойства транзитивности шкалы. Например, если Q1→Q2 и Q2→Q3, то Q1→Q3.

Во-вторых, во всех случаях ранжированный ряд представляет собой ряд однократных решений: Q1→Q2, Q2→Q3,…,Qi→Qj и т. д.

Любое из этих однократных решений может быть как правильным, так и неправильным. Следовательно, необходимо определить качество однократного решения, которое зависит от способа получения ранжированного ряда. В том случае, если ранжированный ряд является результатом измерения, то для получения качественного однократного решения следует нормировать условную вероятность правильного решения о том, что i-й размер меньше или больше j-го размера – гдоп., а также условную вероятность правильного составления всего ранжированного ряда.

Вполне понятно, что вероятность правильного решения зависит от квалификации эксперта и равна его вероятности правильного решения. И естественно, что она должна быть не меньше некоторого фиксированного значения.

В тех случаях, когда ранжированный ряд является результатом вычислений, если сравнение размеров производилось теоретически (расчетным методом), то результат вычислений не является случайным. Если все расчеты выполнены, верно, то в этом случае любое однократное решение является правильным и нет необходимости нормировать условные вероятности правильного решения.

А в случаях, когда ранжированный ряд является смешанным ранжированным рядом, то необходимо нормировать условную вероятность правильного решения только при сравнении размеров производимых опытным путем, так как сравнение размеров производимое теоретически значительно точнее опытного.

Кроме того, ранжированный ряд может быть составлен по результатам комплексирования.

В квалиметрии часто составляют ранжированный ряд по результатам комплексирования показателей качества. Здесь меры качества принято называть показателями качества. Показатели качества, в зависимости от измеряемых свойств могут быть выражены как в единицах физических величин, так и в безразмерных единицах и в баллах. В этом случае возникает ряд дополнительных требований к формированию качественного ранжированного ряда, исходящих из требований к комплексированию:

– комплексирование показателей качества необходимо проводить с учетом соблюдения правил теории размерностей, для этого следует перейти от абсолютных значений единичных показателей к относительным, которые всегда безразмерны;

– для исключения компенсации низких значений главных показателей качества высокими значениями второстепенных комплексный показатель следует умножать на коэффициент вето G(Qj) [70, 75, 85].


1.1.2 Методы обработки результатов экспертных измерений

В настоящее время разработаны различные методы экспертных измерений. Наиболее полная классификация экспертных методов дана в работе Г.Г. Азгальдова [3], в которой выделены 16 методов оценки качества проектов. Кратко приведем суть каждого метода.

Метод А. Суть этого метода заключается в том, что группа экспертов в количественной форме оценивает каждый из конкурирующих вариантов проектов по совокупности всех свойств, характеризующих качество этих вариантов. Затем на основе усреднения всех оценок отдельных экспертов определяется общая оценка.

Метод Б. Оценка объекта производится одним экспертом.

Метод В. Путем статистической обработки данных о реализации того или иного объекта выявляется мнение потребителей. При этом принимается, что наиболее покупаемая продукция свидетельствует о том, что качество этого изделия лучше, чем остальных аналогичных.

Метод Г основывается на массовом социологическом опросе потребителей (путем анкетирования и интервьюирования) [3].

Метод Д. Оценка проекта производится по показателю одного свойств, а остальные значения показателей качества фиксируются недостаточно жестко, некоторые вообще не фиксируются.

Метод Е. Выбор лучшего проекта осуществляются по показателю экономичности. В рамках данного метода стараются обеспечить сопоставимость отличающихся друг от друга проектов. С этой целью производят корректировку значений показателя экономичности для каждого варианта. Корректировка эта заключается в том, что проводят подсчет дополнительных затрат, которые нужно провести по каждому варианту, для обеспечения качественной равнозначности с вариантом – аналогом.

Метод Ж. Лучший вариант определяется только по одному показателю, выступающему в роли целевой функции, при ограничениях, наложенных на показатели других свойств.

Метод И. Выбор лучшего варианта осуществляется по комплексному показателю, образованному на основе функциональной зависимости между единичными показателями.

Метод К. Выбор лучшего варианта осуществляется по комплексному показателю, образованному в виде отношения экономичности к показателю эффективности [3].

Метод Л. Отличие этого метода от предыдущего заключается в том, что выбор лучшего варианта осуществляется по комплексному показателю, определяемому как разность значений этих двух показателей. Необходимым условием применение данного метода является выражение обоих показателей качества в одних и тех же единицах. В данном случае показатель эффективности выражают в денежной форме.

Метод М. Варианты сравниваются по значениям показателей отдельных свойств. Лучшие значения показателей качества выделяются определенным образом, не количественно (например, знаками (+) или (>) обозначаются лучшие показатели качества, а остальные – знаками (–) или (<)). Затем составляется таблица сравнения вариантов, на основании которого выбирается лучший вариант.

Метод Н заключается в том, что качество вариантов определяется путем сравнения значений отдельных показателей. Отличие от метода М выражается в том, что значения показателей качества определяются в количественной форме.

Метод О. В этом методе определяются весовые коэффициенты показателей качества одним экспертом, которые в дальнейшем будут приниматься для определения комплексного показателя качества.

Метод П. Сначала одним из способов (экспертным или аналитическим) определяются весовые коэффициенты показателей качества объекта. Затем их ранжируют по мере их важности и определяют значение наиболее важного показателя качества у сравниваемых объектов. Считается лучшим тот объект, у которого значение наиболее важного показателя качества выше. Если у нескольких объектов значения наиболее важных показателей качества равноценны, то определяют значения следующего по важности показателя качества и т. д. [3].

Метод Р. Лучший вариант определяется по комплексному показателю, определяемому по принципу среднего взвешенного.

Не вдаваясь в подробности недостатков и достоинств каждого из перечисленных методов, можно сказать, что в принципе все эти методы присущи для определения качества не только проектов, но и любых других объектов (продукции и услуг). В работе [3] проведен подробный анализ этих методов.

Необходимо отметить, что экспертными методами измерения определяются не только количественные различия показателей качества объектов, но и качественные различия между объектами, т.е. принадлежность их к определенному классу.

При таких измерениях не дают ответа на вопрос, какой из объектов обладает более высоким качеством, а определяют принадлежность объекта к определенному классу. К числу таких методов относятся: парный, двухпарный (дуо-трио), треугольный, а также метод двойных стандартов. Эти методы широко применяются в пищевой промышленности [115-118, 122-127, 133].

Парный метод. Из двух продуктов Л и Х, в которых должны быть исследованы качественные различия, один выбирается в качестве контрольного. Собственно, любой из них может быть контрольным. Если, например, сравниваются качественные различия у хранящегося и свежего продукта, то в качестве контрольного (эталонного) используется свежий продукт.

Приготавливают одинаковые пробы контрольного продукта К и неизвестного Х и представляют их экспертам в определенной, но не известной им последовательности. Экспертам всегда преподносят одну пару проб, за исключением первой, контрольной, пробы К. Количество проб, подвергаемых измерениям, может колебаться от 7 до 20 и даже более [74].

Основным требованием парного метода является то, что продукты различаются между собой только одной переменной, а все остальные их показатели одинаковы. Эта переменная относится к химическому составу, влиянию метода технологической обработки, влиянию продолжительности хранения и других свойств.

В задачу эксперта входит сравнить каждую пробу и определить подчеркиванием изменение показателей качества, например, более соленую, более сочную и т.д. Если задача с известным ответом, то подсчитывается количество правильных ответов, если нет, то количество предпочтений.

Двухпарный метод. Этот метод заключается в ограничении количества исследуемых проб до двух, задача – в обнаружении пробы, отличающейся от двух идентичных. Далее определяется количество правильных ответов и проверяется количественное различие, является ли оно значимым.

При обработке результатов, полученных этими тремя способами, используются методы статистического анализа[74].

Метод двух эталонов. Он был разработан для исследования запаха различных пищевых продуктов. В этом методе эксперты до проведения измерения получают две пробы (контрольную Р1 и переменную Р2) для определения запаха. Затем экспертам подают вторую пару проб, идентичную первой. Задача заключается в определении, которая из проб идентична первой – Р1, а которая второй – Р2. При этом применяют наводящую пробу, подаваемую для того, чтобы «войти во вкус», а также контрольную пробу. Наводящая проба должна быть идентична контрольной пробе. После того как была определена контрольная проба, подают еще две пробы в неизвестной последовательности. В этой паре находятся контрольная и неизвестная пробы. Задача эксперта заключается в том, чтобы определить, какая из двух, первая или вторая, является контрольной. Сравнение результатов определений позволяет определить количество правильных ответов. По процентному отношению числа правильных ответов к общему числу измерений определяют, есть ли существенное различие между пробами.

Треугольный метод. При треугольном методе также применяют контрольную наводящую пробу. Сначала экспертам подают контрольную пробу, затем – три пробы одновременно, две из которых идентичны. Задача заключается в том, чтобы из трех проб, из которых две должны быть идентичны, выбрать непарную или лучшую по качеству [74].

Получение результатов при экспертных измерениях независимо от применяемого метода завершает только экспериментальную часть. За ней следует обработка результатов измерений.

В работе более подробно рассматриваются метод ранжирования, попарного сравнения и двойного попарного сравнения, метод Кемени, метод Шульца.



1.1.2.1 Метод ранжирования

Простейшим видом измерения является экспериментальное сравнение одного размера с другим, по принципу «что больше (меньше)?» или «что лучше (хуже)?» по шкале порядка. Эти шкалы принципиально нелинейны, поэтому они не имеют единиц измерений. Более подробная информация, насколько больше или во сколько раз лучше, иногда не требуется. Например, можно визуально сравнить габариты двух изделий и вынести суждение о том, что больше и что меньше. Подобным образом решаются многие задачи выбора: кто сильнее? как проще? и т.п. [72].

При этом число сравниваемых между собой размеров может быть достаточно большим. Расположенные в порядке возрастания или убывания, они образуют шкалу порядка. Так, во многих конкурсах мастеров искусств (скульпторов, художников, поэтов, композиторов), соревнованиях спортсменов по фигурному катанию и т.п. мастерство исполнения определяется их местом, занятым в итоговой таблице. Построив людей по росту, пользуясь шкалой порядка, можно сделать вывод о том, кто выше, однако сказать, насколько выше или во сколько раз, нельзя [73].

Одним из методов измерения данных в шкале порядка является метод ранжирования (упорядочения). Этот метод состоит в расположении объектов в порядке убывания или возрастания какого-либо свойства, присущего этим объектам. Обычно степень, с которой то или иное свойство присуще объектам, не поддается количественному измерению и оценивается только качественно [73].

Пусть, например, мнения семи экспертов о пяти объектах экспертизы выражены следующим образом:

Первый эксперт: Q5 → Q4 → Q3 → Q2 → Q1;

Второй эксперт: Q4 → Q5 → Q3 → Q2 → Q1;

Третий эксперт: Q5 → Q4 → Q3 → Q1 → Q2;

Четвертый эксперт: Q5 → Q4 → Q2 → Q3 → Q1;

Пятый эксперт: Q5 → Q4 → Q1 → Q3→ Q2;

Шестой эксперт: Q3 → Q4 → Q5 → Q2 → Q1;

Седьмой эксперт: Q5 → Q3 → Q4 → Q2 → Q1.

Результаты опроса экспертов можно представить в виде таблицы 1.

Таблица 1 – Результаты опроса экспертов



Показатели

Эксперты

Сумма рангов

1

2

3

4

5

6

7




Q1

5

5

4

5

3

5

5

32

Q2

4

4

5

3

5

4

4

29

Q3

3

3

3

4

4

1

2

20

Q4

2

1

2

2

2

2

3

14

Q5

1

2

1

1

1

3

1

10

Результат многократного измерения имеет вид: Q5 → Q4 → Q3 → Q2 → Q1.

Весовые коэффициенты при ранжировании определяют по формуле (1):



, (1)

где gj – весовой коэффициент j-го показателя качества;

n – количество экспертов;

m – количество показателей качества;

Gi j – ранг, проставленный i – м экспертом j- му показателю качества.

Значения весовых коэффициентов равны:



; ; ; ;

Особенность метода ранжирования показателей качества заключается в том, что показатели качества ранжируются в порядке убывания вносимого им вклада. Вклад каждого показателя оценивается по величине ранга – места, которое отведено исследователем (специалистом при опросе, экспертом) данному показателю при ранжировании всех показателей качества с учетом их предполагаемого (количественно неизвестного) влияния на качество продукции.

Математической моделью теоретического сравнения между собой двух размеров одной меры по шкале порядка служит неравенство:

Qi ≤ Qj или Qi ≥ Qj , (2)

а результат сравнения – решение о том, какой размер больше другого или они равны между собой. Если все расчеты верны, то результат вычислений – решение – является правильным [73].

В отличие от этого результат экспериментального сравнения двух размеров (результат измерения), согласно основному постулату метрологии, является случайным, т.е. решение о том, какой размер больше другого или они равны между собой, оказывается как правильным, так и неправильным.

Измерения по шкале порядка являются самыми несовершенными, наименее информативными. Они не дают ответа на вопрос о том, насколько или во сколько раз один размер больше другого [73].

Действительно, ведь ранжирование объектов содержит лишь информацию о том, какой из объектов более предпочтителен, и не содержит информацию о том, на сколько или во сколько раз один объект предпочтительнее другого. Объект, расположенный в ранжировании эксперта, скажем, на третьем месте, может превосходить объект, расположенный на четвертом месте, в 1,01 раза, а может превосходить и в 101 раз. Никакой информацией мы на этот счет не располагаем, поскольку измерения произведены в порядковых шкалах (объекты лишь проранжированы).

На шкале порядка определены (т.е. могут выполняться) лишь некоторые логические операции. Например, если первый результат больше второго, а второй больше третьего, то и первый больше третьего. Или если хоть один из размеров больше третьего, то их сумма тоже больше третьего, то их разность меньше третьего[73]..

Эти свойства шкал называются свойствами транзитивности. В то же время на шкале порядка не определены (т.е. не могут выполняться) никакие арифметические действия. Интервалы между реперными шкалами точками неизвестны (на шкале не установлен масштаб), поэтому баллы нельзя складывать, вычитать, умножать или делить [72].

Шкала порядка (рангов) имеет то преимущество перед другими шкалами, что в ряде случаев ее использование связано с меньшей трудоемкостью проведения экспертного опроса. Вместе с тем эта шкала является более «грубой» по сравнению с другими шкалами, в связи с чем ее применение в задачах оценки качества ограничено [8].

Алгоритм обработки результатов экспертиз, полученных методом ранжирования, представлен на рисунке 1.

Исходные данные

n, m, Gij

Определение суммы рангов, проставленных всеми экспертами

j-му объекту экспертизы (показателю)




Определение суммы рангов всех объектов экспертизы

(показателей) m, проставленных всеми экспертами n



Определение весового коэффициента j-го объекта

экспертизы (показателя)

Построение ранжированного ряда по

результатам многократного измерения
Рисунок 1 – Алгоритм обработки результатов экспертиз,

полученных методом ранжирования


1.1.2.2 Метод попарного сопоставления

При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления. В таблице 2 приведен пример ранжирования 7 объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом.

При этом способе эксперт получает матрицу, в которой по вертикали и горизонтали проставлены объект экспертизы (показатели качества). Порядок заполнения таблицы экспертами следующий. Объекты сравниваются попарно. В каждой клетке, относящейся к двум объектам экспертизы, проставляется знак «←» (1) или знак «↑» (0) в зависимости от предпочтения. Если предпочитается объект, находящийся в горизонтальной строке, то проставляется «←» (1), если же предпочитается объект, находящийся в вертикальном столбце, то проставляется «↑» (0), как это показано в таблице 2.

Таблица 2 – Мнение эксперта



Номер объекта

1

2

3

4

5

6

7

Кij

1
















6

2

















4

3


















3

4



















2

5


















7

1

6





















3

7






















2

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таблице 2, будет иметь вид: Q5 ~ Q7 →Q4 → Q6 → Q2 ~ Q3 → Q1, где знаком «~» обозначена равнозначность объектов, знаком «→», «↑» обозначена предпочтительность.

Если использовать несколько экспертов, то можно получить более точный результат.

Также можно использовать более совершенные критерии, например, преимущество, определить оценкой 2, худшее качество определить оценкой 1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.

В методе парных сравнений объекты предъявляются попарно одному или нескольким экспертам. Основной элементарный экспериментальный акт-сравнение двух объектов А и В одним экспертом, который в простейшей ситуации должен выбрать один из них. Мы будем говорить, что эксперт предпочитает данный объект, хотя выбор не обязательно будет выражать его предпочтение. В более общих случаях эксперт может провозгласить еще и равенство объектов или зафиксировать свои предпочтения на некоторой более тонкой шкале [35].

Сравнение А и В может выполняться всеми экспертами. Если же рассматриваются более чем два объекта, то легко сделать, чтобы каждый эксперт производил каждое возможное парное сравнение. Для t объектов и n экспертов всего возможных пар для сравнения имеется s=t*(t-l)/2.

Метод парных сравнений первоначально применялся в случаях, когда сравниваемые объекты можно было сопоставить лишь субъективно, то есть когда невозможно или невыгодно делать соответствующие измерения для того, чтобы решить, который из двух объектов предпочтительнее.

В иных случаях эксперты бывают способны сравнивать несколько объектов сразу. Если это легко сделать, простая ранжировка всех объектов может оказаться более предпочтительной. Однако, когда различия между объектами невелики, желательно сравнивать каждую пару как можно более свободно от любых посторонних влияний, вызванных присутствием других объектов. Так, метод парных сравнений имеет некоторые преимущества, когда необходима ответственная экспертиза. Ранжировка получается быстро только при вполне очевидных различиях; в противном случае процесс ранжирования практически требует многократного повторения попыток попарных сравнений «соседей», прежде чем будет достигнуто разумное упорядочение. Ранжирование становится непрактичным, если объектов много [2].

Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. вы выбираете продукты, сравнивая их попарно), тем не менее шкалу порядка часто составляют заранее (неранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами [8].

Алгоритм обработки результатов экспертиз, полученных методом попарного сопоставления, представлен на рисунке 2. Результат измерения, зависит от множества обстоятельств, не поддающихся строгому учету. Это и настроение эксперта в данный момент, и степень сосредоточенности, и наличие или отсутствие раздражающих факторов, и многое другое. Вследствие этого, как показывает опыт, результат измерения является в какой-то мере случайным. Повторное измерение той же самой величины может дать (и на практике дает) несколько иной результат, последующие – также. Народная мудрость давно выработала правило: "семь раз отмерь, один раз отрежь", имея в виду, что элемент случайности при многократном измерении одной и той же величины уменьшается. Результаты однократных измерений при этом усредняются.

Исходные данные

n, m, kij

Определение числа предпочтений

i-м экспертом j-го объекта Kij

Определение общего числа суждений

одного эксперта

Определение частоты предпочтения i-м экспертом j-го объекта экспертизы

Определение весового коэффициента j-го объекта экспертизы, по мнению всех экспертов



Построение ранжированного ряда

по результатам многократного измерения
Рисунок 2 – Алгоритм обработки результатов экспертиз,

полученных методом попарного сопоставления





Поделитесь с Вашими друзьями:
1   2   3   4   5   6   7   8   9   ...   21




База данных защищена авторским правом ©zodorov.ru 2020
обратиться к администрации

    Главная страница