Исследование нетранзитивных подмножеств в результатах экспертных измерений



страница1/21
Дата01.05.2016
Размер5.29 Mb.
ТипИсследование
  1   2   3   4   5   6   7   8   9   ...   21
ВОСТОЧНО-СИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ТЕХНОЛОГИЙ И УПРАВЛЕНИЯ



На правах рукописи

ШАРАПОВА САЯНА МУНКОЕВНА
ИССЛЕДОВАНИЕ НЕТРАНЗИТИВНЫХ ПОДМНОЖЕСТВ

В РЕЗУЛЬТАТАХ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ

05.02.23 Стандартизация и управление качеством продукции


Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель:

Доктор технических наук, доцент Д.Н. Хамханова.

Улан-Удэ 2014



Содержание


Перечень условных обозначений и сокращений

5

Введение

7

1 Появление нетранзитивных подмножеств в результатах экспертных измерений


13

1.1 Экспертные методы измерений

13

1.1.1 Однократное и многократное экспертное измерение

19

1.1.2 Методы обработки результатов экспертных измерений

23

1.1.2.1 Метод ранжирования

27

1.1.2.2 Метод попарного сопоставления

31

1.1.2.3 Метод двойного попарного сопоставления

35

1.2 Нетранзитивность в результатах экспертных измерений

37

1.3 Анализ проблемы нетранзитивности результатов экспертных измерений

41


1.3.1 Парадокс Кондорсе́

46

1.3.2 Метод Борда

47

1.3.3 Аксиомы Эрроу

49

1.3.4 Метод Кемени

52

1.3.5 Метод Шульце

60

Выводы

69

2 Исследование нетранзитивных подмножеств в результатах экспертных измерений


70

2.1 Причины возникновения нетранзитивных подмножеств

70

2.1.1 Нетранзитивные подмножества как полезные сигналы

78

2.1.2 Нетранзитивные подмножества как сенсорные ошибки

81

2.2 Свойства нетранзитивных подмножеств

87

2.3 Борьба с нетранзитивными подмножествами

90

2.4 Кодирование квалиметрической информации

92

2.5 Исключение нетранзитивности кодированием

94

Выводы

99

3 Исключение нетранзитивных подмножеств из результатов экспертиз


101

3.1 Метод шкалирования

101

3.2 Метод накопления измерительной информации

104

3.3 Вероятностно-статистический метод исключения нетранзитивности

106


Выводы

112

4 Исключение нетранзитивных подмножеств из результатов экспертных измерений в пищевой промышленности

113


4.1 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов качества продукции молочной промышленности методом накопления

113


4.2 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов качества продукции мясной промышленности методом накопления

116


4.3 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов качества продукции мясной промышленности вероятностно-статистическим методом

119


4.4 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов показателей качества хлебобулочной продукции методом Кемени

124


Выводы

146

Заключение

147

Список использованных источников

149

Приложение А. Многоуровневая структура показателей качества кефира

163


Приложение Б. Анкеты для опроса экспертов для определения весовых коэффициентов показателей качества кефира

164


Приложение В. Результаты определения весовых коэффициентов показателей качества кефира

168


Приложение Г. Многоуровневая структура показателей качества вареной колбасы «Докторская»

176


Приложение Д. Анкеты для опроса экспертов для определения весовых коэффициентов

показателей качества колбасы вареной «Докторская»



179


Приложение Ж. Результаты определения весовых коэффициентов показателей качества вареной колбасы «Докторская»

182


Приложение К. Многоуровневая структура показателей качества хлебобулочных изделий

287


Приложение Л. Анкеты для опроса экспертов для определения весовых коэффициентов показателей качества хлебобулочных изделий

195


Приложение М. Результаты определения весовых коэффициентов показателей качества хлебобулочных изделий

198


Приложение Н. СТО 02069473.001-2013 «Методика оценки качества пищевой продукции экспертными методами измерений»

205


Приложение П. СТО 02069473.002-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Метод накопления».

206


Приложение Р. СТО 02069473.003-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Вероятностно-статистический метод».

207


Приложение С. «Положение о производственной лаборатории».

208

Приложение Т. «Положение о дегустационной комиссии»

209

Приложение У. Акты и справки о внедрении

210


Перечень условных обозначений и сокращений
А1, А2, . . . – ответы экспертов

а, б, в, г, д, е, ж, … (A, B, C) – объекты экспертизы

ГБОУ СПО БРТПиПП – государственное бюджетное образовательное учреждение среднего профессионального образования Бурятский республиканский техникум пищевой и перерабатывающей промышленности

К – контрольная проба

Л, Х – продукты

ЛПР – лицо принимающее решение

МОК – методика оценивания качества

ООО – общество с ограниченной ответственностью

ООО «Байкальская промысловая компания» – общество с ограниченной ответственностью «Байкальская промысловая компания»

ООО МИП «Алтан Уула» – общество с ограниченной ответственностью малое инновационное предприятие «Алтан Уула»

ООО МИП «Доктор Хлеб» – общество с ограниченной ответственностью малое инновационное предприятие «Доктор Хлеб»

ООО «Пиката» – общество с ограниченной ответственностью «Пиката»

СППК «Профит» – сельскохозяйственный потребительский перерабатывающий кооператив «Профит»

СССР – Союз Советских социалистических республик

СТО — стандарт организации

СЭМ — сенсорные экспертные методы

ФГБОУ ВПО ВСГУТУ – Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Восточно-Сибирский государственный университет технологий и управления

d [a, * ], d [б, * ], d [в, * ], – количество предпочтений между объектами * и

А, В, С соответственно, где * – от А до С

Fi jчастота предпочтения i-м экспертом j-го объекта экспертизы

G – ранг, проставленный i-м экспертом j-му показателю качества

gj – весовой коэффициент j-го показателя качества

Ki,j – число предпочтений i-м экспертом j-го объекта экспертизы

М – математическое ожидание

m – количество показателей качества

n – число мнений, удовлетворяющих необходимому условию

Рэ – вероятность предпочтений экспертов

Р1, – первая проба

Р2 – переменная проба, вторая проба

РI – вероятность ошибки первого рода

РII – вероятность ошибки второго рода

Pijn – мнения экспертов

n – количество экспертов

Q – случайный размер

Qi , Qj – i- й и j-й размеры

t – количество объектов

Хдоп – условная вероятность правильного решения о том, что i- й размер больше или меньше j-го размера

~ – обозначена равнозначность объектов

→, ↑ – предпочтительность объектов.

Введение
Решение проблем повышения качества выпускаемой продукции является сегодня неотъемлемым элементом стратегии развития любого производства. В соответствии с существующими требованиями все процессы, связанные с повышением качества и конкурентоспособности продукции, следует начинать с анализа потребителей и ожиданий потребителей этой продукции, для чего в настоящее время широко используют экспертные методы измерений.

Экспертные методы измерений получили широкое распространение в различных отраслях: в пищевой, легкой, парфюмерной промышленности, архитектуре, медицине, спорте и т.д. [2-13, 15-27, 33-37, 39-49, 57-61, 64-66, 75, 103-106].

Они применяются тогда, когда применение более объективных методов с использованием технических средств невозможно, сложно и экономически невыгодно. Разновидностями экспертных измерений являются органолептические измерения и социологические исследования.

Экспертные измерения обычно проводятся по шкале порядка. Однако при измерениях по шкале порядка возникает такая ситуация, когда появляются нетранзитивные подмножества (включения), т.е. не соблюдается один из основных принципов измерения [20,50-56, 94, 95, 102, 111, 131, 132].

Особенно часто появляются нетранзитивные включения при определении весовых коэффициентов показателей качества пищевых продуктов методами ранжирования и попарного сопоставления [76-80, 86-90].

Впервые появление нетранзитивных подмножеств за рубежом была рассмотрена в работах [111,128]. В дальнейшем решению задачи исключения нетранзитивных подмножеств был посвящен ряд работ [41, 106, 112].

У нас в стране проблеме появления нетранзитивных подмножеств посвящены работы И.Ф. Шишкина [94,95,102], Поддъякова [54-56, 138] и С.В. Муравьева [131-132].

Однако эта задача не решена полностью. Метод нахождения сильнейшего пути [50-53], предложенный Шульцем, при голосовании не подходит, например, для исключения нетранзитивных подмножеств, полученных при определении весовых коэффициентов показателей качества пищевых продуктов.

С другой стороны, метод исключения нетранзитивных подмножеств путем нахождения медианы, предложенный Кемени, не всегда приемлем, так как может получиться несколько медиан.

Важность исключения нетранзитивных подмножеств продиктована:

а) широким применением экспертных методов измерений. Ежедневно в различных отраслях промышленности России выполняются сотни тысяч измерений экспертными методами для определения качества продукции и услуг;

б) ответственностью измерений экспертными методами, результаты которых используются на всех этапах производства;

в) требованиями взаимного доверия потребителей к результатам измерений экспертными методами.

В связи с этим возникает актуальная научная задача исключения нетранзитивных подмножеств из результатов экспертных измерений, позволяющих повысить их достоверность.



Целью диссертационной работы является разработка методов исключения нетранзитивных подмножеств из результатов экспертных измерений при контроле качества пищевых продуктов.

В соответствии с поставленной целью решались следующие задачи:

– исследование свойств нетранзитивных подмножеств;

– разработка способа выявления нетранзитивных подмножеств;

– применение метода Кемени для исключения нетранзитивных подмножеств из результатов определения весовых коэффициентов показателей качества пищевых продуктов;

– разработка методов исключения нетранзитивных подмножеств;

– опытно-промышленная апробация методов исключения нетранзитивных подмножеств на предприятиях пищевой промышленности при контроле качества органолептических показателей качества пищевых продуктов.

Методы исследования, обоснованность, достоверность.

Для решения поставленных задач были использованы методы: теории измерений, теории вероятности, математической статистики и имитационное моделирование.

Обоснованность применяемых методов подтверждается их широким использованием в самых различных прикладных исследованиях.

Достоверность результатов и выводов исследования подтверждена большим объёмом экспериментальных исследований, проведенных на предприятиях Республики Бурятия: общество с ограниченной ответственностью «Пиката» (ООО «Пиката»), ООО Малое инновационное предприятие «Алтан Уула» (ООО МИП «Алтан Уула»), Государственное бюджетное образовательное учреждение среднего профессионального образования Бурятский республиканский техникум пищевой и перерабатывающей промышленности (ГБОУ СПО БРТПиПП), ООО «Байкальская промысловая компания», сельскохозяйственный потребительский перерабатывающий кооператив «Профит» (СППК «Профит»), ООО Малое инновационное предприятие «Доктор Хлеб» (ООО МИП «Доктор Хлеб»).



Основные положения, выносимые на защиту и составляющие научную новизну.

1. Впервые установленные свойства нетранзитивных подмножеств и предложенный метод выявления нетранзитивных подмножеств, заключающийся в помехоустойчивом кодировании квалиметрической информации.

2. Разработанный метод исключения нетранзитивных подмножеств путём накопления квалиметрической информации, основанный на фундаментальном свойстве многократного измерения.

3. Разработанный вероятностно-статистический метод исключения нетранзитивных подмножеств, заключающийся в определения вероятности правильного решения экспертной комиссии.

4. Разработанный метод шкалирования, основанный на выборе реперных точек на шкале порядка, заключающийся в том, что эксперт сравнивает объекты не между собой, а с реперными точками.

Практическая значимость диссертационного исследования.

Научные результаты диссертационной работы и предложенные в ней решения реализованы при разработке стандартов организации и положений по проведению экспертных измерений на предприятиях пищевой промышленности. Разработанная система документов состоит из:

1. СТО 02069473.001-2013 «Методика оценки качества пищевой продукции экспертными методами измерений»;

2. СТО 02069473.002-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Метод накопления».

3. СТО 02069473.003-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Вероятностно-статистический метод».

4. «Положение о дегустационной комиссии».

5. «Положение о производственной лаборатории».

По теме диссертационной работы выполнена госбюджетная научно-исследовательская работа «Разработка методологических принципов обеспечения единства экспертных измерений», № государственной регистрации 01.200315157.

Апробация разработанных стандартов организаций и положений, проведенная в ООО «Пиката», ООО МИП «Алтан Уула», ГБОУ СПО БРТПиПП», ООО «Байкальская промысловая компания», СППК «Профит», ООО МИП «Доктор Хлеб» Республики Бурятия, показала целесообразность их применения. Кроме того, разработанные стандарты организации могут быть распространены на исключение нетранзитивных подмножеств из результатов экспертных измерений в ряде других отраслей, таких как парфюмерная, легкая, образование и т.п., где находят широкое применение экспертные методы измерений.

Результаты исследования, отдельные положения и рекомендации получили принципиальное одобрение и внедрены на предприятиях пищевой промышленности Республики Бурятия (ООО «Пиката», ООО МИП «Алтан Уула», ГБОУ СПО БРТПиПП, ООО «Байкальская промысловая компания», СППК «Профит», ООО МИП «Доктор Хлеб») и используются в учебном процессе ВСГУТУ по направлениям подготовки «Стандартизация и метрология», «Управление качеством» по дисциплинам «Квалиметрия» и «Квалиметрия и квалиметрический анализ».



Апробация работы. Основные положения диссертационного исследования докладывались и обсуждались на: международной научно-практической конференции «Качество образования: системы, технологии, инновации» (Барнаул, 2007 г.); XIII Международной научно-практической конференции студентов, аспирантов и молодых ученых "Современные техника и технологии" (Томск, 2007 г.), Юбилейной школе-конференции с международным участием (Москва, 2007 г.); I международной научно-практической конференции «Качество как условие повышения конкурентоспособности и путь к устойчивому развитию» (Улан-Удэ, 2009 г.), ежегодных научно-практических конференциях ВСГУТУ (Улан-Удэ, 2007-2013 гг.), опубликованы в журналах «Вестник ВСГТУ» (2011 г.), «Известия КГТУ» (2012 г.), «Фундаментальные исследования» (2012-2013 гг.).

Под руководством автора по теме диссертационной работы выполнены следующие дипломные работы: «Исследование экспертных методов оценки качества мясных изделий» (студентка ВСГУТУ Ц.Н. Бимбаева), «Сравнительный анализ экспертных методов измерений при оценке качества хлебобулочных изделий» (студентка ВСГУТУ А.Б. Будожапова), «Исследование экспертных методов оценки качества хлебобулочных изделий» (студентка ВСГУТУ Д.П. Раднаева), «Исследование экспертных измерений в ООО «Бурятмясопром»» (студентка ВСГУТУ А.С. Калашникова), «Методология проведения экспертных измерений в ОАО «Молоко Бурятии» (студентка ВСГУТУ А.А. Мункуева), «Исследование нетранзитивных включений в результатах экспертных измерений на примере хлебобулочных изделий» (студентка ВСГУТУ Е.Е. Бамбагаева).



1 Появление нетранзитивных подмножеств в результатах экспертных измерений
1.1 Экспертные методы измерений

Экспертные методы измерений получили широкое распространение в различных отраслях: в пищевой, легкой, парфюмерной промышленности, архитектуре, медицине, спорте и т.д.

Они применяются тогда, когда применение более объективных методов с использованием технических средств невозможно, сложно или экономически невыгодно. Разновидностями экспертных измерений являются органолептические измерения и социологические исследования [16, 19, 22–25, 52, 83].

В квалиметрии экспертный метод применяется для измерения показателей качества, определения значений весовых коэффициентов. Экспертные методы не требуют дорогостоящего оборудования, приборов, реактивов и нетрудоемки по времени. Научно организованный экспертный метод измерения по чувствительности превосходит многие приемы лабораторных исследований. В ряде случаев это единственно возможный метод, позволяющий отличить высококачественный продукт от ординарного, фальсифицированный от натурального, выявить ранние признаки порчи [92].

Однако экспертные методы не являются принадлежностью только квалиметрии. Они применяются при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу [101].

Особенность экспертной квалиметрии заключается в том, что она ориентирована на человека как непосредственного измерителя качества в системе оценки. В настоящее время экспертные методы оценки качества представляют собой наиболее развитую область квалиметрии, они рассматриваются и исследуются во многих работах.

Однако целостного представления об экспертной квалиметрии как единой теории нет, нет единого понимания, что относить к методам экспертной квалиметрии: можно ли отнести к ним социометрические методы, оценки, формируемые лицом, принимающим решение (ЛПР), психофизические (органолептические), психологические, тестовые методы измерения качества.

Задачи, решаемые методами экспертной квалиметрии, многообразны, они касаются как процедур (алгоритмов) оценки качества в целом, так и отдельных операций оценивания – определения коэффициентов весомости, шкалирования, выявления отношений взаимозаменяемости в пространстве мер (показателей), определения состава оценочных показателей, обоснования системы базовых значений показателей, обоснования граничных (пороговых) значений показателей.

В экспертной квалиметрии выделяются два основных класса экспертиз. Первый – класс интеллектуальных экспертных методов, основанных на привлечении интеллекта (опыта, знаний) специалиста, второй – класс сенсорных экспертных методов (СЭМ), состоящий в использовании сенсорных (чувствительных) возможностей человека (специалиста). Отметим, что класс СЭМ по своему содержанию шире традиционно понимаемых органолептических измерений, использующих зрительный, слуховой, тактильный и другие анализаторы (органы чувств). Он охватывает также методы оценки качества, основанные на фиксируемых ощущениях испытателей различных видов техники (например, транспортных средств) [10].

По теоретическим и прикладным вопросам применения экспертного метода (для целей оценки качества) существует весьма обширная литература на русском и иностранном языках [1–25, 39–49, 57–61, 62–66, 68–71, 73–74, 81–82, 84, 97–100, 108–111, 115–118, 121–127, 133–143].

Экспертный метод – это метод решения задач, характеризующийся тем, что: 1) в решении участвует группа людей; 2) эти люди являются экспертами; 3) задача состоит в получении новой информации; 4) эта информация имеет общественную значимость; 5) при решении задачи обычно не используется определенный, общий для всех экспертов алгоритм; 6) решение базируется на опыте и интуиции экспертов, а не на непосредственных результатах расчетов или экспериментов. С учетом последней особенности экспертного метода приходится считать, что такие виды деятельности экспертов, которые требуют от них проведения специальных анализов, экспериментов, исследований и т.д., например криминалистическая или бухгалтерская экспертиза, строго говоря, не должны квалифицироваться как примеры применения собственно экспертного метода [8].

Решение задачи дается в форме коллективного экспертного суждения, получаемого на основе агрегирования индивидуальных экспертных суждений, выносимых отдельными экспертами.

Если экспертные суждения выражаются в количественной форме или по своему характеру могут интерпретироваться как оценочные (много – мало, лучше – хуже, дальше – ближе и т.д.), то они называются экспертными оценками – коллективными или индивидуальными. Процесс выявления индивидуальных экспертных суждений (или оценок) называется экспертным опросом, а вся совокупность процедур, необходимых для получения коллективного экспертного суждения (оценки), включая и процедуру экспертного опроса, носит название экспертизы.

Экспертный метод (для его обозначения применяются и другие термины-синонимы: экспертный способ, метод экспертных оценок), строго говоря, представляет собой не какой-то единый метод, а является совокупностью различных методов, которые могут считаться его модификациями. В свою очередь, сам экспертный метод вместе с так называемым социологическим методом образует метод групповых решений, входящий составной частью в теорию принятия решений [8].

Различные разновидности экспертного метода применялись и применяются у всех народов и во все времена для обсуждения разнообразных проблем и вынесения решений на советах, совещаниях, комиссиях и т.д. – везде, где основой решения являлось коллективное мнение компетентных людей (т.е. экспертов). Например, типично экспертными являются оценки, выставляемые учащимся на экзаменах в средней и высшей школе. То же относится к голосованию во всех органах коллективного руководства – партийных, административных, научных, общественных. Вообще, можно считать, что любое решение, принимаемое группой компетентных людей, представляет собой разновидность экспертного метода.

Использование экспертного метода целесообразно только в задачах особого класса, характеризующихся наличием одного из двух условий.

1. Задача не может быть решена никаким другим существующим способом. Например, в настоящее время еще не существует каких-либо (не являющихся экспертными) способов, с помощью которых было бы возможно достаточно надежно и точно оценивать эстетическую привлекательность внешнего вида произведений архитектуры или дизайна.

2. Другие, кроме экспертного, способы являются менее точными или более трудоемкими. Так, при оценке вкусовых качеств пищевых продуктов экспертный метод очень часто все еще дает более достоверные результаты и требует меньших затрат времени, чем методы физического или химического анализа. Особенно эффективно использование экспертного метода в задачах, характеризующихся неопределенностью ситуации, ее вероятностным характером. При этих условиях решение, данное экспертом, зачастую оказывается более точным, чем полученное расчетным путем, так как эксперт способен учитывать исходные данные в их динамике, развитии – начиная от генезиса этих данных с учетом их современного состояния и кончая прогнозированием их развития [8].

Вместе с тем экспертный метод не должен применяться, если имеются аналитические или экспериментальные методы, с помощью которых проблема может быть решена с меньшими затратами или более точно.

И данные практики, и теоретические исследования свидетельствуют о том, что экспертные суждения при соблюдении правильной методологии их получения содержат в себе достаточно достоверную информацию, использование которой позволяет принимать вполне обоснованные решения. В практическом аспекте это подтверждается, например, многовековым опытом человечества, при столкновении со сложной проблемой очень часто применявшим разновидность экспертного метода – групповые решения компетентных людей. Огромный опыт накоплен при экспертной оценке качества продукции. Такая экспертиза применяется во внешней и внутренней торговле большинства стран мира. На ее основе очень часто решается вопрос об отнесении партии изделий к той или иной качественной категории, устанавливаются продажные цены на многие продукты. Многолетний опыт применения экспертного метода в товароведении показал его достаточную надежность, в связи с чем во многих странах заключения эксперта-товароведа имеют юридическое значение [8].

В теоретическом аспекте правомерность использования экспертного метода подтверждается тем обстоятельством, что методологически правильно полученные экспертные суждения удовлетворяют двум общепринятым в науке критериям достоверности любого нового знания: точности и воспроизводимости результата. Что касается точности, то хороший эксперт способен давать свои суждения, очень близкие к истине, и гораздо более точные, чем суждения, полученные от неэкспертов.

Существует несколько основных областей применения экспертного метода: оптимизация управленческих решений; прогнозирование; оценка качества различных объектов и, главным образом, оценка качества продукции [8].

В экспертном методе можно выделить две черты: общую, не зависящую от сферы применения, т.е. от решаемых с его помощью задач; и специфическую, отличающую, например, методологию экспертной оценки качества от методологии экспертного прогнозирования. Общие черты касаются в основном двух этапов экспертизы: 1) формирования экспертной комиссии; 2) процедуры проведения экспертного опроса.

Преимущества экспертного метода: относительная технологическая простота применения, малые затраты времени на разработку и использование методики оценивания качества (МОК).

Недостатки экспертного метода: большая трудоемкость, связанная с необходимостью привлечения в качестве экспертов многих квалифицированных специалистов, относительно большая погрешность и малая надежность итоговых результатов.

Понятия индексной квалиметрии, основные определения и положения отражают концепцию индексной квалиметрии, изложенную в работах [63, 64].

Индексная квалиметрия есть теория измерения и оценки уровня качества или отдельных показателей качества объектов и процессов во времени и пространстве с помощью индексов. Индексная квалиметрия применяет и развивает аппарат теории индексов.

Из данного определения следует, что основная направленность индексной квалиметрии – оценка изменения, темпов движения показателей качества объектов и процессов. Индексная квалиметрия есть теоретическая подобласть измерения динамики качества.

Поскольку индексная квалиметрия базируется на концептуальном аппарате теории индексов (или индексологии), определенные теоретические положения теории индексов переносятся в индексную квалиметрию [64].

Экспертные измерения классифицируются также как и инструментальные измерения на однократные и многократные.





Поделитесь с Вашими друзьями:
  1   2   3   4   5   6   7   8   9   ...   21




База данных защищена авторским правом ©zodorov.ru 2020
обратиться к администрации

    Главная страница