План:
1. Описание метода парных сравнений.
2. Достоинства и недостатки метода парных сравнений.
1. Описание метода парных сравнений
Метод парного сравнения - один из инструментов оценки и выбора решений, широко используется в экспертных оценках при необходимости расставлять приоритеты в процессе какой-либо деятельности или ранжирования различных объектов.
Идея метода состоит в том, что попарно сравниваются каждые два объекта и определяется первенство одного из них, отсюда название - «попарное (или парное) сравнение». Считается, что при решении проблемы гораздо легче сделать качественное сравнение двух объектов, опираясь на мнение экспертов, чем установить количественные критерии. Строго говоря, метод ПС - это метод получения исходных данных, метод своеобразного опроса респондентов. На базе полученных данных можно решать разные задачи, совсем необязательно включающие в себя построение оценочной шкалы. Предположим, что нас интересует, как респонденты изучаемой совокупности оценивают какие-либо объекты - профессии, политических лидеров, радиопередачи, какие-то виды товаров и т.д. Обозначим эти объекты через а1, а2, ..., аn (n - количество оцениваемых объектов).
Таблица 1. Пример использования метода ПС
Рассматриваемый метод позволяет получить ответ на этот вопрос в довольно своеобразном виде. Каждому респонденту предлагаются всевозможные пары, составленные из рассматриваемых объектов. Он должен относительно каждой пары сказать, какой объект из этой пары ему нравится больше. Скажем, в случае рассмотрения в качестве наших объектов некоторых профессий - к примеру, токаря, пекаря, лекаря и т.д. - мы спрашиваем у каждого респондента, какая профессия ему больше нравится: токарь или пекарь (фиксируем ответ), токарь или лекарь (фиксируем ответ), пекарь или лекарь (фиксируем ответ) и т.д. для всех возможных пар рассматриваемых объектов.
2. Достоинства и недостатки метода парных сравнений
Основные преимущества метода заключаются в следующем:
Допускается измерение неравномерно изменяющейся важности показателей, столь необходимое для решения большинства практических экономических задач;
Эксперт в процессе анализа сосредоточивает внимание не на всех показателях сразу, а только на двух, сравниваемых в каждый данный момент, что облегчает работу, а следовательно, способствует повышению ее качества;
Можно получить большое число сравнений каждого показателя с другими, благодаря чему повышается точность оценки и открывается возможность изучать качество большего числа сторон объекта исследования, нежели при использовании других методов;
Можно получить не только среднюю оценку показателя, данную каждым экспертом, но и дисперсию этой оценки, что дает возможность провести в дальнейшем более глубокий экономико-математический анализ
Метод парного сравнения - наиболее простой из существующих классификационных тестов, поскольку он предусматривает сопоставление только двух образцов продукта
Преимущество метода парных сравнений перед ранжированием заключается в том, что легче вынести суждение, поскольку супервизору одновременно нужно сравнивать только двух человек. Второе преимущество в том, что он предоставляет возможность поставить на один уровень людей, обладающих одинаковыми способностями.
Метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.
Данный метод очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.
Основные недостатки метода заключаются в следующем:
- в необходимости выполнять огромное количество парных сравнений, если приходится оценивать большие группы. Супервизор, у которого в подчинении находится 60 сотрудников, должен будет выполнить 1770 сравнений! Если же сравнение будет проводиться по пяти отдельным параметрам, то количество парных сравнений возрастет в пять раз. Обычно методом парных сравнений пользуются в двух случаях: либо при проведении оценки небольших групп, либо при проведении оценки только по одному параметру - по общей эффективности производственной деятельности
Один недостаток парных сравнений как экспериментального метода состоит в том, что сравнение п стимулов требует получения (п - 1) х (n / 2) суждений. Напр., для 10 стимулов требуется получить 45 суждений, а если бы мы захотели шкалировать набор из 50 стимулов, нам потребовалось бы 1225 суждений.
Основной минус метода парных сравнений - нет готовых программных разработок.
Чтобы воспользоваться этим методом, придется поручить компетентным работникам компании разработать специальную программу или заказывать ее у стороннего разработчика. Кроме того, пока не существует апробированных бизнес-решений в области деловой оценки, основанных исключительно на парных сравнениях, это скорее математический полуфабрикат, который служит для создания инструментов шкалирования. К тому же сама тестовая процедура выглядит довольно монотонной, что влияет на объективность исследовательских выводов. Да и качество результатов напрямую зависит от количества оценок и оцениваемых показателей, а также правильного отбора пар и их однозначного толкования.
Как правило, считается, что метод парных сравнений лучше, чем прямое ранжирование. Такая точка зрения не совсем верна, и вот почему.
Выбор метода всегда обусловлен исследовательской ситуацией, целями исследования. Естественно, если можно однозначно сформулировать основание ранжирования, то метод парных сравнений дает отличный результат и надо выбирать этот метод. Но бывают ситуации, когда невозможно и не очень нужно однозначно понимаемое основание ранжирования.
Недостатком метода является рост трудоемкости процедуры при увеличении числа объектов: уже при 12-15 объектах процедура становится трудоемкой. Кроме того, разные пары объектов иногда сопоставляются респондентами по разным критериям, что приводит к нетранзитивности предпочтений. Метод широко используется в экспертных оценках.
Вопросы для самоконтроля
Дайте определение методу попарных сравнений.
В чем состоит идея метода?
Опишите процесс сравнения?
Назовите достоинства метода парных сравнений.
Назовите недостатки метода парных сравнений.
На первом этапе метода анализа иерархий строятся матрицы парных сравнений мнений эксперта (ЛПР) обо всех альтернативах по всем критериям.
Определение
Матрицей парных сравнений элементов иерархии х р х . 2 ,..., х п называется квадратная матрица размера п X п, в клетках которой расположены приоритеты, т.е. весовые показатели, количественно характеризующие веса элементов х, х 2 ,..., х„ по отношению к некоторому элементу вышестоящего уровня иерархии.
Как правило, рассматривают два типа матриц парных сравнений, отвечающих двум уровням иерархии (см. рис. 7.1.1):
- матрицы парных сравнений альтернатив относительно частных критериев;
- матрицы парных сравнений частных критериев относительно достижения основной цели ЛПР.
Заполнение квадратных матриц парных сравнений осуществляется по следующему правилу. Если элемент х, доминирует над элементом х 2 , то клетка матрицы, соответствующая строке х, и столбцу х 2 , заполняется целым числом « 12 , а клетка, соответствующая строке х 2 и столбцу х, заполняется обратным к нему числом а. п = 1/а |2 . Если же элемент х 2 доминирует над х, то целое число а. п ставится в клетку, соответствующую строке х 2 и столбцу х, а дробь 1/а 21 проставляется в клетку, соответствующую строке х, и столбцу х 2 . Если элементы х, и х 2 равно предпочтительны, то в обе позиции матрицы ставятся единицы. Аналогично заполняется вся остальная матрица. Диагональные элементы, разумеется, равны единице (элемент х к равно предпочтителен сам с собой).
Для получения каждой матрицы эксперт выносит п(п 2 - 1)/2 суждений (здесь п - порядок матрицы парных сравнений; п 1 - общее число элементов в матрице; (п 2 - п) - число элементов в матрице, кроме п диагональных; (п 2 - п)/2 - число элементов в верхнетреугольной матрице, т.е. над диагональю).
Процесс построения матрицы парных сравнений прост, интуитивно понятен и хорошо согласуется с психологическими особенностями человека. Сопоставлять альтернативы попарно всегда проще, чем производить ранжирование или давать оценки в баллах, так как нет необходимости одновременно сопоставлять между собой полный набор альтернатив.
Обратите внимание!
Сравнение предметов по парам заложено в самой человеческой природе. Отсутствие необходимости постоянно держать в поле зрения все элементы x v х 2 ,..., x tl или, по крайней мере, их группу позволяет эксперту сконцентрировать внимание на конкретной проблеме: насколько элемент.г, превосходит х 2 или уступает ему. Вследствие этого от МАИ следует ожидать более точных результатов.
Обратите внимание!
Обычные числовые шкалы не всегда удобны для сопоставления элементов, выражаемых в различных размерностях и понятиях. Особенно сложно сравнивать элементы, показателями которых, с одной стороны, являются количественные величины, а с другой - качественные. Так, наиболее часто используемая шкала Харрингтона «принимает на входе» только относительные количественные характеристики, распределенные в интервале от 0 до 1. Вербально-числовые шкалы, одним из вариантов которых является 10-балльная шкала Саати, как раз и призваны оценивать такие разные по природе показатели.
При проведении парных сравнений необходимо отвечать на следующие вопросы: какой из двух сравниваемых элементов важнее или имеет большее воздействие, какой более вероятен и какой предпочтительнее? При сравнении критериев обычно спрашивают, какой из критериев более важен; при сравнении альтернатив по отношению к критерию - какая из альтернатив более предпочтительна или более вероятна.
Обратите внимание!
Каждый элемент a ik матрицы парных сравнений показывает, во сколько раз элемент х, важнее (или предпочтительнее, вероятнее), чем элемент х к относительно некоторого критерия (или цели), расположенного на вышестоящем уровне иерархии.
Иными словами, матрица парных сравнений позволяет выразить относительное превосходство одного объекта над другим по общему для них признаку .
Рассмотрим в общем виде пример формирования матрицы парных сравнений.
Пример 7.3.1
Матрица парных сравнений элементов с заданными весами
Пусть x v х 2 ,..., х п - множество из п элементов (альтернатив), a v v v 2 ,..., v n - соответственно их веса, или интенсивности. Сравним попарно вес, или интенсивность, i>. каждого элемента x i с весом, или интенсивностью, v k любого другого элемента х к множества по отношению к общему для них свойству или критерию. Наиболее простой способ такого сравнения - составить отношение весов vjv k . В этом случае матрица парных сравнений А примет следующий вид (табл. 7.3.1).
Таблица 73.1
Обратите внимание!
Заполненная таким способом матрица обладает следующими двумя свойствами:
Обратной симметрии: a ik = -;
Однородности, т.е. логической согласованности всех оценок между собой: a jk =
А is * a sir_
Разумеется, в большинстве реальных ситуаций веса v v v 2 , ..., v n заранее неизвестны, поэтому матрица заполняется экспертом не по формуле vjv k , а в соответствии с экспертными оценками, т.е. она не обязана обладать обоими указанными свойствами. Однако наличие этих свойств по-прежнему желательно, так как они показывают естественные логические правила, отражающие связи между элементами.
Обратите внимание!
При заполнении матрицы парных сравнений экспертам, как правило, рекомендуется в точности соблюдать свойство обратной симметрии, т.е., вводя в некоторую ячейку матрицы число a ki , тут же вводить в симметричную относительно
диагонали ячейку число a ik = Второе свойство однородности a. k = a is а, же-
лательно при этом нарушать минимально.
Потребовать от эксперта точного соблюдения свойства однородности означало бы возложить на него кроме основной задачи экспертного оценивания дополнительные обязанности по взаимному согласованию всех оценок.
Эксперту в таком случае пришлось бы держать в ноле зрения одновременно все факторы, поскольку, присваивая определенное числовое значение конкретному весовому показателю, он должен одновременно сопоставить его со всеми остальными. Сложности здесь возрастают в геометрической прогрессии по мере увеличения числа альтернатив. Это свело бы к минимуму одно из основных преимуществ МАИ - простоту получения парных экспертных оценок.
Другое важное достоинство МАИ - возможность дополнения исходной матрицы. В практике исследований систем нередко возникают ситуации, когда число альтернатив или критериев изменяется. Это происходит как вследствие воздействия природных процессов, так и вследствие изменения социально-экономических условий.
Обратите внимание!
При применении МАИ изменение альтернатив или критериев приводит только к необходимости сравнения вновь возникших пар или же к вычеркиванию строк и столбцов матриц парных сравнений, соответствующих изъятым из рассмотрения элементам, т.е. к образованию минора матрицы. Полученные результаты предыдущих экспертных оценок сохраняются, и полного обновления анкеты, как это происходит при использовании других методов, не требуется.
Дальнейшая процедура МАИ, в сущности, сводится к численной обработке соответствующей матрицы, поэтому с «технической» точки зрения включение дополнительных переменных (или их исключение) есть изменение размерности матрицы, т.е. соответствующего линейного пространства. Следовательно, изменения в дальнейшем расчетном алгоритме минимальны.
- Саати Т. Принятие решений при зависимостях и обратных связях: Аналитические сети: пер. с англ. / науч. ред. А. В. Андрейчиков, О. Н. Андрейчикова. М.: ЛКИ, 2008.
Трудности использования ранжирования, непосредственной оценки и метода последовательных сравнений при выявлении предпочтений для большого числа факторов можно в определенной степени уменьшить, если предложить экспертам произвести сравнение факторов попарно, с тем чтобы установить в каждой паре наиболее важный. В общем случае эксперт может установить равенство объектов или указать свои предпочтения на некоторой шкале.
Производить парное сравнение удобно не только тогда, когда число факторов велико, но и в тех случаях, когда различия между объектами по разным факторам настолько мало, что непосредственное ранжирование не обеспечивает разумного упорядочивания.
Таким образом, метод парных сравнений имеет некоторое преимущество перед другими методами упорядочения в случаях, когда факторов много или они трудно различимы.
Существует два основных подхода определения предпочтений по этому методу.
Первый состоит в том, что эксперт ограничивается простой констатацией того, что один фактор предпочтительнее другого - без указания на степень предпочтения. Тогда в матрице парных сравнений в ячейках записываются 0 или 1 - такая матрица известна как «турнирная таблица».
Матрица парных сравнений всегда обратно симметрична относительно главной диагонали, потому что если Ai предпочтительнее, чем А 3 , т. е. элемент А 13 = 1, то А 3 менее предпочтителен, чем А1, и А 13 = 0. Фактически эксперту нужно заполнять только половину матрицы. Сумма оценок каждого фактора может трактоваться как его ранг. Так что в примере ранги факторов записаны в последнем столбце.
Сначала каждый эксперт заполняет такую матрицу, определяются индивидуальные ранги, а затем они усредняются с учетом мнений всех экспертов (матрица А).
На основе этого строится вторая матрица Р, показывающая процентное отношение случаев, когда фактор i оказывался более значимым, нежели фактор j, в общем числе полученных оценок.
Например, если оценки давали 10 экспертов, то таблица Р, построенная на их оценках, может выглядеть так.
Так как экспертов было 10, то доля предпочтений считается путем деления числа в каждой ячейке таблицы А на число экспертов. В результате имеем таблицу Р.
Теперь можно применить простейший прием для ранжирования факторов: разделить суммарную относительную оценку каждого фактора на их сумму, получив нормированную относительную важность каждого фактора.
2-й способ. Применяется тогда, когда важно определить степень предпочтения одного фактора перед другим. Этот метод охватывает одинаково как те факторы, по которым возможно проведение определенных измерений, так и неосязаемые (качественные) факторы, по которым требуются суждения.
Для проведения субъективных парных сравнений используется шкала, которая оказалась эффективной во многих приложениях, ее правомочность теоретически доказана при сравнении с другими шкалами (табл. 10.7).
Как и в первом методе, сначала каждый эксперт производит парное сравнение факторов (свойств, последствий решения и т. п.) по предложенной шкале.
Как и в предыдущем методе, теперь нужно определить приоритеты, или ранги факторов. Это может быть получено любым спо-
собом нормирования рангов. Например, применяются следующие методы:
- эксперты совместно обсуждают свои оценки и в результате принимают единые оценки по каждому фактору, вырабатывая таким образом одну матрицу парных сравнений на всех;
> эксперты не могут выработать единого мнения, представляют свои таблицы парных сравнений, и на их основе каким-нибудь способом усреднения получают одну таблицу; в качестве способа усреднения могут применяться среднее геометрическое для каждой ячейки, среднее (арифметическое) взвешенное и другие.
При любом подходе получается обобщенная матрица парных сравнений факторов.
На следующем шаге обработки мнений экспертов необходимо оценить степень согласованности их мнений ИС - индекс согласованности.
Метод попарных сравнений Попарное сравнение оцениваемых между собой по определенным качествам и последующее математическое ранжирование по порядку убывания
Для оценки значимости потребительских свойств и функций обычно используются метод попарного сравнения свойств и метод расстановки приоритетов.
Пример. Методику ранжирования объектов методом попарного сравнения можно рассмотреть на простейшем примере . В табл. 3.2 приведен пример ранжирования экспертом шести объектов оценки методом попарного сравнения. При выполнении оценки эксперт сравнивает пары объектов следующим образом. Предпочтение одного объекта перед другим он обозначает 1, в противном случае он ставит просто 0.
Ранжирование шести объектов методом попарного сравнения
Пример. В табл. 1.1 приведены данные ранжирования экспертом шести объектов Q путем оценки методом попарного сравнения. При выполнении оценки эксперт сравнивает пары объектов. Предпочтение одного объекта перед другим он обозначает 1, в противном случае он обозначает ситуацию как 0. В частности, эксперт, как это видно из первой строки табл. 1.1, предпочел первый объект второму и счел, что первый объект уступает третьему. Кроме того, эксперт предпочел первый объект четвертому, пятому и шестому. Поэтому в итоге он получил сумму рангов первого объекта, равную четырем. Сумма оценок каждого объекта по сравнению с каждым другим объектом, приведен-. ная в последнем столбце табл. 1.1, и является итогом измерения по шкале порядка. Ранжированный ряд имеет вид Q4
При разработке нормативов трудоемкости функций, выполняемых управленческим персоналом коммерческо-сбытовых подразделений организаций , были определены факторы, влияющие на трудоемкость функций. Их перечень проран-жирован методом попарных сравнений (см. табл. 2.13).
С учетом результатов метода попарных сравнений факторов и вышеизложенных положений выявлены следующие основные факторы , оказывающие влияние на численность управленческого персонала по управлению коммерческо-сбытовой деятельностью организации
Составление начального варианта прикрепления. При решении транспортной задачи в сетевой форме с помощью ЭВМ начальная схема перевозок выбирается произвольно. При составлении схемы перевозок вручную исходный вариант может быть получен для всего полигона либо для его отдельных частей с помощью простейших методов прикрепления метода попарного сравнения вариантов, метода разниц, метода круговой зависимости, но с расчетом недопущения явно встречных и излишне дальних перевозок и др.
Метод попарного сравнения вариантов применяют тогда, когда имеется только два пункта потребления и два пункта производства.
Выбор ОПФ предлагается осуществлять на основе экспертных методов , в частности известного метода попарного сравнения, путем проведения участниками группы коллективной экспертизы (табл. 5.7-5.9).
Шкалирование методом попарного сравнения полезно, когда количество торговых марок ограничено, поскольку оно требует прямого сравнения и очевидного выбора. Однако при большом количестве торговых марок проведение попарных сравнений становится весьма громоздким. Среди прочих недостатков есть возможность нарушения допущения транзитивности, что приведет к смещению результатов в случае изменения порядка представления Попарные сравнения имеют мало с рыночной в рамках каждой выбирают из множества вариантов. Возможно также, что респонденты предпочитают один объект некоторым но он не нравится им абсолютно. Во врезке 8.2 показаны некоторые новые аспекты применения шкал .
Метод попарных сравнений
Существуют два взаимодополняющих метода ранжирования по весовым коэффициентам и метод попарного сравнения.
Классификация методов приведена на рис. 6.15. Во многом опа напоминает классификацию методов анализа задач с бесконечным числом допустимых решений , однако и имеет свои особенности, связанные с конечностью числа решений. Так, после построения матрицы решений (3.5) нахождение эффективных точек осуществляется простым специально организованным перебором всех вариантов решений и их попарным сравнением. Эта процедура сохраняет свою эффективность при достаточно большом числе вариантов и критериев, поэтому вопрос о выделении эффективного множества затруднений не вызывает и далее рассматриваться не будет. Подчеркнем лишь, что говорить об эффективном множестве можно только тогда, когда задано направление улучшения
Попарное сравнение. При формировании экспертных оценок часто используется шкала порядка. Вопрос сравнения решается по принципу лучше или хуже, больше или меньше. Это во многом обусловлено особенностями психологии человека, который сравнивает объекты парами. Поэтому при построении шкалы порядка и ранжированного ряда экспертам следует предлагать метод попарного сопоставления.
Метод полного попарного с о п о с т а в л е-н и я. Чтобы избежать возможной ошибки, связанной с тем, что какому-то /-му свойству отдается преимущество по сравнению со свойством / не потому, что оно более важно, а потому, что при сравнении по второму методу попарного сопоставления его случайно поставили первым в паре, сравнение производится не только в порядке свойство / - свойство / , но и в обратном порядке свойство / - свойство / .
Попарное сравнение. При использовании экспертного метода часто используется шкала порядка - оценивание по принципу лучше или хуже, больше или меньше. Это обусловлено особенностями психологии человека, который обычно сравнивает объекты по парам. Поэтому для получения ранжированного ряда оцениваемых объектов экспертам предпочтительно предлагать метод попарного сопоставления. При выполнении оценки эксперт в простейшем случае сравнивает пары объектов следующим образом предпочтение одного объекта перед другим он обозначает 1, в противном случае он обозначает ситуацию как 0. Сумма всех оценок для одного объекта дает его общую сравнительную оценку . Приведем простейший пример оценивания.
Наименьшие трудности и наибольшую основательность имеют результаты оценки , полученные методом парных сравнений . Согласно этому методу эксперт рассматривает не все объекты сразу, а попарно. Задача эксперта существенно упрощается и сводится не к проставлению рангов, а к сравнению каждой пары работников и выбору трех альтернатив лучше, хуже и одинаково. Способ парных сравнений является разновидностью метода экспертных оценок , применение которого рассмотрим позднее.
В силу этого результат попарного сравнения наиболее точно отражает субъективное предпочтение, ибо на выбор здесь накладываются наименьшие ограничения и метод не навязывает эксперту априорных условий.
Оценка значимости потребительских свойств может производиться методами попарного сравнения и расстановки приоритетов . Величину Q также можно рассчи-
Каким ценностным ориентациям отдаст предпочтение молодой специалист при выборе своей будущей работы Проранжи-руйте их, используя метод попарных сравнений (табл. 5.3).
Нами разработана методика определения оптимальной численности управленческого персонала для организаций электротехнической промышленности. Последние характеризуются мелкосерийностью и многономенклатурностью производства, большим количеством потребителей их продукции, что явилось решающими обстоятельствами при выборе совокупности факторов, влияющих на численность управленческого персонала . При разработке нормативов трудоемкости функций, выполняемых управленческим персоналом коммерческо-сбытовых подразделений организаций , были определены факторы, влияющие на трудоемкость функций. С целью выявления важнейших факторов их общий перечень был проранжирован методом попарных сравнений.
Следующим комплексом вопросов, требующих решения в рамках деловой игры ОРГПРО, является выбор организационно-правовой формы проектируемого предприятия. Моделирование выбора ОПФ в ОРГПРО осуществляется на основе экспертных методов , в частности известного метода попарного сравнения, путем проведения коллективной экспертизы командой - участницей игры. В качестве критериев выбора ОПФ в модели рассматриваются
Наиболее удобной формой реализации этого принципа является ситуация, когда целое принимается за единицу, а слагаемые факторы (части) выражаются в долях единицы. Весомость каждого фактора в долях единицы в социолого-математических моделях определяется, как правило, экспертным путем с применением социального метода попарного сравнения, достаточно детально освещенного в литературе .
Тестирование вслепую безалкогольных напитков, при значительном влиянии на потребительское решение таких факторов, как сложившийся самовосприятие и торговая марка , может оказаться плохим индикатором потенциального успеха на рынке. Выпуск New oke служит примером такой ситуации, При тестировании вслепую методом попарного сравнения New oke имела явное преимущество, но вывод новой марки на рынок оказался менее успешным, в основном из-за того, что имидж играет большую роль при покупке безалкогольных напитков.
Разработан ряд стохастических методов решения поставленной оптимизационной задачи распараллеливания вычислений. В первом методе - стохастическом методе попарной оптимизации подграфов - поиск оптимального решения осуществляется за счет взаимного (стохастического) переноса вершин между различными парами подграфов графа алгоритма. Второй метод - метод Монте-Карло случайного блуждания вершин графа алгоритма по подграфам - основан на отождествлении вершин графа алгоритма с некоторыми частицами, совершающими случайные блуждания по областям-подграфам в потенциальном силовом поле, роль потенциала которого играет минимизируемый функционал. Наиболее вероятное состояние подобной системы частиц соответствует минимуму потенциала --и, следовательно, является искомым решением. Поиск такого состояния осуществляется методом Монте-Карло с использованием специальной процедуры имитации отжига. Третий метод - стохастический метод наискорейшего спуска - основан на использовании дискретного аналога градиента минимизируемого функционала. Все разработанные методы реализованы программно и являются частью системы программ PARALLAX. Проведено тестирование созданных программ и сравнение их работы на простейших примерах.
Американская практика аттестации исключает типизацию процедур этого процесса, ориентирована на индивидуальные оценки. Периодичность - разная на различных предприятиях (в среднем - 1 раз в год). Однако, в период реорганизации фирмы Крайслер ее руководитель Ли Якокка проводил аттестацию ежеквартально. В качестве экспертов-оценщиков обычно выступает менеджер-управляющий, т. е. начальник аттестуемого, экспертный совет (комитет контролеров), коллеги и подчиненные аттестуемого, сторонние специалисты, сам аттестуемый (метод самооценки). Возможны комбинации из этих групп оценщиков. Для установления оценки используются различные методы опросные листы с закрытыми или полуоткрытыми вопросами, графические шкалы рейтинга работников, анкеты различных типов, методы наблюдения за работниками (особенно в критических ситуациях), методы классификации, попарного сравнения качеств, управления по целям45. Последний связан с постановкой перед сотрудником конкретных измеряемых и развивающих целей, что делается в сотрудничестве начальника и работника, с последующей оценкой степени достижения целей.
Не менялся с 2009 года и морально устарел. В этом году мы решили обновить его: упростить структуру, переписать тексты, а самое главное - принципиально изменить дизайн.
В выборе дизайна всегда есть некоторая доля произвольности. Исходя из потребностей пользователей и анализа их поведения можно разработать требования к наполнению страниц и структуре сайта, но почему в оформлении страниц использованы те или иные решения в лучшем случае объясняется брендбуком.
Мы должны были выбрать такой дизайн, который понравился бы пользователям, и обосновать это руководству. Если бы дизайн вызвал резкое отторжение у пользователей, все работы по обновлению сайта пропали бы зря. Если бы руководство не одобрило дизайн, мы бы не смогли сдать проект. Поэтому нам надо было сначала собрать требования к дизайну у руководства, а потом проверить, как на него реагируют потенциальные посетители нового сайта. Мы использовали для этого метод парных сравнений, немного адаптировав его под свои задачи.
Что такое «метод парных сравнений»?
Метод парных сравнений позволяет выбрать один вариант из нескольких, когда критерий выбора прямо или косвенно связан с эмоциями, поэтому его трудно обосновать. Если вам надо определиться, что вкуснее (яблоки, груши, апельсины или персики), работать в какой компании лучше (Google, Apple, Amazon или Facebook), или что надеть сегодня на прогулку (куртку, свитер или толстовку), метод парных сравнений поможет это сделать.
Автор метода - Луис Леон Терстоун, один из основоположников психометрии, науки об измерении психических процессов. В некоторых источниках можно найти утверждение о том, что Терстоун разработал этот метод, чтобы составить шкалу тяжести преступлений.
Чтобы провести исследование, из всех вариантов составляют пары так, чтобы перебрать все возможные сочетания. Респондентов просят выбрать из каждой пары вариант, который кажется им более подходящим по заданному исследователем критерию (например, «какой вариант главной страницы привлекательнее»). Побеждает тот вариант, который выбирали чаще остальных.
Инструменты для исследования
В интернете можно найти сервисы, позволяющие использовать метод парных сравнений для принятия решений (например, 1000minds или TransparentChoice), или даже мобильные приложения. Однако они не подходят для наших целей, потому что не позволяют загружать изображения и привлекать к оценке респондентов. Некоторые сервисы проведения опросов (например, Oprosso) позволяют предъявлять респондентам пары изображений, но не дают ограничивать время предъявления, предъявлять изображения нужного исследователю масштаба и не учитывают еще с десяток тонкостей, важных для исследования графического дизайна.
MyDecision — Smart Comparisons - приложение для выбора из нескольких альтернатив методом парных сравнений. Можно использовать его, чтобы решить, в какой бар пойти или какой смартфон выбрать
Поэтому мы попросили наших разработчиков сделать нам собственный сервис для парных сравнений. Он позволяет показывать изображения через браузер, проводить небольшие опросы, например, чтобы узнать социально-демографические данные респондентов и получить от них обратную связь о причинах выбора, а самое главное - для нас он бесплатен.
Так выглядят пары изображений, предъявляемые через собственный сервис USABILITYLAB
Способ применения 1: выбор лучшего варианта
Выбор лучшего варианта из нескольких - классический способ применения метода. Чтобы провести такое исследование, надо соблюдать несколько простых требований.
- Сравнивать можно только однотипные объекты. Выбирая одежду для прогулки, можно сравнивать куртку с толстовкой, но нельзя - куртку с джинсами; выбирая дизайн для сайта, можно сравнивать разные варианта дизайна главных страниц, но нельзя сравнивать главные страницы с внутренними. В противном случае результаты будут бессмысленными.
- Время предъявления должно составлять 3-5 секунд. Если у респондентов есть больше времени, они начинают рассматривать изображения, вчитываться в тексты и оценивать варианты не по тому критерию, который вы им задали (например, «привлекательность»), а по собственному, неизвестному вам (например, «информативность текстов»).
- По этой же причине лучше постараться сделать все варианты максимально похожими по тем параметрам, которые не должны влиять на решение. Если вы сравниваете варианты дизайна, постарайтесь сделать одинаковыми все тексты и фотографии на страницах, в противном случае респонденты начнут сравнивать их.
- Каждая пара должна появляться как минимум два раза. Во второй раз варианты следует поменять местами: тот, который был слева, разместить справа. Это нужно для того, чтобы исключить влияние на результаты тех респондентов, которые в силу инерции, желания побыстрее закончить исследование или других, неизвестных нам, причин, чаще выбирают вариант, расположенный с одной и той же стороны экрана (например, чаще выбирают любые варианты, расположенные слева).
Подобное исследование мы проводили для банка Русский Стандарт. Нам необходимо было оценить варианты дизайна главной и двух внутренних страниц мобильного приложения банка. Сравнивался старый дизайн с тремя новыми вариантами.
Варианты дизайна главной страницы мобильного приложения банка Русский Стандарт. 0 - старый дизайн, 1, 2, 3 - новые варианты
Из всех вариантов мы составили пары: главный экран с главным экраном, внутренние экраны с внутренними. Все пары загрузили в свое веб-приложение. Каждая пара предъявлялась дважды, таким образом, каждый вариант респонденты видели по 12 раз: 6 слева и 6 справа. Всего респонденты оценили 72 пары. В итоге победил вариант 1: его выбирали в 69% случаев. Старая версия интерфейса получила самую худшую оценку: ее выбирали лишь в 35% случаев.
Способ применения 2: сбор требований к дизайну
Если показать человеку страницу какого-нибудь сайта и спросить: «Нравится ли она тебе?», то, скорее всего, ничего конкретного в ответ услышать не получится. Вам ответят, что да, в целом нравится, или нет, в целом как-то не очень. Если предъявлять страницы в паре и спрашивать: «Какая лучше?», сразу появляется материал для обсуждения: эта страница лучше, потому что на ней, например, использован крупный шрифт, белый фон, а в левом нижнем углу нарисован котенок.
Именно таким образом мы собирали требования к сайту у нашего руководства. Мы нашли несколько русских и зарубежных корпоративных сайтов, дизайн которых мог бы стать источником вдохновения для нашего собственного. Затем мы распечатали главные страницы этих сайтов и пришли с ними к нашему генеральному директору. Мы показывали распечатки парами и спрашивали, какой вариант лучше и почему. Так мы выяснили, на какие элементы она обращает внимание, что ей нравится, а что наоборот, кажется отталкивающим.
На основании этих требований мы составили техническое задание для дизайнера. Дизайнер подготовил для нас шесть вариантов главной страницы, и один из них, согласовав это с руководством, мы тут же приняли в работу.
Шесть вариантов главной страницы нового сайта USABILITYLAB
Осталось проверить, какую реакцию вызовут эти варианты среди потенциальных посетителей сайта, особенно тот, который мы сами выбрали для себя. В первую очередь нас волновали проявления негативных эмоций: если бы «наш» вариант вызвал бы резкое отторжение, дизайн пришлось бы переделывать. Если бы негативные эмоции вызвали другие варианты, это послужило бы дополнительным подтверждением правильности нашего выбора.
Способ применения 3: сбор обратной связи от целевой аудитории
Чтобы собрать обратную связь от целевой аудитории, мы решили показать им все шесть вариантов дизайна под видом исследования методом парных сравнений. Мы опять использовали наш онлайн‑сервис.
Респондентов для исследования мы привлекали через Facebook. Для этого Дмитрий Силаев создал пост с приглашением на исследование, где рассказал о его сути и обещал вознаграждение участникам.
Пост Дмитрия Силаева с приглашением на исследование
Нас не очень интересовало, какой вариант победит; гораздо важнее нам были комментарии респондентов, полученные через фейсбук или через форму обратной связи в конце исследования. Поэтому мы пошли на некоторые методологические погрешности: увеличили время предъявления с 5 до 120 секунд и показывали каждую пару только один раз, иначе исследование заняло бы слишком много времени.
Нам удалось собрать около 300 анкет, из них целиком заполненных было 140. Большинство комментариев, которые мы получили, были связаны с содержанием использованных на макетах фотографий. Например, одна респондентка написала, что «фотка ребенка в одном из дизайнов такая милая, что постоянно хотелось выбирать этот дизайн». Хотя «наш» вариант и не победил, он занял почетное третье место, и нам удалось получить обратную связь от «поклонников», а значит, все наши цели были достигнуты.
Заключение
Метод парных сравнений помогает выбрать лучший вариант из нескольких, но этим его применение не исчерпывается. Использовав его, мы смогли собрать требования к дизайну своего нового сайта, а потом сдать этот дизайн руководству. Работы над сайтом почти закончены: сейчас идет шлифовка текстов и проверка доступности сайта для слабовидящих. Так что совсем скоро вы сможете оценить его лично.
После того, как мы провели вебинар , в котором рассказали о методе, к нам обратились представители Oprosso. Мы выслали им список рекомендаций, какие функции следует добавить в их сервис, чтобы с его помощью можно было проводить полноценные исследования методом парных сравнений. Теперь мы будем следить за обновлениями этого сервиса, и, если наши рекомендации будут реализованы, будем использовать его на некоторых своих проектах.
Также мы планируем развивать свой сервис парных сравнений. Например, мы поставили нашим разработчикам задачу сделать интерфейс сервиса адаптивным, чтобы респонденты могли проходить исследование с разных устройств. Также мы собираемся улучшить работу с результатами исследования: добавить возможность выгружать результаты в любой момент и фильтрацию по времени и полноте заполнения анкет.
Если у вас есть задачи, похожие на те, что мы описали в этой статье, напишите нам на . Мы предоставим вам доступ к своему сервису и поможем спланировать исследование.