Абсолютные и сравнительные
суждения
0 Перефразируя Кумбса (1960), основная цель
психологической оценки – это связать с каждым
человеком точку в психологическом пространстве
0 Получить его абсолютное положение на шкалах
измеряемых атрибутов (черты личности, способности,
интересы и т.д.)
0 Собирая ответы на соответствующие стимулы
0 “…все, что человек может сделать, это сравнить
стимулы друг с другом, или против некоторого
абсолютного стандарта, или персонального
стандарта…”
0 то есть, используя абсолютные или сравнительные
суждения
2
Абсолютные суждения
0 Вас просят выразить отношение к стимулам (к каждому по
отдельности)
+ Легко определить абсолютные позиции на шкалах
соответствующих атрибутов
– Но эти позиции могут быть искажены
0 Индивидуальная интерпретация категорий (например,
предпочтение нейтральных категорий)
0 Одобрение (или неодобрение) всех стимулов без разбора
(согласие, «гало»)
0 Одобрение социально желательных стимулов
0 Канеман (2011) относит абсолютные оценки к «быстрым»
3
Мы используем тест
личности Собакина чтобы
определить Ваш карьерный
потенциал
Ну например, такой
вопрос...
Ваши знакомые считают Вас:
А) Злобным неудачником
Б) Мошенником
В) Лентяем
Там же не из
чего выбрать!!!
Говорит
злобный
неудачник!
Сравнительные суждения
0 Вас просят сравнить стимулы между собой
0 От латинского «ipse» (сам) – оценки относительны по
отношению к другим оценкам одного индивида
0 Предотвращает многие искажения
0 Невозможно одобрить все стимулы без разбора
0 Трудно одобрить стимулы на основе социальной
желательности*
0 Канеман (2011) относит сравнительные суждения к
«медленным»
9
Классический подсчет баллов
в ипсативных опросниках
0 Суммарный балл по каждому блоку – константа
0 Суммарный балл по тесту – константа!
0 На уровне измеряемых атрибутов, баллы
относительны (ипсативны)
0 Сравнения между испытуемыми невозможны
0 Логика одинакова для всех ипсативных форматов
10
Ипсативные форматы
0 Ранжирование трех и более альтернатив
0 Выбор между двумя альтернативами
0 Порядковые сравнения
0 Предпочтения как пропорции (композиции)
11
Проблемы ипсативных шкал
1. Сравнения между людьми проблематичны
0 Баллы относительны, а не абсолютны
2. Конструктная валидность искажена
0 Одна степень свободы потеряна

ave
0 Факторный анализ невозможен
0 Средняя корреляция между атрибутами - негативная
r
3.
1
k 1
Критериальная валидность искажена
0 Корреляции с внешним критерием в сумме дают ноль
4. Баллы по пунктам не согласованы между блоками
0 Альфа Кронбаха не является надлежащей мерой
надежности
12
Что делать?
0 Когда цель – измерение индивидуальных различий
(абсолютные позиции на шкалах атрибутов), классический
метод не работает
0 Трактует сравнительные суждения как абсолютные
0 Нужны модели для сравнительных суждений
0 Модели для поведения в ситуации выбора в психологии
существуют уже долгое время, и они хорошо известны:
0 Thurstone (1927) Закон сравнительных суждений
0 Coombs (1950) Модель развертывания предпочтений
0 Luce (1959) Аксиомы выбора
0 Tversky (1972) Теория “устранения по аспектам”
0 И другие
13
Закон сравнительных
суждений
1.
2.
3.
Каждый стимул вызывает в испытуемом ценностное
суждение – утилиту (Тёрстоун, 1927)
Выбирается пункт с наибольшей ценностью на момент
сравнения (правило максимизации утилиты)
Утилиты можно считать распределенными нормально
0 В задаче выбора между двумя альтернативами А и Б,
испытуемый предпочитает А если
utiltyА  utiltyБ,
а иначе предпочитает Б.
0 В задаче ранжирования n альтернатив, утилиты альтернатив с
рангами 1, 2 ,…, n должны быть упорядочены так что
utilty1  utilty2  …  utilityn
14
Модель принятия решений в
выборе с двумя альтернативами
0 Результат выбора в паре {i, k} – двоичная переменная
1, если выбрана i
y{i ,k }  
0, если выбрана k
0 Согласно закону Терстоуна, результат определяется
относительной психологической ценностью альтернатив
(утилита = t)
1, если ti  tk
y{i ,k }  
0, если ti  tk
15
Утилиты и двоичный выбор
*

1, если y{i ,k }  0
y{i ,k }  
*
0,
если
y

{i ,k }  0

dnorm(x)
*
y
0 Рассмотрим разность утилит {i ,k }  ti  tk
0 Тогда результат выбора в паре {i, k} определен как
X
0 Двоичный выбор y – это результат дихотомизации
3
(ненаблюдаемой, непрерывной) разности утилит y*
X
0 Это пороговый процесс
Y
0 Так как утилиты распределены нормально, разность
утилит тоже распределена нормально
2
x
X
Y
1
0 Порог легко определить из таблиц нормального
rho = 0.8
phi = 0.59
x1
0
-1
Y
распределения
16
Модель принятия решений
при ранжировании
0 Результат ранжирования n альтернатив можно
представить как n(n1)/2 попарных сравнений
(двоичных переменных)
0 Неполное ранжирование
0 Например, только топ предпочтение; или Q-сорт
0 Результаты некоторые попарных сравнений
отсутствуют
17
Утилиты и психологические
атрибуты
0 Выбор между альтернативами зависит от
ценностных суждений – утилит – по каждой
альтернативе
0 А утилиты, в свою очередь, зависят от
психологических атрибутов, которые мы хотим
измерить
0 Мы можем использовать любую подходящую
измерительную модель
0 Например, факторный анализ
ti  i  λ ia a  εi
18
Факторная модель для
ранжирования
0 Факторная модель второго
порядка для двоичных
переменных (IRT)
0 Для обсчета параметров
используются
0 Тетрахорические корреляции
0 Метод наименьших квадратов
0 Ответы являются
транзитивными; у
наблюдаемых решений нет
погрешностей
19
Модель принятия решений в
градуированном сравнении
0 Результат выбора в паре {i, k} – порядковая
переменная
5, если предпочтение для i "гораздо БОЛЬШЕ"
 4, если предпочтение для i "немного БОЛЬШЕ"


y{i ,k }  3, если предпочтение для i и k "примерно ОДИНАКОВО"
 2, если предпочтение для k "немного БОЛЬШЕ"


1, если предпочтение для k "гораздо БОЛЬШЕ"
20
Утилиты и градуированное
сравнение
0 Результат в паре {i, k} определен разностью утилит как
5,

4,

y ji ,k  3,

2,
1,

если y *j{i ,k }  {i ,k }4
если {i ,k }3  y *j{i ,k }  {i ,k }4
если {i ,k }2  y *j{i ,k }  {i ,k }3
если {i ,k }1  y *j{i ,k }  {i ,k }2
если y *j{i ,k }  {i ,k }1
0 Градуированные предпочтения – это результат
категоризации (ненаблюдаемой, непрерывной)
разности утилит y*
0 Пороговый процесс с 4 упорядоченными порогами (для С
категорий, С–1 порог)
21
Факторная модель для блоков
градуированных сравнений
0 Факторная модель второго
порядка для порядковых
переменных (IRT)
0 Для обсчета параметров
используются
0 Полихорические
корреляции
0 Метод наименьших
квадратов
0 Ответы могут быть НЕ
транзитивными; у
наблюдаемых решений
должны быть погрешности
22
Модель принятия решений в
пропорциональных сравнениях
0 Баллы данные альтернативам yi и yk находятся на
шкале отношений (например, как масса)
0 Ноль означает нулевую ценность (утилиту)
0 Отношение yi/yk отображает во сколько раз yi ценнее yk
0 Частное yi/yk – это очевидная переменная для анализа
предпочтений в паре {i, k}
0 Сохраняет пропорции первоначальных ценностей (vi и vk)
n
yi

yk
C vi
C vk
v
q 1
n
q
v
q 1

vi
vk
q
23
Утилиты и пропорциональные
сравнения
0 Частное наблюдаемых баллов лог-нормальное
0 Логарифмическая трансформация дает
приблизительно нормальное распределение
y
y{i ,k }  ln  i
 yk

 vi

ln



 vk

  ln  vi   ln  vi   ti  tk

0 Разность утилит в этом случае наблюдается!
0 Интервальный уровень измерений, линейная модель
24
Факторная модель для
пропорциональных сравнений
0 Предпочтения в блоках с n
альтернативами описываются
n1 контрастами с референтом
0 Факторная модель второго
порядка для интервальных
переменных
0 Для обсчета параметров
используются
0 Корреляции Пирсона
0 Метод набольшего
правдоподобия
25
Разность утилит
как единица анализа
0 Относительные величины утилит являются
основой для любого сравнительного суждения
0 Двоичный выбор – простая максимизация
0 Порядковое предпочтение – категоризация
разности утилит, и т.д.
0 Мы приняли разность утилит за универсальную
единицу анализа всех сравнительных суждений
y{*i ,k }  utilityi  utility k  ti  tk
26
Как относительная информация
может стать абсолютной???
0 Допустим что tji это утилита испытуемого j к пункту i
0 Информация об утилитах действительно относительна
(tji + c)  (tjk + c) = tji  tjk
0 Но нам нужны абсолютные показатели по атрибутам, а не
утилитам!
0 Из одномерного сравнения, мы можем определить значение
атрибута  (если факторные нагрузки не равны)
t ji  t jk  i   k   λ i  λ k   j
0 Из многомерных сравнений, мы тоже можем определить значение
атрибутов 1 и 2 (если факторные нагрузки не являются
линейными комбинациями друг друга)
t ji  t jk  i   k  λ1i 1 j  λ 2 k 2 j
t jq  t jr   q   r  λ1q 1 j  λ 2 r 2 j
0 Подробности в Brown (2016a), раздел 4.2
27
Позиции испытуемых на
измеряемых атрибутах
0 После того, как параметры модели известны, могут
быть получены факторные значения для испытуемых
0 Для непрерывных ответов (линейные модели)
используется регрессия
0 Для двоичных и порядковых ответов (IRT модели)
находится комбинация факторных значений, для
которых наблюдаемые предпочтения наиболее вероятны
0 Итеративный методы – наибольшего правдоподобия,
Байес
0 Тестовые баллы больше не являются ипсативными!
28
Новые правила измерения
0 Рекомендации по конструированию эффективных
ипсативных опросников доступны
0 Как максимизировать информацию (Brown & Maydeu-
Olivares, 2011)
0 Как обеспечить определенность модели (Brown, 2016)
0 Какие типы вопросов лучше использовать (Brown &
Maydeu-Olivares, 2010)
0 Обязательно нужно помнить
0 Когнитивная сложность возрастает по мере увеличения
размера блока
0 Для минимизации социальной желательности,
необходим тщательный подбор альтернатив в блоках
29
Обобщение:
Сравнительные данные
Шкала измерений
Размер
блока
Двоичная
Порядковая
Абсолютная
(или Отношений)
n=2
Выбор из 2х
альтернатив
Градуированное
сравнение 2х
альтернатив
Пропорциональное
сравнение 2х
альтернатив
n3
Ранжирование
(полное и неполное);
Q-сорт
Градуированные
блоки (попарные
градуированные
сравнения)
Пропорциональные
блоки (композиции)
из 3х и более
альтернатив
30
Обобщение: Анализ
ипсативных опросников
0 Мы принимаем результат попарного сравнения за
обозреваемую переменную для анализа
0 Мы принимаем разность утилит за
необозреваемую (латентную) переменную,
лежащую в основе результатов всех попарных
сравнений
0 Разность утилит y*{i,k} распределена нормально и
служит тенденцией к ответу y{i,k}
0 В выборе из 2х альтернатив, эта тенденция
дихотомизирована
0 В градуированном сравнении, она категоризована
0 В композиции, она непосредственно наблюдается
31
Примеры из практики
32
Разработка новой версии
OPQ32i
0 OPQ32i использовался в оценке для управленческих и
профессиональных позиций
0 Измеряет 32 профессиональных качества, состоит из
416 пунктов организованных в 104 блока
0 Ипсативные шкалы
0 Модель TIRT была применена для создания OPQ32r
(Brown & Bartram, 2009)
0 Изменен формат – от 4х до 3х альтернатив в каждом
блоке – для уменьшения когнитивной нагрузки
0 Наименее информативные пункты были отброшены
33
Разработка опросника
Большой Пятерки (FCFFM)
0 Используя модель TIRT как основу, мы разработали
вопросник FCFFM (2011) с нуля
0 Использовали 60 маркеров Большой Пятерки из IPIP
0 12 пунктов на шкалу; 8 с положительным и 4 с
отрицательным ключом
0 Блоки из 3х альтернатив; равное количество пар с ключом в
одном направлении и противоположных направлениях
0 Выборка из N=438 испытуемых
0 Результаты похожи на опросник в формате Ликерта
0 Но корреляции между соц. желательными шкалами немного
ниже
0 Позже модифицирован для пропорциональных сравнений
(Brown, 2016), и градуированных сравнений (Brown &
Maydeu-Olivares, 2017)
34
Анализ данных, которые не
считались сравнительными
0 Picture Story Exercise (PSE) – проективная методика в которой
испытуемые придумывают истории к изображениям людей
0 PSE измеряет неявные мотивы; балл по каждому мотиву начисляется в
зависимости от количества раз индикаторы мотива были упомянуты
0 PSE всегда показывал хорошую валидность но очень низкую
надежность (“парадокс надежности”)
0 Йонас Ланг (2014) считает рассказы выражениями неявных
конкурирующих мотивов
0 Наблюдаются только результаты сравнений между мотивами
0 “Dynamic Thurstonian model” – максимизация утилит, а также принцип
уменьшения силы мотива после того, как он выразился
0 Показал, что PSE надежен, но использовал неправильную модель (альфа
Кронбаха неуместна)
Lang, J.B. (2014). A Dynamic Thurstonian Item Response Theory of Motive Expression in the Picture Story
Exercise: Solving the Internal Consistency Paradox of the PSE. Psychological Review, 121(3), 481–500
35
Взгляд в будущее
0 Компьютерное адаптивное тестирование (CAT)
0 Lin & Brown (2017) рассмотрели влияние контекста
(присутствие других альтернатив в блоке) на параметры
пункта
0 Латентные классы вместо латентных факторов могут
определять предпочтения
0 Например, использование ипсативных опросников для
оценок психологических типов
0 В какой степени ипсативные опросники могут
предотвратить мотивированные искажения ответов?
0 Необходимы гораздо более глубокие исследования
36
Спасибо за внимание!
Анна Браун (PhD)
Эл. почта: a.a.brown@kent.ac.uk
Веб страницы:
https://www.kent.ac.uk/psychology/people/browna/
http://annabrown.name
37
Библиография
0 Brown, A. & Maydeu-Olivares, A. (2018). Ordinal Factor Analysis of Graded-Preference
0
0
0
0
0
0
0
0
Questionnaire Data. Structural Equation Modeling: A Multidisciplinary Journal, 25(4), 516529.
Brown, A., Inceoglu, I., & Lin, Y. (2017). Preventing Rater Biases in 360-Degree Feedback
by Forcing Choice. Organizational Research Methods, 20(1), 121-148.
Lin, Y., & Brown, A. (April 28, 2016). Influence of Context on Item Parameters in ForcedChoice Personality Assessments. Educational and Psychological Measurement, 77(3), 389414.
Brown, A. (2016b). Thurstonian Scaling of Compositional Questionnaire Data.
Multivariate Behavioral Research, 51:2-3, 345-356.
Brown, A. (2016a). Item Response Models for Forced-Choice Questionnaires: A Common
Framework. Psychometrika, 81(1), 135–160.
Brown, A. & Maydeu-Olivares, A. (2013). How IRT can solve problems of ipsative data in
forced-choice questionnaires. Psychological Methods, 18(1), 36-52.
Brown, A. & Maydeu-Olivares, A. (2012). Fitting a Thurstonian IRT model to forced-choice
data using Mplus. Behavior Research Methods, 44, 1135–1147.
Brown, A. & Maydeu-Olivares, A. (2011). Item response modeling of forced-choice
questionnaires. Educational and Psychological Measurement, 71(3), 460-502.
Maydeu-Olivares, A. & Brown, A. (2010). Item response modeling of paired comparison
and ranking data. Multivariate Behavioural Research, 45, 935-974.
38
Библиография 2
Book chapters
0 Brown, A. & Maydeu-Olivares, A. (2018). Modeling forced-choice response formats. In
Irwing, P., Booth, T. & Hughes, D. (Eds.), The Wiley Handbook of Psychometric Testing: A
Multidisciplinary Reference on Survey, Scale and Test Development, pp. 523-570. London: John
Wiley & Sons.
0 Brown, A. (2015). Personality Assessment, Forced-Choice. In Wright, J. D. (Ed.),
International Encyclopedia of the Social and Behavioural Sciences, 2 nd Edition. Elsevier.
Psychometric tests and software
0 Brown, A. (2012) Mplus syntax builder for testing forced-choice data with the
Thurstonian IRT model. Software and User’s Guide. http://annabrown.name/software
0 Brown, A. & Maydeu-Olivares, A. (2011). Forced-choice Five Factor markers. Retrieved from
PsyTESTS. (Копия доступна от А. Браун по требованию)
0 Brown, A. & Bartram, D. (2009-2011). OPQ32r Technical Manual. Surrey, UK. SHL Group.
(Копия доступна ТОЛЬКО от SHL Group)
Conference proceedings
0 Brown, A. & Bartram, D. (2009). Doing less but getting more: Improving forced-choice
measures with IRT. In: Society for Industrial and Organizational Psychology conference, 2-4
April 2009, New Orleans.
39