Пять проблем российской психометрики

Небольшой дисклеймер: психометрика — не основная моя специализация. Но раз тесты и опросники регулярно используются в клинической практике, клиницисту важно разбираться в том, как они устроены, чтобы ответственно выбирать инструменты.

Когда накладываешь дизайны разработки методик в России на современные тенденции, становится грустно: на ключевых этапах создания и адаптации у нас часто применяют подходы, от которых в мире постепенно отказываются. Впрочем, недоделанные или пропущенные этапы разработки — проблема не только российская. Вот пять типичных слабых мест.

Игнорирование семплинга

Неправильно собранная выборка обесценивает любое исследование. Чтобы инструмент приносил пользу, выборка должна быть максимально приближена к реальным условиям применения. На практике анкеты нередко «гуляют» по профессиональным чатам или их заполняют студенты. Чем больше в выборке профильных специалистов, тем менее она репрезентативна — и модель может оказаться валидной психометрически, но бесполезной в клинике.

Альфа-Кронбаха как универсальный ответ

Альфа традиционно применяется для расчёта внутренней согласованности, но работает корректно лишь при примерно одинаковой нагрузке пунктов на общий фактор (тау-эквивалентность), да и предполагает непрерывные переменные, тогда как шкала Ликерта — порядковая. Сегодня предпочтительнее омега-МакДональда. Кроме того, альфа завышается при большом числе пунктов: даже плохо согласованная длинная шкала может дать высокое значение.

Факторный анализ — «а зачем?»

Далеко не все методики проходят эксплораторный и конфирматорный факторный анализ. Без факторной структуры нельзя доказать, что методика измеряет заявленное. На практике это означает, что мы не можем дать клиническую интерпретацию баллам: высокий результат может складываться как из «правильных», так и из «неправильных» пунктов.

Линейные корреляционные матрицы

Факторные модели у нас часто строят на линейной (пирсоновской) корреляционной матрице, хотя для порядковых данных это не лучшее решение — оно искажает факторные нагрузки. Поскольку разница между делениями шкалы Ликерта не обязательно одинакова, современная психометрика переходит на полихорические корреляции, оценивающие связь между латентными непрерывными переменными.

ROC-анализ

Чувствительность и специфичность инструмента нередко не оценивают вовсе либо делают это без ROC-анализа. А если ROC проведён, то на плохой выборке. Например, методика на гипоманию, проверенная только на пациентах с депрессией и биполярным расстройством, может отличить эти группы, но будет ли она работать при сравнении с СДВГ или пограничным расстройством личности — неизвестно.

Коротко

• Нерепрезентативная выборка (профессиональные чаты, студенты) обесценивает методику ещё на старте.
• Альфа-Кронбаха — компромисс прошлого; сегодня уместнее омега-МакДональда.
• Без факторного анализа и корректных матриц баллам нельзя дать клиническую интерпретацию.
• Без грамотного ROC-анализа неизвестна реальная чувствительность и специфичность инструмента.