Далее Лорд и Новик писали, что в соответствии с ведущей теорией тестов того времени — классической теорией тестирования[127] — узнать истинный показатель можно только одним способом: следовало дать испытуемому пройти
Лорд и Новик прекрасно понимали, что на практике предлагать пройти один и тот же тест много раз подряд неправильно, потому что у человека есть такая вещь, как память, поэтому при повторном тестировании, к примеру, по математике, человек неизбежно покажет совсем другие результаты, а значит, получить объективную оценку не удастся[129]. Однако, не желая признать поражение, ученые предложили альтернативный способ поиска истинной оценки: вместо многократного тестирования одного человека по одному тесту нужно просто протестировать многих людей[130]. Согласно классической теории тестов, распределение результатов группы можно принять за распределение результатов одного человека.
Тот же хитроумный ход сделал почти на сто лет раньше Адольф Кетле, впервые в истории давший с помощью метафоры «статуя гладиатора» определение среднему показателю применительно к человеку. Ученый заявил, что средний результат замеров тысячи копий одной и той же статуи воина эквивалентен среднему результату замеров тысячи реальных солдат. По сути, и Кетле, и Лорд с Новиком утверждали, что замерить многих людей по одному разу — это все равно что замерить одного человека множество раз.
Вот тут-то Моленаара осенило. Он понял, что любопытный вывод Лорда и Новика применяется не только в тестировании — аналогичный подход лежит в основе исследований во всех областях науки о человеке. Следовательно, есть повод усомниться в валидности огромного количества якобы надежных научных инструментов: вступительных тестов для частных школ и колледжей; процедур отбора учеников на академические программы для одаренных и для нуждающихся в особой помощи; диагностических тестов для оценки физического и умственного здоровья и рисков различных заболеваний; моделей мозга, увеличения веса, семейного насилия, поведения избирателей; способов борьбы с депрессией; инсулинотерапии при диабете; методов найма и оценки персонала, уровня заработной платы и стратегий повышения по службе и базовых методов оценки в школах и вузах.
Странная мысль о том, что распределение результатов одного человека можно заменить распределением результатов целой группы, глубоко въелась в сознание практически каждого, кто изучает личность, хотя б
Эргодическое мошенничество
Моленаар признал, что фатальная ошибка усредненности кроется в парадоксальном допущении, что понять человека можно, только полностью игнорируя его индивидуальность. Эту ошибку Моленаар назвал «эргодической подменой». Термин позаимствован из раздела математики, который появился в результате первых научных дискуссий о взаимосвязи группы и индивида и получил название эргодической теории[131]. Чтобы досконально разобраться в том, почему школы, компании и целые сообщества пали жертвой неверного образа мышления, нам придется подробнее рассмотреть механизм эргодической подмены.
В конце XIX века физики сфокусировались на изучении свойств газа. Тогда они умели измерять общие свойства молекул газа: объем, давление, температуру в сосуде с газом, — но ничего не знали о том, как выглядит отдельная молекула и что с ней происходит. Их интересовал вопрос, можно ли предсказать типичное поведение молекулы газа на основе поведения группы таких молекул. Чтобы найти ответ, физики разработали целый ряд математических принципов, объединив их в так называемую эргодическую теорию, которая позволяла точно определить, в каких случаях можно делать выводы об отдельных членах группы на основании информации о группе в целом[132].