Получив от студентов добровольное согласие, мы приступили к обеспечению конфиденциальности и анонимности: необходимо было сделать так, чтобы на основании полученных данных эксперимента невозможно было идентифицировать личность участника. Это достигается с помощью идентификационных номеров и разделения баз данных. Было сделано следующее: педагоги, имеющие списки студентов, получили сгенерированные нами последовательности цифр и букв, например: 2A042. В этой последовательности зашифровано экспериментальное условие участника (то есть по этому номеру мы можем точно определить, какие стимулы видел участник и какие задачи выполнял) и порядковый номер (не имеющий особого смысла). Педагоги в случайном порядке присвоили эти номера студентам, сохранив их имена, фамилии и номера в первой базе данных. Вторая база данных, содержащая результаты тестирования, включала идентификационные номера, без имен и фамилий участников. Доступ к этой базе имели только исследователи, при этом доступа к первой базе у них не было. Схематично это выглядит так:
Непосредственный сбор данных выполнялся в два этапа. На первом этапе во время одного из занятий педагоги выдали участникам идентификационные номера и ссылки на онлайн-формы с экспериментом. Студентам был предложен текст на английском языке, написанный сложным или простым шрифтом (примеры сложного и простого шрифта представлены на рисунке ниже).
После этого половина участников отвечала на вопросы по тексту. Вторая половина тоже отвечала на вопросы, но с гораздо большим перерывом – через 2 недели.
Встраивание эксперимента в учебный процесс позволило привлечь достаточно большую выборку (несмотря на добровольность участия). Нам удалось собрать 450 человек, что весьма неплохо для когнитивного эксперимента.
А вот какие интересные комментарии мы смогли получить от участников через форму обратной связи с исследователем: «Эксперимент понравился, было интересно самому увидеть, сколько я смог запомнить из текста спустя более чем две недели»; «Было интересно посмотреть, сколько я смог вспомнить из такого текста спустя более чем 2 недели».
Один из недостатков процедуры стал очевиден из тех же комментариев студентов: «I hope I'm not the stupedest» и «Я провалил тест, простите, пожалуйста».
Такие комментарии, с одной стороны, свидетельствуют об ответственном отношении участников к выполнению заданий, а с другой – сигнализируют, что нам не удалось убедить их в том, что эксперимент не является оценкой их знаний и за неверные ответы не последует никакого «наказания». В следующем проекте (который уже находится на стадии планирования) мы постараемся избежать этого, уделяя еще большее внимание инструкциям для участников. В любом случае этот эксперимент прошел весьма успешно, а полученные данные уже готовятся к публикации (см.: препринт Tsigeman et al., 2024). Так как настоящая книга является в какой-то степени учебником, мы хотели бы упомянуть, что из-за ошибки в процессе анонимизации у нас возникла сложность в соединении данных, которые участники предоставили в первый сбор и через две недели. Из-за этого пришлось урезать анализ: не учитывать индивидуальные различия участников (например, краткосрочную память), которые в основном собирались во время сравнения средних баллов запомненной информации спустя 2 недели. Это мы отдельно указали в ограничениях исследования – честность и прозрачность процедур являются ключевыми принципами «открытой науки».
Подводя итог, мы можем сказать, что создание и запуск таких больших консорциумных исследований, по нашему мнению, может принести пользу и уже состоявшимся ученым, и студентам разных уровней. Для исследователей это отличная возможность транслировать лучшие практики и объединять усилия, а для студентов – внести вклад в большой проект, учиться в нем и включаться в глобальную исследовательскую повестку. Проведение репликационных исследований в рамках выпускных квалификационных работ сейчас достаточно широко обсуждается в международном научном сообществе (например, Quintana, 2021), и мы думаем, что это действительно может иметь смысл.
Создание даже небольших консорциумных исследований поможет решить проблему многих магистерских и бакалаврских проектов, которые часто существуют «в вакууме» из-за того, что у студента не хватает знаний, чтобы сформулировать актуальность и научную новизну проекта. Более того, потом многие результаты таких проектов «кладутся в стол», потому что невозможно провести современное хорошее исследование, например, в психологии, собрав выборку из 20 человек. В консорциумном же исследовании, если каждый студент соберет данные у 20 участников и таких студентов будет 20, у координатора исследования будет база уже на 400 человек, в которой можно относительно серьезно проверять сложные гипотезы. Студент же получит все материалы от ведущего ученого и не только выступит «пчелкой, собирающей данные», но и сможет проверить свои гипотезы на данных большого проекта.