Так как время проведения исследования совпало с пандемией COVID-19 и связанными с ней локдаунами, исследование сразу планировалось и проводилось как в очном, так и в дистанционном формате (участник мог пройти тесты дома во время карантина). Протокол исследования был адаптирован к разным видам сбора данных: для очного сбора всем группам были разосланы готовые к печати текстовые файлы, которые можно было раздать школьникам во время урока; для дистанционного сбора авторы исследования готовили ссылку на онлайн-систему сбора данных, куда были заранее запрограммированы все опросники и экспериментальные манипуляции. Например, в логин (номер, который использовался для сбора данных вместо Ф. И. О.) был сразу «вшит» номер экспериментальной манипуляции от 1 до 3. Участник должен был, пройдя по ссылке, ввести логин, а потом выбрать вариант исследования, соотносящийся с последней его цифрой. На основании этого система предлагала ему одну из трех запрограммированных образовательных интервенций, например экспрессивное письмо. Данные, собранные в очном формате, обрабатывались командами и отправлялись «пчеловоду» в формате таблиц и сканов всех заполненных листов, которые затем валидировались командой-«пчеловодом». В случае дистанционного сбора данные автоматически загружались в общую базу, которая потом могла также быть выгружена в табличном формате и использовалась для статистического анализа. Для каждого из форматов сбора данных были установлены сроки, которых придерживалась команда руководителей проекта. Несмотря на достаточно жесткие требования, необходимые для сбора достоверных и надежных данных, все исследователи на местах были проинструктированы, что участие в проекте полностью добровольное и каждый может отказаться от него в любой момент.
Всего в рамках проекта были собраны данные более 6000 участников, это заняло два месяца. Сейчас эти данные описываются в статье команды консорциума (Alenina et al., in preparation).
Вторым проектом в рамках ПлюсКонсорциума стало исследование желательной сложности. Внедрение в образовательный процесс сознательного усложнения учебных материалов давно обсуждается как эффективная образовательная практика (Alter et al., 2007): предполагается, что более сложный шрифт или неожиданные изменения в контексте обучения могут увеличить запоминание информации и повысить долговременное научение (Bjork E. L. & Bjork R. A., 2011). Однако попытки реплицировать первые исследования эффекта не привели к ожидаемому результату, а после двух метааналитических работ появились веские основания полагать, что с внедрением таких практик в образование следует повременить (Xie H. et al., 2018).
И тогда наша команда решила организовать собственную репликацию, но на более масштабной выборке, ведь ранние экспериментальные работы проводились на сравнительно небольших группах студентов (20‒40 человек). Мы стали «пчеловодами», создали протокол и обратились к вузу-партнеру – Университету ИТМО. Довольно быстро нам удалось найти педагогов-«пчел», заинтересованных в развитии собственных исследовательских компетенций и профессиональных навыков. После нескольких установочных встреч нам удалось согласовать процедуру эксперимента. Важно было учесть интересы всех участников процесса, поэтому план исследования подразумевал, что экспериментальная процедура не должна нарушать целостность учебного процесса – наоборот, мы старались органично встроить эксперимент в процесс обучения.
Согласовав процедуру и пройдя этическую экспертизу, мы приступили к следующему этапу.
Для начала студенты получили приглашение к участию в исследовании с кратким описанием эксперимента. Нужно отметить, что важным условием была добровольность: студенты могли отказаться, и это никак не повлияло бы на их оценку за курс. Может показаться, что если не заставить всех студентов участвовать, то выборка в конечном итоге окажется сравнительно небольшой. Однако условие добровольности обеспечивает ее качество. Тестирования без учета этических норм, в том числе вынуждающие людей участвовать, обычно приводят к очень «шумным» данным, так как принуждение вызывает у участников отторжение и низкую мотивацию.