Багато статей, які я написала для «Куншту», були про соціальну психологію, адже це моя улюблена галузь. Проте багато досліджень, які вважаються сталими та класичними в цій сфері, не показують таких самих результатів, коли їх відтворюють сьогодні. У цьому блозі я розповім про проблему, з якою зіткнулась сучасна наука, а саме про кризу відтворюваності.
Порнографія та криза реплікації
Наука прогресує й розвивається доволі активно, проте деякі дослідження, які роблять сьогодні, базуються на вже наявних та «перевірених часом» теоріях. Ці теорії були побудовані на дослідженнях, багато з яких провели ще в минулому сторіччі. Проте вже понад десять років у наукових колах, зокрема в колах соціальної психології, науковці порушують питання, чи дійсно можна покладатись на результати класичних досліджень та теорій.
Найвідоміше скандальне дослідження, яке в 2011 році спричинило багато розмов та дискусій, демонструвало, що люди можуть передбачати майбутнє1. У тривалому дослідженні Дерила Бема в експерименті чоловіки успішно «передбачали», коли наступна картинка на екрані була еротичного характеру. Дослідження було опубліковано в доволі відомому науковому психологічному журналі, а це означає, що його рецензували. Звісно, що таке феноменальне дослідження викликало інтерес ЗМІ, які писали про нього з захватом — ми можемо передбачати майбутнє, використовуючи порнографію2,3! Поява цієї публікації похитнула довіру до психологів та їхніх методів роботи, хоча багато хто заговорив про необхідність повторювання експериментів заради перевірки їхньої правдивості. Чи варто казати, що при реплікації експериментів Бема передбачення майбутнього насправді не відтворюється4.
Науковий метод побудований на тому, що результати експериментів мають бути відтворені (так само) у повторному експерименті. Але через те, що переважно публікують лише позитивні та «цікаві» результати, ми насправді не знаємо всю процедуру проведення дослідження. Так, коли я ще вчилася на другому курсі, мені навіть рекомендували вишукувати в результатах мого дослідження щось цікаве, не звертати увагу на негативні знахідки. Тож уявімо: мій куратор каже вибирати тільки певні результати для звіту, а потім редактор наукового журналу пропонує пошукати щось, що може виглядати більш привабливим для читача. Так дослідників роками вчили не бути прозорими у звітності. Часто люди навіть змінювали першочергову гіпотезу, аби результати підходили краще.
Історично можемо спостерігати, що й з описом методологій все не так добре: багато де немає чітких вказівок, як саме було проводили дослідження. І для того, щоб його відтворити, інші дослідники мають знайти автора, розпитати в нього або в неї про процедуру. А якщо це вже давнє дослідження і спитати нема в кого, але теорія побудована на результатах цього дослідження й усюди використовується? Дослідники намагаються відтворити результати якнайкраще. Але якщо результати не повторюються, тут може бути нова складність: такі результати не цікаво публікувати й читати. Тому дослідники самі не були мотивовані публікувати статті з незначущими результатами. Тож насправді сьогодні ми навіть не маємо чіткого знання, наскільки ці класичні дослідження мають вагу. Наприклад, результати матааналізу досліджень теорії міжгрупового контакту5 показують неоднозначні результати6. Цю теорію багато використовують в інтервенціях, спрямованих на інтеграцію різних груп у певну громаду. Згідно з теорією, якщо попросити дві різні громади зробити щось спільне (наприклад, посадити дерева в спільному районі), це призведе до контакту між двома групами і зменшить стигматизацію. Так, метааналіз показує, що не все так однозначно.
P-hacking, або просіювання даних
Багато результатів у соціальній психології базуються на показнику р (p-value) — значенні імовірності, яке має бути меншим ніж 0,05, аби результат дослідження був значущим. Проте якщо вміти талановито обробляти дані, можна отримати значущі результати, хоча насправді вони такими не були. Рекомендую до перегляду відео американського ведучого Джона Олівера на цю тему. Так, багато хто зловживає методами обробки даних та статистикою, аби представити дані під зовсім іншим кутом. Коли я працювала в маркетингу, там доволі часто використовувались такі методи, аби знайти щось, що можна подати клієнту.
Тому зараз, у сучасних практиках, намагаються використовувати й інші показники, для того щоб будь-хто міг з легкістю перевірити, чи показник р відповідає дійсності.
«Дивні» респонденти
Одна з проблем, яку дедалі частіше порушують у наукових колах — це проблема «дивних» респондентів7. Англійською WEIRD (у перекладі «дивний») — це абревіатура, що вказує на респондентів, які зазвичай беруть участь в дослідженнях. Вони походять з західних, освічених, промислово розвинених, багатих та демократичних країн (western, educated, industrialized, rich, democratic). Ця назва виглядає трохи комічно, адже насправді охоплює звичайнісіньких білих людей з розвинених країн. Також зазвичай багато дослідників використовують студентів (часто психологів) у своїх дослідженнях, адже ця група завжди доступна. Використання людей, які живуть в розвинених країнах, означає, що ми можемо екстраполювати наші теорії тільки на цю групу людей. Адже ми в таких дослідженнях враховуємо лише культурні особливості притаманні цим людям та країнам. Тому, я думаю, багато досліджень не буде репліковано в країнах з іншим культурним фоном.
Проєкт «Many Labs»
Однією з відповідей на кризу реплікації було б створити проєкт, у якому всі знамениті дослідження було б проведено знову, в схожих умовах, проте цього разу з відкритим доступом до будь-яких результатів. І можу сказати, що такий проєкт у сфері соціальної психології був. «Many Labs» — це проєкт, який охоплював багато дослідницьких лабораторій по всьому світу й об’єднав дослідників з різних сфер психології. На жаль, проєкт закінчився після 10 років роботи у травні 2022 року8. Його мета — аналіз реплікацій відомих досліджень у соціальній психології. Вони стверджують, що «інтерпретація негативного результату реплікації ускладнюється тим фактом, що такий результат може бути спричинений хибнопозитивним результатом початкового результату дослідження, нерозпізнаним модераційним впливом між оригіналом і процедурами реплікації або неправильним виконанням процедур у реплікації». Тому намагалися завжди долучати авторів оригінального дослідження. Наприклад, останнє масштабне дослідження було відтворено в багатьох лабораторіях різних країн — дослідження теорії терору.
Колись писала статтю про страх смерті й теорію терору, яка доволі відома та, можна сказати, класична в соціальній психології. Вона має багато досліджень за собою. Для дослідження цієї теорії було запрошено авторів — Тома Піщинського і Шелдона Соломона. Проте реплікація не показала ефекту9. У цьому дослідженні брали учать 17 лабораторій та більш ніж 1500 респондентів. Висновок з дослідження: «Вихідний результат був або хибнопозитивним, або умови, необхідні для його отримання, не повністю зрозумілі або більше не існують». Звісно, що така теорія доволі складна, і була вперше протестована в контексті трагедії 11 вересня. Наразі такого контексту більше не існує. З іншого боку, раніше її тестували багатьма методами, а в межах цього проєкту — лише кількома. Тому вчені рекомендують продовжувати реплікації з іншими умовами та групами респондентів і дивитись на результати майбутніх досліджень.
Відкрита наука
Для того, щоб допомогти покращити наукові практики, існує відкрита наука. Принципи відкритої науки полягають в процесі попередньої реєстрації будь-якого наукового проєкту. Це означає, що перед тим як розпочати проєкт, ви маєте підготувати детальний план його реалізації, означити гіпотезу й те, як буде пораховано дані, які методи будуть використані. Так, щоб після публікації результатів, будь-хто міг би його повторити.
Після написання манускрипту можна робити попередню реєстрацію на сайті, наприклад OSF (Open Science Framework). На сайті є можливість завантажити будь-які файли, які можуть бути корисними. Так, наприклад, у своєму майбутньому дослідженні я буду використовувати таблиці Excel, тож окрім манускрипту з детальним описом процесу дослідження, я додаю всі необхідні матеріали для його реалізації. Після закінчення я додам свої результати, скрипти, якими я робила обробку даних тощо. Важливо додати, що сайт дозволяє сховати від усіх ваш документ, аби ніхто не вкрав вашу ідею до того, як ви її реалізували. Так, буде видно лише назву та короткий опис. Але з дати попередньої реєстрації в процесі дослідження не може нічого змінювати. На сайті можна відстежувати, які було зроблено зміни, чи було завантажено новий документ. Тому, якщо в процесі дослідження щось пішло не за планом, це також необхідно прописати в майбутньому звіті.
Такий процес, по-перше, означає велику і дуже ретельну підготовку ще до того, як було розпочато процес реалізації. Адже для того, щоб розуміти, який статистичний аналіз робити, треба добре підготувати базу та методологію. Однак я думаю, що це дуже корисно — потім для публікації своєї роботи в науковому журналі не треба буде писати новий текст, навпаки, рекомендовано використовувати вже наявний текст манускрипту.
Прихильники відкритої науки виступають за повну прозорість: у результатах та методологіях, в наукових та навчальних матеріалах, презентаціях та опублікованих статтях. Детально про принципи відкритої науки можна почитати тут. В ідеальному світі кожне дослідження буде зареєстровано завчасно; статистичні тести, які будуть використані, також будуть визначені до того, як отримано результати, тож ніхто не буде перекручувати правду намагаючись виставити все в кращому світлі, аніж є насправді.
