Чимало речей у повсякденному житті ми сприймаємо як належне, не замислюючись, що всередині. Хімік і журналіст Джордж Зайдан з наукової точки зору розповідає про те, чим ми користуємося і що споживаємо щодня. Ми публікуємо уривок з перекладу книжки, який вийшов у видавництві «Віват». Він — про ентів, літаки, оливкову олію й Санту, але більше — про те, як помиляються науковці.
Першим в імпровізованому турі засранців по науці є глибоке занурення в запитання: чи справді ці дві речі обґрунтовано взаємопов’язані? Чесно кажучи, донедавна я приділяв тому рівно нуль секунд часу; я просто припускав, що, коли люди, які виконали дослідження, були науковцями з тими чудернацькими званнями в університетах Ліги плюща, тоді Взаємозв’язки мають бути обґрунтовані.
Виявляється, таке переконання наївне. Навіть Взаємозв’язки, які визначили найбільші плющолігівці, можуть у разі ближчого розгляду бути… необґрунтованими. Однак що саме означає «необґрунтовані»? На жаль, єдиного визначення немає. Натомість дозвольте запропонувати зайву аналогію: створювати обґрунтовані Взаємозв’язки — ніби їхати дорогою, усіяною вибоїнами (на якій іноді можуть траплятися землетруси), але намагатися не зламати машину. Щоб зрозуміти, чому це так важко, легше насправді пояснити вибоїни, ніж дорогу. Отже, дістаньмо збільшувальне скло та витрясімо душу з тих вибоїн.
Перша вибоїна: обман. Не треба збільшувального скла: науковці можуть буквально вигадувати лайно й публікувати його. На щастя, таке трапляється зрідка.
Друга вибоїна: прості математичні помилки.
Вірте мені чи ні, але в рецензованих наукових статтях бувають звичайні арифметичні помилки. Якби ви, наприклад, узяли статтю «Гострі та довготермінові наслідки інтракоронарної трансплантації стовбурових клітин у 191 пацієнта з хронічною серцевою недостатністю: STAR-дослідження серця» і подивилися на Таблицю 2, де побачили б такі підрахунки:
1539 − 1546 = −29,3
Як пам’ятаєте ще з середньої школи, якщо від цілого числа віднімаєте ціле число, то відповідь ніяк не може бути дробовим числом. Якщо у вас на початку є 14 коней і ви заберете 8, то не може вийти половина коня. Так само, коли віднімете 1546 від 1539, то у вашій відповіді не може бути 0,3. Це просто неможливо. Ну, і якщо бути ближчим до істини, то правильна відповідь −7… а не −29,3.
Інші помилки менш помітні, але однаково помилки. Ось приклад: якщо в групі 200 пацієнтів, а ви визначаєте відсоток пацієнтів, які мають однакове захворювання, то він математично не може становити 18,1%, як це зазначено в Таблиці 1 тієї самої статті. Чому? Та ж бо 18,1% з 200 людей становить 36,2 людини… 36 1/5 людини.
Прості арифметичні помилки — то фактично найкращі помилки, бо їх досить легко виявити. Щойно математика ускладнюється, виявляти помилки стає важче.
У 2014 році троє науковців опублікували деякі надзвичайно цікаві результати у World Journal of Acupuncture-Moxibustion. У рандомізованому контрольованому дослідженні науковці порівняли дві групи пацієнтів із зайвою масою тіла або ожирінням, які намагалися скинути вагу. Одній групі зробили меридіанський масаж, а іншій — ні. [Меридіанський масаж — «традиційна практика, за допомогою якої руками стимулюють меридіанну систему тіла — ту саму мережу каналів життєвої енергії, яку використовують в акупунктурі». (Прим. авт.)] Група, якій не робили масажу, скинула 4 кілограми за два місяці; група, якій зробили масаж, за той самий період скинула майже вдвічі більше — 7 кілограмів (понад 9% базової маси тіла). Утратити 10% маси тіла за два місяці — чудово. Для дослідниці ожиріння та математика Діани Томас ці результати буквально не були неймовірні. У листі до редактора World Journal of Acupuncture Moxibustion вона з колегами написала, що «ми помітили кілька дивацтв», що з мови науки перекладають як «ви мали бути під кайфом, коли писали цю статтю».
Команда, яка опублікувала оригінальне дослідження, не оприлюднила вихідних даних. Однак вони опублікували достатньо, щоб Томас змогла перевірити ці факти математично. Це було ось так: вона оцінила зміну середнього зросту членів двох груп до та після лікування. (Якщо знаєте вагу й індекс маси тіла, тоді можете вирахувати зріст.) Кожен, хто брав участь у дослідженні, був дорослою людиною, тому науковці очікували, що зміни зросту за понад двомісячний період будуть майже нульові. Томас і її колеги виявили, що обидві групи виросли під час дослідження: група, якій не робили масажу, виросла на приблизно три сантиметри, а група, якій робили масаж, — на п’ять сантиметрів. Отже, учасники, яким робили масаж, втратили майже 10 % маси тіла, а також виросли на кілька сантиметрів. Що може пояснити такі результати?
1. Дослідники вигадали їх.
2. Один з учасників таємно з’їздив у Середзем’я, подружився з ентами [Автор згадує центральний континент вигаданого світу з роману «Володар перснів» англійського письменника Джона Роналда Руела Толкіна. Енти — одна з рас, яка населяє цей континент], зробив кілька ковтків ентських ліків, а тоді повернувся в наш світ.
3. Один із нижчих учасників вибув з дослідження посеред нього, а науковці не внесли відповідних правок.
4. Широкий спектр математичних помилок.
Невідомо, що з цього насправді сталося, але, навіть не дивлячись на вихідні дані, ми знаємо, що тут припустилися помилок. Це якби ви гуляли Нью-Йорком і побачили, що страус намагається вкрасти різдвяного ельфа з Macy’s [американська роздрібна мережа, що здебільшого спеціалізується на продажу одягу]: ви не впевнені, що пішло не так, але знаєте, що тут точно щось не так. Коли писав цю книжку, автори оригінального дослідження не дали Томас відповіді, а журнал не відкликав статті. (До речі, готовий побитися об заклад, що сталася третя помилка.)
Третя вибоїна: процедурні помилки. Так само, як можете спекти огидний торт, використавши поганий рецепт або випадково додавши солі замість цукру, ви можете зруйнувати дослідження поганим плануванням або виконанням. Прості помилки можуть бути руйнівні; наприклад, у нещодавньому дослідженні, у якому особистісні риси пов’язували з політичними поглядами, дослідники випадково переплутали змінні для «консервативних» і «ліберальних», тому всі закономірності, про які написали, були… на рівно 100% протилежними до справжніх закономірностей. Замість того щоб підтвердити типову думку, що, наприклад, люди, які в особистісному опитувальнику Айзенка набрали високі показники психозу, пов’язуваного з рішучістю та авторитаризмом, мають політично консервативні погляди на військову силу, дослідники написали, що «на відміну від наших очікувань, високі показники психозу пов’язані з більш ліберальними поглядами на військову силу…» Тож, так… не класно. [Хочу, однак, зазначити, що метою дослідження не було подати список особистісних рис, які відрізнялися в консерваторів і лібералів. Його метою насправді було спробувати з’ясувати, чи призводять особистісні риси до певних політичних поглядів (або навпаки). (Прим. авт.)]
Процедурні помилки також можуть бути набагато складніші. Поговорімо про дослідження PREDIMED. PREDIMED, що означає PREvención con DIeta MEDiterránea (Превенція середземноморською дієтою), яке мало на меті дати однозначну відповідь на запитання, чи зменшує середземноморська дієта ризик виникнення серцевих хвороб. (Для тих, хто не пам’ятає: середземноморська дієта була крута до появи кетогенної дієти. Ви фактично їсте рослини, просочені оливковою олією, а також іноді додаєте до них рибу й келих червоного вина.) PREDIMED стало тривалим рандомізованим контрольованим дослідженням, у якому взяли участь майже 8000 учасників, за якими спостерігали до п’яти років. Воно, мабуть, коштувало більше, ніж Gulfstream G650 (відомий у народі як «G6»). І, здавалося, гроші були витрачені правильно: головний висновок, який опублікували 2013 року, полягав у тому, що люди, які дотримувалися середземноморської дієти з додаванням оливкової олії або горіхів, мали на приблизно 30 % менший ризик серйозних хвороб серцево-судинної системи.
На жаль, дослідники припустилися досить великої та прикрої помилки в одному з аспектів дослідження. Замість випадково дібрати людей, вони випадково вибрали лікарні. Інакше кажучи, замість поділити всіх людей у селі на дві групи — групу зі звичайним харчуванням і групу з середземноморською дієтою, вони просто зарахували людей з кожної лікарні в одну групу. Щоб зрозуміти, чому це так важливо, припустімо, що кожна лікарня обслуговує одне село й фокусується на цьому селі. Припустімо, що село, про яке говоримо, теоретично розташоване саме на вершині реактивного НЛО, а з ядра реактора того об’єкта витікає радіоактивне забруднення, що збільшує ризик настання серцевого нападу в жителів села на стоп’ятсот відсотків. Усі в цьому селі, куди не глянь, мають серцеві напади.
Тепер припустімо, що сюди приходить група доброзичливих дослідників і кидає це все схильне до серцевих нападів село в групу з середземноморською дієтою. Що станеться? Ризик серцевого нападу в людей з цієї групи злетить до небес, і якби ви не знали про НЛО, здавалося б, що середземноморська дієта спричиняє всі ті серцеві напади. Або якби дослідники кинули це село в контрольну групу (зі звичайним харчуванням), її ризик серцевого нападу піднявся б так само, як у тієї групи з середземноморською дієтою. І це змусило б середземноморську дієту здаватися чудодійними ліками.
Очевидно, що під іспанськими селами не ховаються кораблі прибульців (про які я знав би). Але сенс у тому, що люди, живучи поруч одне з одним, можуть зазнавати однакового впливу факторів, які позитивно або негативно впливають на їхнє здоров’я. І якщо не перемішаєте таких людей, то можете штучно завищити або занизити дієвість будь-яких ліків, дієти або іншого втручання, яке перевіряєте. [Цікаво, що перемішування всіх по всіх селах також має недоліки. Наприклад, іноді люди діляться таким підходом з сусідом, який мав би бути в контрольній групі. Це може підірвати ефект підходу. (Прим. авт.)]
Помилку PREDIMED виявили за п’ять років після першої розвідки про дослідження. New England Journal of Medicine відкликав статтю, але дозволив авторам наново проаналізувати дані (виключаючи нерандомізовані села) та знову опублікувати роботу. Мабуть, не дивно, що автори отримали фактично ті самі висновки, що й до того. Однак дані не були оприлюднені, тому деякі епідеміологи, з якими спілкувався, ставляться скептично до цих результатів. Вірите ви в результати чи ні, ніхто, навіть самі його автори, не сперечається з тим, що погана рандомізація людей в одному із сіл була помилкою.
Мабуть, я був ідеалістом і простаком, коли очікував, що в науковій літературі взагалі немає дурних математичних і процедурних помилок. Знову-таки, науковці — люди, тому, гадаю, мені не варто дивуватися. У будь-якому разі важливим запитанням є не те, чи існують помилки в літературі, а скільки їх там і чи суттєві вони.
На жаль, це направду складно казати. Фактично помилку в статті можна виявити лише тоді, коли на неї вказують науковці — при чому публічно. І це неприємно для будь-кого, хто має до того стосунок. Вказати на помилку в науковому журналі — це ніби змусити себе піти на кухню ресторану з двома мішленівськими зірками та попросити шеф-кухаря приготувати перед вами (та всіма в ресторані) sylphides à la crème d’écrevisses [Сильфи з раковим соусом (фр.)], щоб переконатися, що вони справді без глютену. Це лише роздратує вас, принизить шеф-кухаря й погано скінчиться для обох сторін.
