Обман в науке

Голдакр Бен

И эти страхи далеко не новы. В середине 1980-х, во время войны Рейгана с наркотиками и кампании школьника Заммо «Просто скажи «нет» в популярном сериале «Грейндж Хилл», американские СМИ утверждали, что марихуана стала в 14 раз сильнее, чем в 1970 году. Посчитаем. Если она была в 1986 году в 14 раз сильнее, чем в 1970-м, и в 25 раз сильнее сегодня, чем в начале 1990-х, означает ли это, что сейчас она в 350 раз сильнее, чем в 1970-м?

Это даже не кристалл в цветочном горшке. Это невозможно. Это означало бы, что в этом растении ТГК больше, чем весь объем растения. Это потребовало бы, чтобы материя сжалась в суперплотный каннабис. Ради бога, не говорите Independent, что такое возможно.

Кокаин заполонил детские площадки

Сейчас мы перейдем к более интересным статистическим вопросам и приведем еще одну историю из области эмоций,

статью в газете The Times в марте 2006 года, озаглавленную «Кокаин заполонил детские площадки». «Использование детьми наркотиков, вызывающих зависимость, удваивается за один год» — это подзаголовок. Правда ли это?

Если вы прочитаете пресс-релиз правительственного обзора, на основании которого написана эта статья, то узнаете, что «почти не произошло изменений в употреблении наркотиков, алкоголя и табака с 2000 года». Но это был правительственный пресс-релиз, а журналистам платят за расследования: возможно, пресс-релиз о чем-то умолчал, чтобы скрыть провалы правительственной политики. Газета Telegraph также сообщает об увеличении использования кокаина вдвое, то же делает и Mirror. Означает ли это, что журналисты сами обнаружили эти новости?

Вы можете скачать этот документ из Интернета. Это опрос 9000 детей от 11 до 15 лет из 305 школ. Трехстраничный отчет, но опять-таки не демонстрирующий никаких изменений в употреблении наркотиков. Если вы посмотрите весь отчет, вы найдете «сырые» данные в таблицах: когда детей спрашивали, использовали ли они кокаин в прошлом году, 1 % детей ответили утвердительно в 2004 году и 2 % сказали «да» в 2005-м.

Итак, газеты правы: использование наркотиков удвоилось? Нет. Почти все цифры были либо 1 %, либо 2 %. Они были округлены. Государственные служащие обычно охотно помогают, если им позвонить, и я узнал, Что действительные цифры составляли 1,4 % в 2004 году и 1,9 % в 2005-м, а не 1 и 2 % соответственно. Поэтому употребление кокаина не удвоилось. Но люди все же были готовы защищать свою позицию: употребление кокаина все же увеличилось, не правда ли?

Нет. То, что мы имеем, это относительное повышение риска в 35,7 % или абсолютное повышение риска 0,5 %. Используя реальные цифры, мы получаем, что из 9000 детей только на 45 больше ответили утвердительно на вопрос: «Употребляли ли вы кокаин в прошлом году?»

Если увеличение такое небольшое, является ли оно статистически значимым? Я изучал математику и скажу «да», если пи-величина будет менее 0,05 ( p < 0,05). Что означает «статистически значимый»? Это способ выразить вероятность того, что полученный вами результат можно приписать случайности. Иногда, если вы бросаете монету, у вас может выпасть «орел» пять раз подряд, особенно если вы бросаете ее достаточно долго. Представьте банку, в которой перемешаны 980 голубых и 20 красных шариков: иногда — хотя и редко — если вы тащите шарики вслепую, вы можете вытащить три красных шарика подряд, случайно. Стандартная точка отсчета для статистической значимости — это p= 0,05, и это просто другой способ сказать: «Если бы провел эксперимент 100 раз, я мог бы случайно получить ложноположительный результат в пяти случаях».

Если вернуться к конкретному примеру с детьми, давайте представим, что действительно не было разницы в употреблении кокаина, но вы провели тот же опрос сто раз: вы можете, так же как в предыдущем примере, случайно получить разницу, потому что наугад выбрали больше детей, которые принимали кокаин. Но можно ожидать, что это случится менее пяти раз в ваших ста опросах.

Итак, у нас есть повышение риска 35,7 %» которое кажется статистически значимым, но это отдельно взятая цифра. Просто взять эту цифру без контекста и сказать, что она статистически значима, будет неправильно. Статистический тест на значимость подразумевает, что каждый параметр независим, однако здесь данные «сгруппированы». Это не просто данные, это реальные дети из 305 школ. Они общаются, копируют друг друга, они покупают друг у друга наркотики, там случаются повальные увлечения, эпидемии, групповые взаимодействия.

Увеличение числа детей, употребляющих кокаин, на 45 человек означало бы массовую эпидемию наркомании, если бы произошло в одной школе или в нескольких группах из дюжины детей в разных школах, или мини-эпидемию в группе школ. Или 45 детей, независимо покупающих и употребляющих кокаин в одиночку, без друзей, что мне кажется маловероятным.

Это немедленно делает наше увеличение менее статистически значимым. Небольшое увеличение 0,5 % было значимым, поскольку оно касалось большой выборки в 9000 субъектов — как 9000 подбрасываний монеты — но то, что практически любой знает об исследованиях, подобных этому, — чем больше выборка,

тем более значимыми, вероятно, будут результаты. Но если это не независимые параметры, тогда вы должны рассматривать их как меньшую выборку, и результаты станут менее значимыми. Как скажут статистики, нужно «сделать поправку на группировку». Это делается с помощью формул, которые вызывают головную боль. Все, что вам нужно знать, это то, что причины, по которым нужно делать эту поправку, прозрачны и ясны, как мы только что видели (фактически, как и со многими другими инструментами, знать, когда использовать статистические инструменты, — это одно, а знать, как они устроены, — другое). Когда вы делаете поправку на группировку, тем самым существенно снижаете значимость результатов. Сохранится ли вообще увеличение потребления кокаина, которое первоначально было объявлено увеличением вдвое, а затем на 35,7 %? Не сохранится. Поскольку существует еще одна проблема с этими данными: их слишком много. В этом обзоре десятки параметров: данные по растворителям, по сигаретам, по кетамину, по марихуане и т. д. В стандартной практике исследований как значимые принимаются только те данные, в которых p= 0,05 или меньше. Как уже говорилось, пи-величина означает, что на каждую сотню сравнений, которые вы делаете, пять случайно являются положительными. В этом обзоре множество параметров, и часть из них, несомненно, показала случайное увеличение — к ним может относиться и увеличение использования кокаина. Если вы будете бросать пару игральных костей достаточно долго, две шестерки три раза подряд могут выпасть неоднократно. Вот почему статистики делают «поправку на множественные сравнения», то есть поправку на «бросание костей» много раз. Она, как и поправка на группировку, особенно жестока для данных и часто сильно снижает их значимость.

Углубляться в данные — опасное дело. Вы могли бы — ничего не зная о том, как работает статистика — сказать, что правительственный обзор показал существенное увеличение употребления кокаина — 35,7 %. Но знатоки, которые составляли этот обзор, знали о «группировке» и о поправке Бонферрони на множественные сравнения. Они не глупы, статистика — это их работа.

Возможно, поэтому они и написали в резюме, в пресс-релизе и в самом обзоре, что не было изменений с 2004 по 2005 год. Но журналисты не хотели этому верить: они попытались заглянуть под капот и думали, что обнаружили новости. Увеличение сдвинулось с 0,5 % — цифра, которая может означать постепенную тенденцию, а может и не означать ничего — и попало на первую полосу «Таймс» в статью об удвоении употребления кокаина. Вы можете не доверять пресс-релизам, но если вы ничего не знаете о статистике, тогда у вас есть большой шанс, заглянув под капот, найти там целую историю.

О’кей, назад к простому

Существует несколько очень простых способов создать нелепую статистику и два самых любимых — выбрать необычную группу людей и задать им глупый вопрос. Давайте скажем, что 70 % женщин хотят, чтобы принцу Чарльзу запретили вмешиваться в общественную жизнь. Ой, подождите, 70 % женщин, которые посещают мой веб-сайт, хотят, чтобы принцу Чарльзу запретили вмешиваться в общественную жизнь. Вы видите, куда мы движемся. Конечно, в опросах, которые являются добровольными, существует предвзятость выбора: регистрируются только голоса тех людей, которые потрудились заполнить бланк опроса.

Прекрасный пример этого — статья в «Телеграф» в последние дни 2007 года под заголовком «Врачи говорят “нет” абортам в своих кабинетах». «Семейные врачи угрожают выступлением против планов правительства разрешить им делать аборт в их кабинетах», как утверждает газета Daily Telegraph. Выступлением? «По данным опроса, четыре из пяти семейных врачей не хотят проводить аборты в своих кабинетах, несмотря на то что эта идея сейчас проходит тестирование в пилотных проектах Государственной службы здравоохранения».

Откуда они берут эти цифры? Из системного опроса врачей, охотясь за теми, кто не желает отвечать? Из телефонных звонков им на работу? Из почтового опроса? Нет. Это было голосование врачей в онлайне. Вот вопрос и варианты ответов: врачи общей практики должны проводить аборты в своих кабинетах (полностью согласен, согласен, не знаю, не согласен, категорически не согласен).

Следует внести ясность. Лично я не совсем понял вопрос. Они обязаны или им следует? В каких обстоятельствах? При дополнительной подготовке, при наличии времени, за деньги? При дополнительных системах на случай неблагоприятного исхода? И не забывайте, что это веб-сайт, на который врачи заходят, чтобы пожаловаться. Может, они говорят «нет», потому что недовольны лишней работой или низкой моралью?