Сумма биотехнологии. Руководство по борьбе с мифами о генетической модификации растений, животных и людей

Панчин Александр

Самый простой способ учесть множественные сравнения — ввести поправку, названную в честь итальянского математика Карло Эмилио Бонферрони [143] . Поправка гласит, что если экспериментатор проверяет не одну, а сразу n гипотез, ему следует проверять каждую гипотезу не против уровня значимости а, а против уровня значимости a/n.

Предположим, что пять девушек независимо загадали натуральное число от одного до сорока. И я, назвавшись экстрасенсом, угадал число одной из них. Можно ли отвергнуть нулевую гипотезу, что я не умею читать мысли, используя самый мягкий порог статистической значимости, а = 0,05? Без поправки Бонферрони мы получаем, что в случае с одной из девушек случилось событие, вероятность которого 1/40, — я угадал ее число. Эта вероятность меньше, чем а = 0,05, а значит, есть основания

полагать, что я умею читать мысли. Но свои экстрасенсорные способности я опробовал на пяти девушках. Следовательно, мы имеем дело с пятью множественными сравнениями. Поэтому порог а = 0,05 мы делим на пять и получаем новый порог а = 0,01, что уже меньше, чем 1/40. Теперь мы приходим к выводу, что даже при самом мягком пороге статистической значимости нельзя исключить гипотезу, что мне просто повезло.

143

Abdi H.: The Bonferonni and Sid'ak Corrections for Multiple Comparisons. Encyclopedia of Measurement and Statistics 2007.

Поправка Бонферрони достаточно консервативна, то есть значительно снижает риск обнаружения ложноположительных результатов, но одновременно увеличивает количество ложноотрицательных. Мы рискуем пропустить какую-то важную закономерность, поэтому использовать ее нужно осторожно. Однако в примерах работ, которые я буду разбирать ниже, эта поправка оправдана по нескольким причинам [144] .

Во-первых, из современных представлений в области молекулярной генетики не следует никаких рисков, связанных с употреблением ГМО. Поэтому непонятно, как именно ГМО должны влиять на организм животных и каким может быть биологический механизм такого воздействия. Нет никаких четких гипотез о том, какие биологические показатели должны измениться, как сильно и в какую сторону. Скептически настроенные к ГМО исследователи проверяют все подряд, и любые отличия между ГМО и их аналогами признают потенциально опасными. Увеличение толщины кишечника опасно, но уменьшение тоже вредно! Настораживает как снижение, так и увеличение содержания каких-нибудь микроэлементов в ГМО или бактерий в кишечнике организмов на диете с ГМО. Если рассмотреть множество параметров, отличия по некоторым из них обязательно найдутся.

144

Armstrong R.: When to use the Bonferroni correction. Ophthalmic and Physiological Optics 2014, 34(5):502–8.

Второй аргумент в пользу поправки заключается в том, что обнаружение любых отклонений у организмов, питающихся ГМ кормом, моментально становится сенсацией, даже если это предварительный и никем еще не воспроизведенный результат. Эти сенсации приводят к серьезным политическим решениям и экономическим последствиям, введению ограничений импорта и даже к попыткам изменения законодательства. Поэтому ложноположительные результаты крайне нежелательны как для развития биотехнологий, так и для формирования объективной научной картины мира.

Рассмотрим еще две истории про ошибки научного метода, показывающие, как маленькие недостатки эксперимента могут приводить к «потрясающим» результатам и насколько важно критически относиться к научным сенсациям. Среди биологов передается из уст в уста анекдотическая история о том, как в одном НИИ открыли телепатию. Исследователи брали крыс и сажали их парами в клетки, давая им возможность познакомиться. Через некоторое время клетки с парами крыс разделяли на две группы: экспериментальную и контрольную (для сравнения). Крыс из каждой пары изолировали друг от друга, чтобы они не могли видеть друг друга, обмениваться звуками и запахами. В экспериментальной группе одну крысу из пары заставляли голодать, а за второй крысой наблюдали, оценивая, сколько она ест в условиях неограниченного доступа к еде. В контрольной группе обеим крысам предоставляли неограниченный доступ к еде, за одной из крыс наблюдали. Оказалось, что напарница голодающей крысы ела больше, чем напарница сытой крысы, как будто чувство голода передавалось между крысами через неизвестный нам канал информации.

Один математик заинтересовался этими опытами и уговорил исследователей, чтобы ему разрешили принять участие в постановке экспериментов. Математик заметил, что хотя ученые из института N заявляют, что выбирают, в какую группу поместить ту или иную крысу «наугад», это «наугад» сводится к тому, что экспериментатор берет вполне конкретную крысу и на свое усмотрение сажает ее в ту или иную клетку. Математик почувствовал, что здесь может быть какой-то подвох, и попросил, чтобы на каждом этапе эксперимента крысы выбирались по-настоящему честным жребием, на исход

которого экспериментаторы повлиять не могли. Жребий определял, каких двух крыс посадят в одну клетку, какая пара крыс попадет в экспериментальную группу, а какая в контрольную, за какой из двух крыс будет вестись наблюдение.

Предложенная математиком процедура называется рандомизация, и эта процедура полностью устранила весь заявленный эффект телепатии у крыс. По-видимому, сами того не подозревая, исследователи помещали в экспериментальную группу крыс, которые больше ели. Учитывая, что ученые ошибку свою признали, эта история говорит о том, что даже порядочный экспериментатор может стать жертвой собственной необъективности или неосторожности.

Еще одна история касается публикации 1988 года в научном журнале Nature. Коллектив под руководством французского иммунолога Жака Бенвениста [145] опубликовал статью о том, что очень сильно разбавленное вещество может воздействовать на человеческие клетки, даже если степень разбавления такова, что от разбавляемого вещества не осталось ни одной молекулы. Это исследование имело очень важное социальное значение, ибо подтверждало возможность эффекта от гомеопатии, метода альтернативной медицины, которым пользуются сотни миллионов людей, несмотря на то что научное сообщество считает его псевдонаучным.

145

Davenas E. et al.: Human basophil degranulation triggered by very dilute antiserum against IgE. Nature 1988, 333(6176):816–8.

Один из основных принципов гомеопатии заключается в том, что активное вещество многократно разбавляется. Берется 1 грамм вещества, растворяется в 99 граммах воды, встряхивается. Так получается 1C раствор с концентраций 1 %. Затем берется 1 грамм 1С раствора, снова растворяется в 99 граммах воды и встряхивается. Так получается 2С раствор с концентрацией вещества равной 0,01 %. Последовательно повторяя эту процедуру 30 раз, можно получить типичное гомеопатическое разбавление 3 °C, которое, согласно всем известным законам физики и химии, не должно содержать молекул исходного вещества сверх тех примесей, которые присутствуют в обычной воде. Однако гомеопатическая вода в опытах Бенвениста оказывала иное воздействие на клетки человека, чем обычная вода. Это означало, что либо неверны наши представления о законах физики и химии, либо в экспериментах Бенвениста допущена ошибка.

Группа скептиков во главе с Джоном Мэддоксом, который тогда был редактором журнала Nature, приехала в лабораторию Бенвениста, чтобы посмотреть, как проводятся эксперименты. Скептики обратили внимание на то, что Бенвенист и его коллеги знают, на какие клетки действуют обычной водой, а на какие гомеопатической, и предположили, что исследователи неосознанно искажают измерения в пользу своей теории. Для исключения такой возможности была предложена процедура «слепого эксперимента». Пробирки с гомеопатической и обычной водой были пронумерованы, а шифр был спрятан в конверте, который, как повествует история, запечатали и приклеили к потолку в лаборатории.

Когда все измерения воздействия воды на клетки были сделаны, конверт раскрыли и провели анализ данных. Оказалось, что эффект гомеопатической воды пропал [146] . Ученый может осознанно и неосознанно вносить небольшие искажения в измерения. Он может решать, в какую сторону округлять значения, или переделывать отдельные измерения, которые не вписываются в его представления. Подобные искажения, повторенные много раз, накапливаются из эксперимента в эксперимент и в итоге дают противоречащий здравому смыслу, но статистически достоверный результат.

146

Maddox J. et al.: «High-dilution» experiments a delusion. Nature 1988, 334(6180):287–91.

Бенвенист получил Шнобелевскую премию за «стойкие убеждения, что вода является разумной жидкостью и может помнить события, следы которых давно исчезли». Вопрос о том, страдает ли вода «склерозом» и помнит ли она, что с ней случилось в канализации, обычно остается без ответа. Ни Бенвенист, ни его последователи не признали ошибки методологии. Позже он получил вторую Шнобелевскую премию за «гомеопатическое открытие того, что вода не только обладает памятью, но и умеет делиться воспоминаниями по телефону и через интернет». Сегодня методы, основанные на этом заблуждении, используются последователями Бенвениста для откровенного обмана. Несведущим людям предлагают лечиться «излучением лекарств», которое «записано» на компакт-диски, или даже скачать приложение, позволяющее заряжать воду «лекарственным излучением» с помощью смартфона.