Торговец смертью: Торговец смертью. Большие гонки. Плейбой и его убийца

Колдакр Бен

До проведения клинического исследования нужно написать его план. Это документ, в котором описывается то, что вы собираетесь сделать: сколько участников вы собираетесь набрать, где и как вы будете это сделать, какой препарат будет назначен каждой группе и какие точки клинической эффективности вы будете измерять. В исследовании нужно будет измерять все параметры как возможные точки клинической эффективности: вероятно, будет даже несколько различных шкал оценок для измерения боли, или депрессии, или чего-либо другого, что заинтересует вас (качество жизни или мобильность, которую вы измеряете при помощи какой-нибудь анкеты, смерть по разным причинам,смерть по каждой из ряда представленных причин и прочие параметры).

Все это делается до начала исследования для того, чтобы избежать одной простой

проблемы: если вы измеряете много параметров, некоторые из них будут более привлекательными и статистически значимыми просто благодаря возникновению естественных случайных вариаций в данных исследования. Помните, что вы имеете дело с живыми людьми, проживающими в материальном мире, и их болевой порог, глубина депрессии, степень мобильности, качество жизни и т. д. будут разными от человека к человеку по рядупричин, и многие из них не будут иметь ничего общего с вмешательством, последствия от которого вы проверяете в ходе вашего исследования.

Если вы честный исследователь, вы будете использовать статистические тесты специально для выявления истинных полезных свойств лекарства, которое вы проверяете. Вы будете пытаться отличить эти реальные изменения от обычных случайных изменений в фоновых данных, которые вы увидите в результатах ваших пациентов при проведении различных тестов. Больше чем что бы то ни было вы захотите избежать получения ложноположительных результатов.

Традиционная пропорция статистической значимости совпадений 1 к 20. Грубо говоря, объясняя эту формулу простыми словами, если вы проведете одно и то же исследование много раз, используя те же методы, с теми же участниками из той же группы населения, то вы получите такие же положительные результаты, которые наблюдались в одном из 20 исследований, просто по случайности, даже если лекарство не оказывало совсем никакого полезного эффекта. Если вы будете зачерпывать двумя стаканчиками из однойбадьи с красными и белыми шариками, то и дело, чисто случайно, в одном стаканчике будет оказываться необычно мало красных шариков, а в другом — необычно много красных шариков. То же самое происходит и при измерении параметров здоровья пациентов: будут встречаться некоторые случайные вариации, и иногда все будет выглядеть так, как будто одно лекарство лучше другого, с точки зрения улучшения параметров организма, но на самом деле такое улучшение будет случайным. Статистические тесты разработаны для того, чтобы не дать этим самым случайным колебаниям параметров организма сбить нас с толку.

Поэтому сейчас давайте представим, что вы проводите исследование, при котором измеряете 10 разных независимых точек клинической эффективности. Если мы установим пропорцию статистической значимости как 1 к 20, тогда даже если ваше лекарство вообще не будет оказывать никакого полезного эффекта, в одном исследовании у вас все равно будет вероятность в пределах 40 % найти положительное действие лекарства по крайней мере на одну из точек клинической эффективности просто из-за случайных колебаний в ваших данных. Если вы предварительно не укажете, какие из параметров являются конечными точками эффективности, установленными изначально для исследования,то вы схитрите, а получив положительный результат по любой из 10 выбранных точек, вы объявите о позитивном результате вашего исследования.

Можете ли вы сразу открыто заявить о том, что делаете: «Эй, мы измерили 10 точек эффективности, и по одной из них наблюдается улучшение показателей, поэтому наше лекарство классное»? Да, наверное, так можно сделать, и в определенных обстоятельствах это сработает, потому что многие чтецы научных статей с удовольствием проглотят такую наживку и переключат внимание с одних точек клинической эффективности на другие. Однако большинство заметит вашу уловку. Им захочется увидеть отчет с результатами по изначально намеченным точкам клинической эффективности. Они-то знают, что, если измерять 10 параметров сразу, один из них уж точно будет выглядеть привлекательным просто по счастливой случайности.

Проблема состоит в том, что, даже если люди и знают, что вы должны устанавливать конечную точку клинической эффективности перед началом исследования, эти точки часто оказываются разными в плане исследования и в научной

статье: они меняются после того, как проводящие исследование люди просмотрели результаты. Даже вы, случайный читатель, нашедший эту книгу на скамейке в метро, а не профессор статистики или врач, и то поймете, что это настоящее безумие. Если конечная точка клинической эффективности, упоминаемая в законченной статье, отличается от конечной точки клинической эффективности, намеченной до начала исследований, тогда создается совершенноабсурдная ситуация: весь смысл конечной точки клинической эффективности в том, что она назначается до того, как начинаются исследования. Однако люди меняют конечные точки клинической эффективности, и это не просто случайная проблема. На самом деле, это почти что обычное дело, нормальная практика среди исследователей.

В 2009 году группа исследователей собрала все работы, которые только могла найти, посвященные различным случаям использования лекарства под названием габапентин.24 Затем они посмотрели на данные тех исследований, по которым им удалось получить внутренние документы, где была указана первоначальная конечная точка клинической эффективности для каждого. Конечно, материалы половины всех исследований вообще не публиковались (возмущений по этому поводу не должно быть меньше с каждым новымслучаем). Были опубликованы результаты по 12 исследованиям, и ученые проверили, действительно ли конечная точка клинической эффективности, упомянутая в научной статье, совпадала с той, которая декларировалась как таковая во внутренних документах до начала исследований.

Данные, которые были найдены, представляли собой настоящий хаос. Из 21 первичной конечной точки клинической эффективности, предварительно указанной в планах исследования, о которых следовало сообщить, было упомянуто только 11. О шести точках клинической эффективности, установленных первоначально, не упоминается нигде ни в какой форме, а еще четыре хоть и были включены в отчет, но упоминались в таком контексте, как будто они были вторичными точками клинической эффективности. Можно посмотреть на все с другого конца телескопа: в 12 опубликованных статьях об исследованиях сообщалось о 28 конечных точках клинической эффективности, но половина из них были новыми и никогда в действительности не были заявлены изначально как такие точки. Это было просто смешно. Никаких отговорок ни для исследователей, изменивших одни точки на другие, ни для работников научных журналов, которые не потрудились проверить информацию, быть не может. Однако были проверены исследования и отчеты о них только по одному лекарству. Можно ли назвать все произошедшее странной случайностью?

Нет. В 2004 году несколько исследователей опубликовали работу, в которой были изучены все области медицины. Были отобраны все исследования, одобренные комитетами поэтике двух городов в течение двух лет, после чего опубликованные работы были проанализировали.25 Почти половина всех конечных точек клинической эффективности в отчетах была указана неправильно. Почти в двух третях опубликованных работ была изменена по крайней мере одна конечная точка клинической эффективности, и это было сделано совсем не случайно: как и можно было догадаться, о положительных результатах сообщали должным образом в два раза чаще, а искажений в них не наблюдалось. Другие исследования, авторы которых изучали изменение конечных точек клинической эффективности в отчетах, имели сходные результаты.

Чтобы прояснить ситуацию до конца, следует сказать о следующем. Если вы меняете изначально установленную конечную точку клинической эффективности без предоставления вразумительного объяснения, зачем вы это сделали, тогда вы просто нарушаете правила проведения исследований. Ваше исследование пристрастно, хаотично и представляет собой настоящую профанацию. Для всех исследований нужно установить одно универсальное правило: в отчете всех исследований изначально указанная конечная точка клинической эффективности должна оставаться неизменной и в конце исследования. За этим должны следить редакторы журналов, и так нужно было сделать еще на заре проведения клинических исследований. Сложного здесь ничего нет, однако все мы почему-то не соблюдаем такое простое, очевидное и самое главное требование. И так делаобстоят во всем мире.