Бог, человек, животное, машина. Технология, метафора и поиск смысла
Шрифт:
AlphaGo - это разновидность глубокого обучения, особенно мощного вида машинного обучения, который с тех пор стал предпочтительным средством для получения прогнозов из огромного количества необработанных данных нашей эпохи. Кредитные аудиторы используют его, чтобы решить, выдавать или не выдавать кредит. ЦРУ использует его для прогнозирования социальных волнений. Эти системы можно найти и в программах безопасности аэропортов, где они используются для распознавания лиц на отсканированных фотографиях паспортов, и в больницах, где они стали очень хорошо диагностировать рак, и на Instagram, где они предупреждают пользователей о том, что что-то, что они собираются опубликовать, может быть оскорбительным. Оказывается, многое в жизни можно "геймифицировать", свести к ряду простых правил, которые позволяют этим машинам строить собственные модели мира - модели, которые оказываются до жути точными. В годы, последовавшие за матчем AlphaGo, революция в машинном обучении и, в частности, глубокое обучение, которое превозносили за его "неоправданную эффективность", казались безграничным энтузиазмом. К 2017 году эти алгоритмы превзошли людей-рентгенологов в выявлении рака легких, оказались быстрее и эффективнее людей в распознавании изображений на фотографиях и сочиняли барочные
Эта технология также вызывала опасения. Многие формы машинного обучения считаются технологиями "черного ящика". Они состоят из множества скрытых слоев нейронных сетей, и нет никакой возможности определить, какую модель они строят на основе своего опыта. В процессе обучения они создают внутренние узлы, представляющие абстрактные признаки или взаимосвязи, которые они обнаруживают, но ни один из которых не соответствует каким-либо терминам в человеческом языке (даже алгоритмы, обладающие сверхъестественной способностью распознавать, скажем, собак на фотографии, понятия не имеют, что такое собака на самом деле; они просто улавливают закономерности в данных). Если бы вы распечатали все, что делают сети между входом и выходом, это было бы равносильно миллиардам арифметических операций - "объяснение", которое невозможно понять. Когда AlphaGo выиграла матч в Сеуле, даже ее создатель Дэвид Сильвер не смог объяснить логику неожиданного хода алгоритма. "Он обнаружил это сам, - сказал Сильвер, - в процессе самоанализа и анализа". Хотя предпринимались различные попытки расшифровать, как машины пришли к тому или иному выводу, технология, похоже, поддается объяснению не больше, чем человеческий мозг (профессор лаборатории искусственного интеллекта Uber назвал такие попытки "искусственной нейронаукой"). Как никакая другая технология, эти алгоритмы выполнили призыв Андерсона к объективному знанию ценой человеческого понимания. Чтобы получить превосходные знания, которыми обладают машины, мы должны отказаться от своего желания знать "почему" и принять их результаты как чистое откровение.
Винер почувствовал в машинном обучении нечто принципиально религиозное, но он, пожалуй, неправильно распределил роли в Книге Иова. Эти алгоритмы - не хитрый дьявол, который перехитрил своего создателя. Вместо этого они стали абсолютными властителями, требующими слепого подчинения. По мере того как эти технологии все больше интегрируются в сферу общественной жизни, многие люди оказываются в положении, подобном положению Иова: им отказывают в праве знать, почему им отказали в кредите, уволили с работы или определили вероятность развития рака. На самом деле трудно избежать сравнения с божественным правосудием, учитывая, что наша система правосудия превратилась в настоящую лабораторию экспериментов по машинному обучению. Хотя статистический анализ используется в полицейских департаментах с середины 1990-х годов, сейчас многие правоохранительные органы опираются на алгоритмы прогнозирования для выявления очагов преступности. Одна из таких систем, PredPol, утверждает, что она в два раза точнее, чем человеческие аналитики, предсказывает места совершения преступлений. Система опирается на данные о прошлых преступлениях и помещает на своих картах красные квадратики вокруг районов или отдельных городских кварталов, чтобы обозначить их как места повышенного риска. Как отмечает Джеки Ванг в своей книге "Карцеральный капитализм", маркетинговая литература PredPol, похоже, предполагает, что система практически ясновидящая. В ней приводятся анекдоты, в которых полицейские, отправляясь в места повышенного риска, обнаруживают преступников, совершающих преступление.
Сторонники этой технологии настаивают на том, что она не является реальным аналогом "Отчета о меньшинстве" (Minority Report), фильма 2002 года, в котором интуитивные люди, называемые прекогами, используются правоохранительными органами для предсказания преступлений, чтобы "преступник" был арестован до того, как он действительно совершит их. Медиа-стратег PredPol утверждает, что программное обеспечение - это не научная фантастика, а "научный факт", подчеркивая, что алгоритмы абсолютно нейтральны и объективны. На самом деле программное обеспечение часто преподносится как способ уменьшить расовую предвзятость в правоохранительных органах. Один из создателей PredPol утверждал, что, поскольку алгоритмы ориентируются на "объективные" факторы, такие как время, место и дата потенциальных преступлений, а не на демографические характеристики отдельных преступников, программное обеспечение "потенциально уменьшает любые предубеждения офицеров в отношении расы или социально-экономического статуса подозреваемых".
Аналогичные алгоритмы используются при вынесении приговоров, определяя степень угрозы для общества и риск побега обвиняемого перед вынесением приговора. Эти машины сканируют данные из картотеки обвиняемых, включая подозреваемое преступление, количество предыдущих арестов и место ареста (некоторые модели также учитывают место работы подозреваемого, знакомых и его кредитный рейтинг), затем сравнивают эти данные с сотнями и тысячами судимостей и присваивают обвиняемому балл риска, который используется для определения того, где он должен ожидать суда - дома или в тюрьме. Подобные алгоритмы впервые попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, тридцатичетырехлетним мужчиной из Висконсина, чей тюремный приговор - шесть лет за уклонение от уплаты налогов - был частично основан на КОМПАСе, прогностической модели, определяющей вероятность рецидива преступлений. Во время судебного заседания судья сообщил Лумису, что по результатам оценки КОМПАС он был отнесен к группе высокого риска для общества. Лумис, естественно, поинтересовался, какие критерии использовались при вынесении приговора, но ему сообщили, что он не может оспорить решение алгоритма. В итоге его дело дошло до Верховного суда Висконсина, который вынес решение не в его пользу. Генеральный прокурор штата утверждал, что Лумис обладал теми же знаниями о своем деле, что и суд (судьи, по его словам, были в равной степени осведомлены о логике алгоритма), и заявлял, что Лумис "был волен подвергнуть сомнению оценку и объяснить ее возможные недостатки". Но это было довольно творческое понимание свободы. Лумис был волен подвергнуть алгоритм сомнению точно так же,
Другой, более свежий случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году проходил испытательный срок после отбывания наказания в тюрьме. Он заметил, что частота его обязательных визитов к надзирателю меняется от месяца к месяцу, но ему никогда не говорили, что это происходит потому, что алгоритм постоянно оценивает степень его риска. Возможно, он никогда бы не узнал об этом, если бы журналист New York Times, освещавший эту технологию, не сообщил ему об этом. Гейтс был явно обеспокоен этим открытием. В интервью газете Times он, похоже, осознал теневую грань между предсказанием и решимостью - и невозможность перехитрить игру, в которой все ставки против вас. "Как он собирается понять меня, ведь он диктует мне все, что я должен делать?" - сказал он об алгоритме. "Как выиграть у компьютера, который создан для того, чтобы остановить вас? Как остановить то, что предопределяет вашу судьбу?"
Хотя эти непрозрачные технологии подвергаются нападкам со стороны организаций по защите гражданских прав, их защитники часто указывают на то, что человеческие суждения не более прозрачны. Спросите судью, как она пришла к тому или иному решению, и ее ответ будет не более достоверным, чем ответ алгоритма. Человеческий мозг - это тоже "черный ящик", - говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Тот же вывод был сделан в статье, подготовленной корпорацией Rand, где отмечалось: "Мыслительные процессы судей - это (как и КОМПАС) черный ящик, который выдает непоследовательные решения, склонные к ошибкам". Эти аргументы часто приводят те, кто заинтересован в технологии, хотя их подкрепляет неврологический консенсус, согласно которому у нас нет "привилегированного доступа", как выражается Дэниел Деннетт, к нашему собственному мыслительному процессу. Логическим завершением "черного ящика" человеческого сознания является то, что доверять непрозрачной логике алгоритма теперь представляется столь же разумным, как и доверять собственному разуму.
Но эта защита поразительно уклончива и по другим причинам. Мы доверяем объяснениям других людей, потому что мы эволюционировали как вид, чтобы иметь схожие методы рассуждения. Даже если речь идет об интуиции или догадках, мы можем предположить, что они относятся к сфере человеческих мыслительных процессов. Машины, напротив, делают выводы, совершенно не похожие на человеческий разум - этот факт запомнился бывшему чемпиону по игре в го, который воскликнул о стратегии AlphaGo: "Это не человеческий ход". Многие исследователи в области глубокого обучения называют алгоритмы формой "инопланетного" интеллекта. Когда модели глубокого обучения учат играть в видеоигры, они придумывают хитроумные способы обмана, которые не приходят в голову человеку: используют ошибки в коде, позволяющие им набирать очки, или доводят противников до самоубийства. Когда Facebook научил две сети общаться, не уточняя, что разговор должен вестись на английском, алгоритмы придумали свой собственный язык. В 2003 году Ник Бостром предупредил, что между интеллектом и человеческими ценностями нет врожденной связи. Сверхразумная система может привести к катастрофическим последствиям, даже если у нее нейтральная цель и отсутствует самосознание. "Мы не можем легкомысленно полагать, - писал Бостром, - что сверхразум обязательно будет разделять какие-либо конечные ценности, стереотипно ассоциирующиеся с мудростью и интеллектуальным развитием человека: научное любопытство, благожелательное отношение к другим, духовное просвещение и созерцание, отказ от материального приобретения, вкус к изысканной культуре или к простым удовольствиям жизни, смирение и самоотверженность и так далее".
Однако среди приверженцев глубокого обучения именно причудливый интеллект является целью. "У нас уже есть люди, которые могут думать как люди", - говорит Янн ЛеКун, глава исследовательского подразделения Facebook по ИИ. "Возможно, ценность умных машин в том, что они совершенно чужды нам". Дэвид Уайнбергер также утверждает, что в случае с глубоким обучением "чужое" не означает "неправильное". "Когда дело доходит до понимания того, как обстоят дела, - пишет он, - машины могут быть ближе к истине, чем мы, люди, когда-либо могли бы быть". Многие специалисты в этой области не хотят делать технологию более прозрачной, даже если бы это было возможно. Согласно одной из теорий, чем меньше мы будем вмешиваться в алгоритмы, тем точнее будут результаты. Если среди технологической элиты и существует герменевтика, то это марка sola fide и sola scriptura, убежденность в том, что алгоритмические откровения совершенны и что любая интерпретация или вмешательство человека рискуют подорвать их авторитет. "Бог - это машина", - говорит исследователь Юре Лесковец, резюмируя консенсус в своей области. "Черный ящик" - это истина. Если он работает, значит, он работает. Мы даже не должны пытаться понять, что выдает машина".
Во время расцвета увлечения глубоким обучением трудно было прочитать статью об этих технологиях, не наткнувшись на религиозную метафору. "Подобно богам, эти математические модели были непрозрачны, их работа была невидима для всех, кроме высших жрецов в своей области: математиков и компьютерных ученых", - пишет специалист по изучению данных Кэти О'Нил, вспоминая появление этих алгоритмов. "Их вердикты, даже если они были ошибочными или вредными, не подлежали оспариванию или обжалованию". В своей книге "Homo Deus" Юваль Ной Харари проводит практически ту же аналогию: "Как, согласно христианству, мы, люди, не можем понять Бога и Его замысел, так и датаизм заявляет, что человеческий мозг не в состоянии постичь новые главные алгоритмы". Термин "главный алгоритм" - это аллюзия на работу Педро Домингоса, одного из ведущих экспертов в области машинного обучения, который утверждает, что эти алгоритмы неизбежно превратятся в единую систему совершенного понимания - своего рода оракул, к которому мы сможем обращаться практически по любому поводу, что приведет к завершению видения Бридла о новой темной эпохе. В своей книге "Мастер-алгоритм" Домингос отвергает опасения по поводу этой технологии, апеллируя к нашему зачарованному прошлому. "По сути, мы всегда жили в мире, который понимали лишь отчасти", - пишет он. "Вопреки тому, во что нам хочется верить сегодня, люди довольно легко подчиняются другим, а любой достаточно развитый ИИ неотличим от Бога. Люди не обязательно будут возражать против того, чтобы получать приказы от какого-то огромного оракульного компьютера".