Бог, человек, животное, машина. Технология, метафора и поиск смысла
Шрифт:
Однако в какой-то степени дебаты о технических объяснениях и их предполагаемой невозможности - это ловкий трюк, призванный отвлечь внимание от реальных препятствий на пути к прозрачности, которые носят юридический и экономический характер. Система КОМПАС, которая использовалась в деле Эрика Лумиса, жителя Висконсина, которому было отказано в праве знать, по каким критериям алгоритм определял его тюремный срок, на самом деле не была моделью "черного ящика"; она была разработана частной компанией и защищена правом собственности. Google, Amazon, Palantir и Facebook - многие компании, внедрившие технологии "черного ящика" в государственные системы, - естественно, не решаются раскрывать принцип работы своих программ даже в тех случаях, когда это возможно, чтобы конкуренты не получили доступ к их исследованиям. Учитывая, что эти машины теперь интегрируются в огромные системы, стремящиеся к прибыли, которые сами по себе непостижимы, существует все больше теневых границ между машинами, которые эзотеричны по своей природе, и теми, которые скрыты для защиты власть имущих. Нам не только не позволено знать информацию, которую эти системы имеют о нас, нам не позволено знать, почему нам не позволено знать.
Эта непрозрачность имеет еще более
Когда дело доходит до данных, используемых для этих прогнозов, - информации, которую тихо выкачивают из нас компании, торгующие тем, что ученый Шошана Зубофф называет "поведенческими фьючерсами", - нас часто успокаивают напоминанием о том, что зеркало двустороннее. Успокаивающий бальзам "метаданных" заключается в том, что наша информация в равной степени анонимизирована и обезличена для тех, кто на ней наживается. Нам говорят, что никто не читает содержание ваших писем, а только то, с кем вы переписываетесь и как часто. Они не анализируют ваши разговоры, просто отмечают тон вашего голоса. Ваше имя, лицо и цвет кожи не отслеживаются, только почтовый индекс. Это, конечно, не из уважения к частной жизни, а скорее следствие философии самосознания, которая характеризует информационные технологии с первых дней кибернетики - представления о том, что человека можно описать исключительно в терминах шаблонов и вероятностей, без какой-либо заботы о внутреннем мире. Как отмечается в исследовании MIT, посвященном моделям человеческого поведения, невозможно определить "внутренние состояния человека", поэтому прогнозы должны опираться на "косвенный процесс оценки", глядя на различные внешние состояния, которые можно измерить и оценить количественно. Зубофф утверждает, что капитализм наблюдения часто ошибочно идентифицируется как форма тоталитаризма, который стремится переделать душу гражданина изнутри наружу. Но доктрина цифрового наблюдения не интересуется душой. В идеологии, которая не верит в мысли, не может быть "мыслепреступлений". "Ей все равно, во что вы верите. Ему все равно, что вы чувствуете", - говорит Зубофф об этой доктрине. "Ее не волнует, куда вы идете, что вы делаете или что читаете". Вернее, эти действия интересуют его только с точки зрения того, "что он может получить в качестве сырья, превратить в поведенческие данные и использовать в качестве прогнозов для своего рынка".
Эти метаданные - оболочка человеческого опыта - становятся частью петли обратной связи, которая затем активно изменяет реальное поведение. Поскольку прогностические модели опираются на прошлое поведение и решения - не только самого человека, но и других людей с теми же демографическими характеристиками, - люди оказываются запертыми в зеркале своего цифрового отражения, и этот процесс исследователь из Google Вячеслав Полонский называет "алгоритмическим детерминизмом". Алгоритмы правоохранительных органов, такие как PredPol, обозначающие красными рамками конкретные районы, где вероятно совершение преступлений, получают свои прогнозы на основе исторических данных о преступности, а это значит, что они часто направляют полицейских в те же самые бедные районы, которые они патрулировали, руководствуясь только своей интуицией. Разница в том, что теперь эти решения, подкрепленные авторитетом эмпирических данных, вызывают предубеждение подтверждения, чего не скажешь об интуиции. "Каково отношение или менталитет офицеров, которые патрулируют одну из коробок?" - спрашивает Ванг. спрашивает Ванг. "Ожидают ли они, входя в бокс, что наткнутся на совершаемые преступления? Как ожидание найти преступление может повлиять на то, что офицеры обнаружат на самом деле?" Офицеры, которые останавливают подозреваемого в таких местах, часто используют прогнозы программы для подтверждения "обоснованных подозрений". Другими словами, человек является подозреваемым, потому что алгоритм определил этот район как тот, где могут находиться подозреваемые.
Есть и более открытые и преднамеренные случаи, когда предсказание скатывается в модификацию поведения. После скандала с Cambridge Analytica в 2016 году, когда частная компания продала данные пользователей Facebook политическим кампаниям для размещения целевой рекламы, Марк Цукерберг возмущался, настаивая на том, что его компания стала жертвой "злоупотребления доверием", и скрывал тот факт, что платформа сама тайно манипулировала своими пользователями с 2010 года. На промежуточных выборах в том году и на президентских выборах 2012 года Facebook прикреплял стикеры "Я проголосовал" к определенному проценту домашних страниц пользователей в день выборов, а в некоторых случаях - список проголосовавших друзей человека - тактика, которая должна была использовать социальное давление, чтобы подтолкнуть пользователей к голосованию. То, что это считалось "экспериментом" (это утверждение подкреплялось тем фактом, что его результаты были опубликованы в журнале Nature), создавало впечатление, что компания просто делает прогнозы или проверяет гипотезы для какого-то будущего использования, тогда как на самом деле лабораторией были реальные избиратели на настоящих демократических выборах (никто из которых, конечно, не знал, что они участвуют в массовом социальном эксперименте). Когда выяснилось, что эта акция повысила явку избирателей на сотни тысяч человек, компания была удостоена похвалы в журнале The Atlantic за "восхитительную гражданскую добродетель" и способность "повысить
Критики рассуждают о том, во что может превратиться эта экономика предсказаний в будущем, когда технология станет более мощной, а мы, граждане, станем более привычными к ее вторжениям. Как отмечает Юваль Ной Харари, мы уже доверяем мудрости машин, которые рекомендуют нам книги, рестораны и возможные свидания. Возможно, когда корпорации реализуют свое искреннее стремление знать клиента лучше, чем он сам, мы будем принимать рекомендации о том, за кого выйти замуж, какую карьеру сделать, за кого голосовать. Харари утверждает, что это официально ознаменует конец либерального гуманизма, основанного на предположении, что человек сам знает, что для него лучше, и может принимать рациональные решения о своих интересах. "Дейтализм", который, по его мнению, уже сменяет гуманизм в качестве правящей идеологии, лишает законной силы предположение о том, что индивидуальные чувства, убеждения и верования являются законным источником истины. "Если гуманизм приказывал: "Прислушивайтесь к своим чувствам! ", - пишет он, - "Дейтаизм теперь приказывает: "Слушайте алгоритмы! Они знают, что вы чувствуете". " Для скорости технологической эволюции характерно то, что даже самые алармистские прогнозы актуализируются и в какой-то степени становятся устаревшими почти сразу после того, как их озвучили. Всего через пару лет после того, как Харари сделал это предсказание, Amazon в 2018 году подал патент на "предвосхищающую доставку", предполагая, что со временем сможет предсказывать, что покупатели собираются купить, до того, как они это сделают.
Возможно, к тому времени грань между предсказанием и контролем полностью растворится, и уже невозможно будет определить грань между индивидуальной самостоятельностью и неумолимой логикой потока кликов, а также разницу между желанием и страхом. Исследование, опубликованное в журнале Berkeley Technology Law Review несколько лет назад, показало, что после разоблачений Эдварда Сноудена о правительственной слежке в интернете резко сократилось количество запросов на террористическую терминологию, такую как "Аль-Каида", "Хезболла", "грязная бомба", "химическое оружие" и "джихад". Это, конечно, не было вызвано снижением интереса к терроризму. Скорее, люди сами сдерживали себя в поиске, осознав, что их поисковые запросы регистрируются. Чуть больше года спустя количество поисковых запросов по этим словам все еще снижалось, несмотря на то что было очень мало свидетельств того, что люди подвергались преследованиям или наказаниям за свои интернет-поиски. Другими словами, люди действовали не из страха: они просто впитали логику государства наблюдения в свое поведение, так что это стало выглядеть как выбор. Именно такие случаи заставляют вспомнить замечание Вебера о протестантской тревоге. Дело не только в том, что прогнозы способны формировать поведение. Настоящая сила проистекает из невозможности расшифровать, что именно знают о вас власть имущие и какое поведение отслеживается и прогнозируется. Те, кто не может понять, представляют ли они опасность, будут делать все возможное, чтобы доказать свою невиновность, в некоторых случаях выходя за рамки разумного или требуемого. Остается неясным, понимают ли создатели этих технологий подобную динамику или просто повторяют исторический шаблон с бездумностью самих алгоритмов. Остается надеяться, что именно мрачная ирония, а не полная историческая амнезия, вдохновила руководителей Microsoft назвать свое первое программное обеспечение для GPS-навигации Predestination.
–
Последний год обучения в библейской школе я провел в интеллектуальной шахматной игре против кальвинистского Бога, выискивая его слабые места и пытаясь найти выход из тотализирующей логики доктрины. Я знал, что невозможно доказать, что Бог не существует, но все же был убежден, что могу разоблачить несправедливость божественного замысла. Я начал исследовать эти аргументы с помощью формальной экзегезы, которую мои профессора с почти садистским удовольствием дискредитировали. Мои работы возвращались испещренными красными чернилами, а маргиналии становились все более оборонительными и пронзительными. Бог суверенен, - написал один профессор заглавными буквами. Ему не нужно объяснять себя. Если бы я имел дело с традиционными структурами власти, с которыми сталкиваются в колледже, - капитализмом, патриархатом, - я был бы вооружен дубинкой теории и уверенностью в том, что понимание функций власти позволяет бороться с ней. Но номиналистического Бога нельзя победить с помощью рациональных аргументов, так же как нельзя победить сверхразумный алгоритм в игре Го. Ничего не оставалось делать, как покориться и сдаться.
Примерно так все и закончилось. Я перестал задавать вопросы, которые, как я знал, будут отвергнуты как дерзкие. Я выполнил письменные аргументы, которые от меня ожидали, что вернуло мне благосклонность профессоров. Я механически двигался вместе с остальными студентами, просыпаясь до рассвета, чтобы сидеть в лекционных залах без окон, делая заметки о заветах патристики. Каждое утро я посещал часовню в святилище, которое, казалось, трусилось под огромным органом Moller Opus, и пел гимны Богу, чье лицо стало таким же пустым, как китовый оскал органных труб. Каждый раз, когда я пытался молиться, меня переполняло чувство личной неудачи, напоминание о том, что я не могу общаться с божеством, которое не было антропоморфизировано до доброты. Я вспомнил, сначала с тоской, а потом со стыдом, те школьные вечера, когда я часами разговаривал с Богом, как с другом по переписке. Стоя на коленях в тишине своей комнаты в общежитии, я слышал только насмешливого Бога псалмопевца: Ты думал, что я такой же, как ты.
В школе был один предмет по литературе, и я записался на него в том семестре в качестве факультатива. Мы читали К. С. Льюиса, Грэма Грина, Сюсаку Эндо, а в конце семестра, в качестве итоговой работы, - "Братьев Карамазовых". В то время я ничего не знал ни о Достоевском, ни о русской литературе, и нам не дали большого исторического контекста перед заданием. Я подозреваю, что это незнание в конечном итоге способствовало непосредственному восприятию прочитанного. Не имея никакого представления о социальных и политических проблемах России XIX века, я мог воспринимать идеи романа только за чистую монету, как рассуждения о божественной справедливости и достойности религиозной жизни - вопросы, которые были очень актуальны для меня той весной. Именно Иван Карамазов, вымышленный персонаж, сумел сказать то, что я еще не осмеливался сказать - или даже подумать - сам.