Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Статистически значимого влияния анкетных данных респондентов на их выбор выявить не удалось, но при этом обнаружились интересные закономерности в распределении этических предпочтений по странам, которые распались на три больших кластера, условно названные исследователями «Западным», «Восточным» и «Южным». В Западный кластер попали США, Канада, а также многие европейские страны (католические, протестантские и православные). В Восточном кластере оказались сосредоточены страны с конфуцианской и мусульманской традицией. Южный кластер включает в себя две ветви, в одну из которых входят страны Латинской Америки, а во вторую — Франция и ряд стран, находившихся в прошлом под французским влиянием.

Для выделенных кластеров характерны весьма различающиеся представления о том, как должны вести себя беспилотные автомобили в критических ситуациях. Скажем, в Южном кластере люди чаще отдают предпочтение необходимости спасать прежде всего детей и женщин, в то время как респонденты из Восточного кластера в первую очередь отдают предпочтение законопослушным пешеходам и не ставят жизнь молодых намного выше жизни старших. Авторы также отметили, что в странах с высоким уровнем экономического неравенства люди чаще отдают предпочтение спасению людей, обладающих высоким социальным статусом («начальников») [3336] .

3336

Марков А. (2018). Моральные проблемы беспилотных автомобилей не имеют универсального решения / Элементы, 29.10.18 // https://elementy.ru/novosti_nauki/433355/Moralnye_problemy_bespilotnykh_avtomobiley_ne_imeyut_universalnogo_resheniya

Конечно,

исследование обладает рядом очевидных недостатков. Под вопросом репрезентативность выборок по странам, сами дилеммы имеют довольно искусственный характер (вероятность их возникновения на дороге очень мала; кроме того, не учитывается оценка вероятности выживания людей в различных сценариях, что может явно перевесить все другие соображения) и так далее. Однако сам вопрос машинной этики, безусловно, представляет не только теоретический интерес. По мере того как системы прикладного ИИ получают всё более широкое распространение, возникает всё больше случаев, когда машины должны совершать сложный этический выбор.

Вступление в эру широкого распространения генеративных моделей [3337] спровоцировало новый виток споров об этических проблемах искусственного интеллекта. Главным образом дискуссия возникла в отношении двух важных проблем. Первая — допустимость использования результатов творческой деятельности людей без их явного на то согласия. Многие художники, озабоченные возможной конкуренцией со стороны генеративных моделей, были неприятно удивлены тем фактом, что их работы (среди многих сотен миллионов других изображений, находящихся в открытом доступе) были использованы для обучения таких нейросетей, как Midjourney или Stable Diffusion. Не были в восторге и владельцы фотостоков. Сходные чувства испытали многие писатели и журналисты, понимая, что их тексты попали в обучающие выборки больших языковых моделей, которые наделали так много шума в некогда относительно спокойном мирке креативных индустрий. Результатом стало несколько судебных исков к компаниям — разработчикам генеративных инструментов [3338] ^, [3339] . Основные аргументы сторон в данном случае понятны. Художники, писатели и владельцы фотостоков утверждают, что создатели генеративных моделей не имели права использовать опубликованные в интернете произведения для обучения нейросетей, поскольку не имели на то соответствующего разрешения от правообладателей. Основной контраргумент заключается в том, что размещение произведения в открытом доступе предполагает отсутствие ограничений на просмотр или прочтение — разглядывая картинку на интернет-странице или читая текст, расположенный в открытой части какого-либо сайта, вы не просите на это у автора отдельное разрешение. Мастерство тех же художников или писателей также основано на «насмотренности» или «начитанности», то есть на результатах просмотра или прочтения произведений других авторов. Художник, воспитанный на картинах Дали или Кандинского, избавлен от отчислений в пользу их наследников с продаж собственных картин. Произведения генеративных сетей не являются прямым плагиатом — в подавляющем большинстве случаев в них не содержится прямой репродукции изображений и текстов, используемых в процессе обучения (иногда такое всё же случается, например когда из обучающих выборок должным образом не удаляются многочисленные дубликаты одних и тех же произведений; впрочем, современные сервисы, основанные на генеративных моделях, обычно содержат специальные механизмы, предназначенные для недопущения «дословного» воспроизведения «учебных материалов»). Тем не менее в мире искусства нередки споры в ситуациях, когда создаются тексты или изображения, являющиеся продуктом переработки чужих прототипов. В таких случаях в ходе судебных разбирательств эксперты оценивают «глубину» переработки, объём творческого вклада каждой из сторон. В том, что генеративные сети способны создавать действительно новые тексты, изображения (и даже музыкальные произведения), несложно убедиться в эпоху поисковых систем и статистических методов анализа текстов. Ни один художник до DALL·E не рисовал иллюстрацию, на которой изображён ребёнок-дайкон в пачке, выгуливающий собаку, а произведения Нейропепперштейна не содержат сколь-нибудь длинных пересечений с текстами других авторов. Однако иногда здесь всё-таки возможен плагиат, и разработчикам генеративных моделей следует заботиться о том, чтобы таких случаев не возникало.

3337

McKinsey & Company (2023). The state of AI in 2023: Generative AI’s breakout year // https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year#/

3338

Tangermann V. (2023). Artists Sue Stable Diffusion and Midjourney for Using Their Work to Train AI That Steals Their Jobs / Futurism, Jan 18, 2023 // https://futurism.com/artists-sue-stabile-diffusion-midjourney

3339

Lee T. B. (2023). Stable Diffusion copyright lawsuits could be a legal earthquake for AI. / Ars Technica, 4/3/2023 // https://arstechnica.com/tech-policy/2023/04/stable-diffusion-copyright-lawsuits-could-be-a-legal-earthquake-for-ai/

Ещё одно возражение противников свободного использования генеративных моделей машинного обучения заключается в том, что человек, в отличие от нейросети, физически не может в течение своей жизни ознакомиться с сотнями миллионов изображений и текстов. Следовательно, процесс обучения генеративной модели нельзя считать прямым аналогом знакомства людей с произведениями искусства. Ведь если вам разрешено ловить рыбу удочкой, это не значит, что вы можете в тех же местах использовать рыболовную сеть или динамит. Впрочем, если рыболовные сети при использовании уничтожают рыбу, то нейросети не уничтожают цифровые копии произведений искусства, на которых обучаются, поэтому в данном случае трудно усмотреть прямую аналогию.

В общем, теперь судам, как обычно, придётся разбираться в том, чья позиция в споре является более аргументированной, а обществу — в том, какой из взглядов на проблему является более этически приемлемым.

В конце октября 2023 г. суд удовлетворил ходатайство Midjourney, Stability AI и DeviantArt [3340] о прекращении дела о нарушении авторских прав трёх американских художниц. Основной причиной такого решения суда стало то, что истицы не зарегистрировали авторские права на каждую из своих работ. При этом судья отметил, что если художницы ограничат свои претензии теми работами, авторские права на которые были зарегистрированы, то они могут подать повторный иск [3341] .

3340

^* DeviantArt — популярный сервис обмена изображениями и социальная сеть; в конце 2022 г. DeviantArt выпустил собственный генератор изображений DreamUp, основанный на модели Stable Diffusion.

3341

Franzen K. (2023). Midjourney, Stability AI and DeviantArt win a victory in copyright case by artists — but the fight continues / VentureBeat, October 30, 2023. // https://venturebeat.com/ai/midjourney-stability-ai-and-deviantart-win-a-victory-in-copyright-case-by-artists-but-the-fight-continues/

Вторая проблема, поставленная перед обществом революцией генеративных моделей, — массовое производство и распространение потенциально опасного или иного нежелательного контента. Опасная для

жизни неправильная медицинская рекомендация от «галлюцинирующей» языковой модели, призыв к насилию или терроризму, повлиявший на чей-то неокрепший ум, систематическая дискриминация той или иной группы людей — это явно не те плоды генеративного ИИ, которые мы хотим с нетерпением вкусить. Именно поэтому сегодня огромные усилия исследователей направлены на то, чтобы уменьшить объёмы генерации потенциально вредного контента. Почти каждый пользователь ChatGPT или GigaChat хотя бы раз сталкивался с тем, что модель отказывается дать ответ на тот или иной вопрос или выполнить задание, ссылаясь на то, что это противоречит заложенным в неё этическим нормам и правилам. Иногда эти отказы обоснованны, а иногда — нет. Этика — сложная штука; в ней порой и людям-то за всю свою жизнь разобраться довольно непросто. Чего же ждать от экспериментальных моделей, появившихся совсем недавно? Для того чтобы сократить количество нежелательных ответов моделей, обучающие данные, собираемые в открытых источниках, подвергают фильтрации и балансировке (вспомним печальную судьбу датасета Tiny Images, описанную в разделе 6.2.1.2), в обучающие выборки добавляют наборы выверенных ответов на скользкие вопросы, генеративные сети окружают системами правил и дополнительными моделями, детектирующими ответы, которые не следует давать пользователю. Однако и эти барьеры при желании или по неосторожности можно преодолеть — мы уже обсуждали эту проблему в разделе 6.6.4, когда рассматривали возможные атаки на генеративные модели. Реалии сегодняшнего медиапространства заключаются в том, что всё, что сгенерирует выставленная на публику модель, будет всенепременно использовано против её разработчиков. Повсеместное увлечение проблемами этичности и безопасности ответов генеративных моделей приводит порой к обратному результату. Так, несколько групп разработчиков уже заявило о разработке намеренно неэтичных моделей-беспредельщиков. Например, известный в узких кругах ML-специалист и ML-видеоблогер Янник Килчер опубликовал [3342] в 2022 г. модель GPT-4chan с 6 млрд параметров, обученную на постах из раздела /pol/ популярного анонимного веб-форума 4chan (соответствующий датасет получил название Raiders of the Lost Kek [Налётчики Потерянного Кека] [3343] ). Этот раздел весьма популярен и известен своей особенной токсичностью (даже по меркам токсичного в целом 4chan). Раздел в изобилии содержит расистские, женоненавистнические и антисемитские сообщения, стилистику и идейное наполнение которых генеративный трансформер успешно научился воспроизводить. В своём видео, описывающем проект, Килчер охарактеризовал результат следующим образом: «Модель была хороша в самом ужасном смысле» [The model was good, in a terrible sense]. Публикация модели вызвала нешуточное возмущение [3344] — онлайн-петиция [3345] с осуждением действий Килчера собрала множество подписей (среди них, как и в случае обсуждавшихся нами ранее открытых писем, есть подпись Йошуа Бенджио).

3342

Vincent J. (2022). YouTuber trains AI bot on 4chan’s pile o’ bile with entirely predictable results / The Verge, Jun 8, 2022 // https://www.theverge.com/2022/6/8/23159465/youtuber-ai-bot-pol-gpt-4chan-yannic-kilcher-ethics

3343

Papasavva A., Zannettou S., De Cristofaro E., Stringhini G., Blackburn J. (2020). Raiders of the Lost Kek: 3.5 Years of Augmented 4chan Posts from the Politically Incorrect Board // https://arxiv.org/abs/2001.07487

3344

Kurenkov A. (2022). Lessons from the GPT-4Chan Controversy. / The Gradient, 12.JUN.2022 // https://thegradient.pub/gpt-4chan-lessons/

3345

Condemning the deployment of GPT-4chan (2022). // https://docs.google.com/forms/d/e/1FAIpQLSdh3Pgh0sGrYtRihBu-GPN7FSQoODBLvF7dVAFLZk2iuMgoLw/viewform?fbzx=1650213417672418119

Отдельный юмор ситуации заключается в том, что GPT-4chan заметно превосходит GPT-3 и собственную «родительскую» GPT-J на популярном наборе тестов TruthfulQA [3346] , предназначенном для оценки доли правдивых ответов языковых моделей.

FraudGPT, WormGPT, DarkGPT, DarkBERT, DarkBART, EVILdolly и так далее — число «неэтичных» моделей со временем множится [3347] ^, [3348] , несмотря на протесты многих ML-специалистов. Открытые письма, похоже, не могут остановить развитие тёмной стороны генеративных технологий, как не смогли они остановить военные применения ИИ. Похоже, что для борьбы со злом всё-таки нужны какие-то более действенные меры. Частью этих мер, вполне вероятно, должны стать другие модели машинного обучения, способные распознавать потенциально опасный контент. А для этого они должны «ознакомиться» с примерами такого контента на этапе обучения… Ирония заключается в том, что в конечном счёте ими могут оказаться те же самые «злые» модели, подобные GPT-4chan. Здесь круг замыкается: ведь то, как именно — во зло или во благо — будет применена та или иная модель, зависит от людей, от нас с вами.

3346

Lin S., Hilton J., Evans O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods // https://arxiv.org/abs/2109.07958

3347

Kelley D. (2023). AI-Based Cybercrime Tools WormGPT and FraudGPT Could Be The Tip of the Iceberg. / SlashNext, August 1, 2023 // https://slashnext.com/blog/ai-based-cybercrime-tools-wormgpt-and-fraudgpt-could-be-the-tip-of-the-iceberg/

3348

Николич А. (2023). EVILdolly // https://huggingface.co/AlexWortega/EVILdolly

8.6 Далеко ли до общего искусственного интеллекта (AGI)?

Посыпались частые звенящие удары — планетарные моторы заработали автоматически, когда управлявшая кораблём электронная машина почувствовала впереди огромное скопление материи. «Тантра» принялась раскачиваться. Как ни замедлял свой ход звездолёт, но люди в посту управления начали терять сознание. Ингрид упала на колени. Пел Лин в своём кресле старался поднять налившуюся свинцом голову, Кэй Бэр ощутил бессмысленный, животный страх и детскую беспомощность.

Удары двигателей зачастили и перешли в непрерывный гром. Электронный «мозг» корабля вёл борьбу вместо своих полубесчувственных хозяев, по-своему могучий, но недалёкий, так как не мог предвидеть сложных последствий и придумать выход из исключительных случаев.

Иван Ефремов. Туманность Андромеды

Появление больших трансформерных моделей, таких как GPT-3, способных без переучивания решать широкий спектр задач в области обработки естественного языка, подлило масла в огонь дискуссии о том, насколько мы приблизились к созданию систем общего искусственного интеллекта (AGI). В августе 2020 г. на arXiv.org был выложен препринт статьи двух молодых исследователей Джона-Кларка Левина и Маттейса Мааса под названием «Дорожная карта по созданию дорожной карты: как мы сможем определить, когда AGI окажется от нас на расстоянии „Манхэттенского проекта“?» (Roadmap to a Roadmap: How Could We Tell When AGI is a ‘Manhattan Project’ Away?) [3349] .

3349

Levin J.-C., Maas M. M. (2020). Roadmap to a Roadmap: How Could We Tell When AGI is a 'Manhattan Project' Away? // https://arxiv.org/abs/2008.04701