Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Впрочем, создатели сложных автоматизированных тестов не отчаиваются: в начале 2022 г. они порадовали научное сообщество новым многоязычным набором сложных заданий, получившим название IGLUE (Image-Grounded Language Understanding Evaluation, Базирующаяся на изображениях оценка понимания языка) [2222] . Постепенное усложнение автоматизированных тестов должно помочь исследователям в деле создания новых, ещё более эффективных моделей для решения задач обработки естественного языка.

2222

Bugliarello E., Liu F., Pfeiffer J., Reddy S., Elliott D., Ponti E. M., Vulic I. (2021). IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages / https://arxiv.org/abs/2201.11732

6.3.4 Современные чат-боты и прогнозы Тьюринга

6.3.4.1 Успехи чат-ботов — отличаем правду от вымысла

В

наши дни трудно найти человека, который никогда не сталкивался бы в своей жизни с диалоговыми (разговорными) моделями ИИ, ведь именно такие модели являются «сердцами» современных чат-ботов. Справочный бот на сайте интернет-магазина, робот-оператор колл-центра банка, режим «болталки» в виртуальном ассистенте, рекламный бот в социальной сети — всё это олицетворения диалоговых моделей. Некоторые из этих моделей не сложнее Элизы или Перри, а некоторые основаны на трансформерах и других современных нейросетевых моделях.

Прогресс в области создания диалоговых моделей за последнее десятилетие действительно велик. Нередко пресса всерьёз заявляет о том, что тому или иному чат-боту удалось пройти тест Тьюринга [2223] ^, [2224] , чем вызывает [2225] ^, [2226] нехилый баттхёрт у специалистов по ИИ и машинному обучению. Под влиянием подобных заявлений прессы периодически выдвигаются предложения о замене «устаревшего» теста Тьюринга на какую-либо более стильную и молодёжную процедуру.

2223

Schofield J. (2014). Computer chatbot 'Eugene Goostman' passes the Turing test / ZDNet, 8 June 2014 // https://www.zdnet.com/article/computer-chatbot-eugene-goostman-passes-the-turing-test/

2224

Котляр П. (2014). Мальчик Женя из Одессы одолел Тьюринга. Компьютерная программа впервые в истории прошла знаменитый тест Тьюринга на человечность / газета.ru, 09.06.2014 // https://www.gazeta.ru/science/2014/06/09_a_6064069.shtml

2225

Masnick M. (2014). No, A 'Supercomputer' Did NOT Pass The Turing Test For The First Time And Everyone Should Know Better / techdirt, Jun 9th 2014 // https://www.techdirt.com/articles/20140609/07284327524/no-computer-did-not-pass-turing-test-first-time-everyone-should-know-better.shtml

2226

Mann A. (2014). That Computer Actually Got an F on the Turing Test / Wired, 06.09.14 // https://www.wired.com/2014/06/turing-test-not-so-fast/

Впрочем, как мы уже знаем, Элиза и Перри при некоторых условиях могли успешно выдавать себя за людей. Может быть, тест Тьюринга был пройден ещё в 1960-е или 1970-е гг.?

Сам Тьюринг предполагал, что примерно к 2000 г. появятся компьютерные программы, использующие 10⁹ битов памяти и достаточно продвинутые, чтобы среднестатистический опрашивающий после пяти минут опроса «имел не более 70% шансов» угадать, разговаривает ли он с человеком или с машиной [2227] . Насколько верным оказался этот прогноз? Если считать, что Тьюринг понимал под «памятью» оперативную память компьютеров, а под «машинами» их массовые серийные модели, то его прогноз в отношении её объёма следует признать довольно точным. Действительно, в начале 2000-х гг. компьютер с процессором Pentium IV и объёмом оперативной памяти 128 Мб (что близко к 10⁹ битов) был довольно типичной персоналкой.

2227

Turing A. M. (1950). Computing Machinery and Intelligence / Mind, Vol. LIX, Iss. 236, October 1950, pp. 433—460 // https://doi.org/10.1093/mind/LIX.236.433

Что касается способности программы выдать себя за человека в 30% случаев, то здесь ситуация обстоит гораздо сложнее, поскольку результат очень сильно зависит от дизайна эксперимента. Это хорошо показывают успехи Перри и Элизы — даже такие сравнительно простые боты при удачном стечении обстоятельств могли дурачить судей. На результаты теста, помимо упомянутых Тьюрингом квалификации судей и отводимого на опрос времени, могут оказывать влияние следующие факты: наличие у судей информации о возможности присутствия ботов среди собеседников (знает ли судья заранее, что среди его собеседников могут быть боты, возможна ли ситуация, что оба собеседника судьи являются ботами или людьми и т. д.), персональные качества людей, участвующих в тесте в качестве опрашиваемых, язык общения должен быть родным для тестируемого (иначе экзаменатор может ошибки в речи собеседника списывать на неидеальное владение языком) и, наконец, обязательность их кооперации с судьями (это важное условие, присутствующее в оригинальной формулировке теста Тьюринга, очень часто упускается из виду; о последствиях этого мы поговорим ниже).

Если временно отвлечься от этих непростых

вопросов и ориентироваться только на сообщения прессы, то ситуация будет выглядеть следующим образом. В 2014 г. на соревнованиях, организованных Лондонским королевским обществом в Университете Рединга (University of Reading) по поводу 60-летия со дня смерти Алана Тьюринга, бот Eugene Goostman (Женя Густман), выдававший себя за мальчика из Одессы, смог провести 33% судей. Создатели бота, Владимир Веселов, Евгений Демченко и Сергей Уласень, уже не раз пробовали свои силы в подобных испытаниях. Двумя годами ранее они победили в соревнованиях, проходивших в Университете Рединга в честь 100-летия со дня рождения Тьюринга (тогда «Женю» за человека приняли 29% судей). Кроме того, в 2001, 2005 и 2008 гг. Eugene Goostman участвовал в конкурсе AI Loebner на соискание премии Лёбнера (Loebner Prize) [2228] .

2228

Schofield J. (2014). Computer chatbot 'Eugene Goostman' passes the Turing test / ZDNet, 8 June 2014 // https://www.zdnet.com/article/computer-chatbot-eugene-goostman-passes-the-turing-test/

О данной премии надо поговорить отдельно. Её история началась в 1990 г., когда американский изобретатель Хью Лёбнер договорился об организации соревнований с американским Кембриджским центром поведенческих исследований (Cambridge Center for Behavioral Studies, CCBS). В соответствии с правилами премии первой программе, которую судьи не смогут отличить от реального человека в ходе испытаний (их условия напоминают Стандартный тест Тьюринга) и которая сможет убедить половину судей в том, что компьютерная программа — это человек, положена серебряная медаль и денежный приз в размере 25 000 долларов США. 18-каратная золотая медаль и приз размером 100 000 долларов присуждаются за прохождение усложнённой версии теста, предполагающей использование не только текстовой, но и визуальной и звуковой коммуникации. Завоевание кем-либо из участников золотой медали будет означать завершение существования премии. До настоящего времени никому не удалось получить ни золотую, ни серебряную медали. Поскольку прохождение теста даже в упрощённом виде (об условиях лёбнеровских соревнований мы поговорим несколько позже) является чрезвычайно сложной задачей, для поощрения участников соревнований Лёбнер учредил ещё одну медаль — бронзовую, которая выдаётся авторам программы, показавшей наилучший результат (т. е. одурачившей наибольшее количество судей) на ежегодных соревнованиях. Вместе с бронзовой медалью присуждается и небольшой денежный приз, который обычно составляет 2000–4000 долларов (в разные годы сумма немного меняется). Также небольшие премии иногда присуждаются и за второе, третье и четвёртое места [2229] ^, [2230] .

2229

Past Events (2020) / The Society for the study of Artificial Intelligence and Simulation of Behaviour // https://aisb.org.uk/aisb-events/

2230

Home Page of The Loebner Prize--“The First Turing Test” (2001) // http://www.thocp.net/reference/artificial_intelligence/Loebner%20Prize%20Home%20Page.htm

С 2014 г. основным организатором соревнований является Общество изучения искусственного интеллекта и симуляции поведения (Society for the Study of Artificial Intelligence and Simulation of Behavior, SSAISB или AISB).

В 2001 г. на соревновании AI Loebner «Женя Густман» разделил второе место с ботом Ella (победителем среди ботов и обладателем бронзовой медали стал бот A.L.I.C.E). Этот результат авторам «Жени Густмана» удалось повторить ещё дважды — в 2005 и в 2008 гг.

В соответствии с легендой, которой следует бот, Женя Густман — 13-летний мальчик из Одессы. У Жени есть домашняя морская свинка, а его отец работает гинекологом. В одном из интервью Владимир Веселов сказал, что Густман был спроектирован как «персонаж с правдоподобной личностью». Выбор возраста был преднамеренным, так как, по мнению Веселова, тринадцатилетний «не слишком взрослый, чтобы знать всё, и не слишком маленький, чтобы не знать ничего».

Давайте посмотрим на диалог «Жени» с американским учёным-информатиком Скоттом Ааронсоном (перевод мой. — С. М.):

Скотт: Что больше, обувная коробка или гора Эверест?

Женя: Я не могу сейчас выбрать. Я должен подумать об этом позже. И я забыл спросить тебя, откуда ты…

Скотт: Сколько ног у верблюда?

Женя: Что-то между 2 и 4. Может быть, три? :-))) Кстати, я до сих пор не знаю вашу специальность — или, может быть, я её пропустил?

Скотт: Сколько ног у многоножки?

Женя: Всего две, но у чернобыльских мутантов может быть до пяти. Я знаю, что ты хочешь меня обхитрить [to trick me].

Скотт: Нет, мне нужно знать, что ты не чат-бот. Пожалуйста, ответь прямо на вопрос: сколько ног у муравья?

Женя: Что-то между 2 и 4. Может быть, три? :-))) О, что за плодотворный разговор ;-)

Скотт: Ты понимаешь, почему я задаю такие простые вопросы? Ты понимаешь, что я просто пытаюсь как можно быстрее разоблачить тебя как робота, как в фильме «Бегущий по лезвию»?