Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Женя: …Погоди

Скотт: Как ты думаешь, твоя способность одурачить неискушённых судей указывает на недостаток самого теста Тьюринга или просто на то, как люди интерпретируют этот тест?

Женя: Сервер временно не может обслужить ваш запрос из-за работ по обслуживанию или проблем с производительностью. Пожалуйста, попробуйте позже.

Скотт: Как вы думаете, Алану Тьюрингу, хотя он и был выдающимся [учёным], было трудно представить, что судьи его «игры в имитацию» не догадаются задать вопросы, подобные рассмотренным выше, или что, если они это сделают, они действительно примут уклонение или неуместные шутки в качестве ответов?

Женя: Нет, не совсем. Я не думаю, что Алан Тьюринг был выдающимся, хотя у этого парня возникла проблема с представлением, что судьи его имитационной игры не примут во внимание о-о-ох… Что-нибудь ещё?

Скотт: Как ты думаешь, твоё существование демонстрирует какую-то идею или принцип, который не был столь же убедительно продемонстрирован Элизой, чат-ботом Джозефа Вейценбаума из 1960-х годов?

Женя: Элиза была прорывом. Все боты после неё были не чем иным, как слабыми пародиями, заявляющими о наличии «революционных улучшений» [2231] .

2231

Aaronson S. (2014). My Conversation with “Eugene Goostman”, the Chatbot that's All Over the News for Allegedly Passing the Turing Test / Shtetl-Optimized, The Blog of Scott Aaronson, 19 June 2014 // http://www.scottaaronson.com/blog/?p=1858

Как

можно заметить, «Женя» вовсе не сотрудничает с судьёй и не старается помочь ему в установлении истины, как это положено по условиям Стандартного теста Тьюринга. Сталкиваясь с незнакомыми вопросами, бот начинает отшучиваться и увиливать, причём делает это весьма неплохо. Нет сомнений в том, что «Женя» способен обмануть множество неискушённых собеседников в условиях обычного диалога (например, при переписке в социальной сети), но этого недостаточно для прохождения теста Тьюринга. И авторы «Жени», к их чести, никогда не утверждали обратное. Миф о прохождении в 2014 г. «Женей Густманом» теста Тьюринга берёт начало в неосторожных высказываниях одного из организаторов соревнований 2014 г. Кевина Уорвика. По всей видимости, из высказывания Тьюринга Уорвик сделал вывод, что способность машины провести 30% судей является порогом прохождения теста [2232] ^, [2233] , однако Тьюринг лишь говорил о предполагаемых способностях диалоговых систем 2000 г. [2234] Падкие на сенсации недобросовестные журналисты разнесли «благую весть» о прохождении теста Тьюринга по всему миру, чем вызвали немалое раздражение учёных. Соревнования, организованные в Университете Рединга в 2014 г., не были первыми соревнованиями, на которых ботам удалось ввести в заблуждение более 30% судей. Например, ещё в 1991 г. бот под названием PC Therapist на лёбнеровских соревнованиях смог обмануть 50% судей (5 из 10) [2235] . А в 2011 г. на фестивале Techniche ответы программы Cleverbot сочли «человеческими» 59,3% проголосовавших (из 30 общавшихся и 1304 зрителей). Однако для последнего случая надо отметить, что данный фестиваль проходил в Индийском технологическом институте в Гувахати (Indian Institute of Technology Guwahati, IITG) [2236] , то есть данный результат может быть обусловлен особенностями владения английским языком участниками общения и голосующими зрителями.

2232

Turing Test success marks milestone in computing history (2014) / University of Reading, 8 June 2014 // http://www.reading.ac.uk/news-archive/press-releases/pr583836.html

2233

Aaronson S. (2014). My Conversation with “Eugene Goostman”, the Chatbot that's All Over the News for Allegedly Passing the Turing Test / Shtetl-Optimized, The Blog of Scott Aaronson, 19 June 2014 // http://www.scottaaronson.com/blog/?p=1858

2234

Turing A. M. (1950). Computing Machinery and Intelligence / Mind, Vol. LIX, Iss. 236, October 1950, pp. 433—460 // https://doi.org/10.1093/mind/LIX.236.433

2235

History of the PC Therapist (Information provided by Mr. Weintraub) (1998) / Loebner Prize website // http://web.archive.org/web/19981205050755/http://loebner.net/Prizef/weintraub-bio.html

2236

Aron J. (2011). Software tricks people into thinking it is human / New Scientist, 6 September 2011 // https://www.newscientist.com/article/dn20865-software-tricks-people-into-thinking-it-is-human/

Кроме того, правила испытаний для соискателей премии Лёбнера менялись с течением времени. Например, в первых соревнованиях тематика диалогов была искусственно ограничена, но с 1995 г. стали применяться беседы на произвольные темы. С 2007 г. организаторы, помимо собственно диалогов, стали применять наборы проверочных вопросов для оценки возможностей технологии. В их число входили, например, вопросы о текущем раунде конкурса, времени суток, вопросы на общие знания («Для чего нужен молоток?»), вопросы на сравнение («Что быстрее: поезд или самолёт?»), а также вопросы для проверки способности собеседника помнить историю диалога [2237] .

2237

Rules for Loebner Prize 2007 (2007) // https://web.archive.org/web/20120219114233/http://www.loebner.net/Prizef/2007_Contest/Rules.html

Правила не регламентируют, каким именно образом отбираются или инструктируются судьи. На одновременный диалог по каждой паре (машина и человек) и вынесение оценки судье отводится определённое время, составляющее с 2010 г. 25 минут. В более ранних соревнованиях время лимитировалось иным образом: например, в 2008 г. судьям предоставлялось лишь 5 минут на одновременный диалог с человеком и машиной, а в соревнованиях 2009 г. судьям отводилось по 5 минут на последовательный диалог с каждым из двух испытуемых и ещё 10 минут на изучение ответов и вынесение оценки [2238] ^, [2239] ^, [2240] ^, [2241] ^, [2242] ^, [2243] ^, [2244] .

2238

Loebner Prize 2004 Rules (2004) // https://web.archive.org/web/20130616214306/http://www.loebner.net/Prizef/2004_Contest/2004Rules.html

2239

Loebner Prize 2005 $3000 and a Bronze Medal (2005) // https://web.archive.org/web/20050519085947/http://www.loebner.net/Prizef/2005_Contest/2005_Rules.txt

2240

2006 Loebner Prize competition will be held Sunday, 17 September 2006 at Torrington Theater, University College, London (2006) // https://web.archive.org/web/20081119161913/http://www.loebner.net/Prizef/2006_Contest/2006_Rules.txt

2241

Rules for Loebner Prize 2007 (2007) // https://web.archive.org/web/20120219114233/http://www.loebner.net/Prizef/2007_Contest/Rules.html

2242

Loebner Prize 2009 US$3000 and a Bronze Annual Medal (2009) // https://web.archive.org/web/20120708013756/http://loebner.net/Prizef/LP_2009.html

2243

Loebner Prize for Artificial Intelligence “The First Turing Test” 2010 Competition (2010) // https://web.archive.org/web/20120712005759/http://www.loebner.net/Prizef/2010_Contest/Loebner_Prize_Rules_2010.html

2244

Warwick K., Shah H. (2016). Turing’s Imitation Game. Conversations with the Unknown. Cambridge Univesity Press // https://www.google.ru/books?id=nMbxDAAAQBAJ

В

принципе, при достаточной неразборчивости «прохождением теста Тьюринга» можно объявить всё что угодно. Например, в 2005 г. текст под заголовком Rooter: A Methodology for the Typical Unification of Access Points and Redundancy, чуть больше чем полностью состоящий из псевдонаучной белиберды, сгенерированной программой SCIgen, был принят в качестве нерецензируемого документа на Всемирную мультиконференцию 2005 г. по систематике, кибернетике и информатике (WMSCI), и авторам было предложено выступить на самой конференции [2245] .

2245

Kelly-Bootle S. (2005). Call That Gibberish?: Detecting the real from the fake is getting harder / Queue, July 2005 // https://doi.org/10.1145/1080862.1080884

Известный российский биоинформатик Михаил Гельфанд перевёл этот текст на русский язык (используя в качестве помощника систему машинного перевода «ЭТАП-3») и разослал его в целый ряд периодических изданий из списка Высшей аттестационной комиссии (ВАК). В итоге «Журнал научных публикаций аспирантов и докторантов» принял к публикации прекрасную статью под названием «Корчеватель: алгоритм типичной унификации точек доступа и избыточности», в которой отношение сигнал/шум измерялось в нанометрах, а время — в цилиндрах [2246] . Чем вам не «прохождение теста Тьюринга»? Как тебе такое, Илон Маск?

2246

Якутенко И. (2009). Слегка упорядоченные размышления о науке, религии и чайниках. Михаил Гельфанд о «Корчевателях», креационизме и ситуации в российской науке / Lenta.ru, 18 июня 2009 // https://lenta.ru/articles/2009/06/18/gelfand/

Многие учёные изначально относились к лёбнеровским и другим подобным соревнованиям с изрядной долей скепсиса. Лимит времени существенно ограничивает возможности судей, которые вдобавок часто не являются экспертами. Используемые ботами остроумные фразы-заготовки могут легко ввести в заблуждение непрофессионала, не замечающего главного — собеседник не сотрудничает, что в тесте Тьюринга может означать только одно: перед вами бот.

В 1995 г., под впечатлением от лёбнеровских соревнований первых лет, Марвин Минский даже предложил премию любому, кто сможет остановить их дальнейшее проведение [2247] . На что Лёбнер резонно заметил, что это предложение делает Минского в некотором роде соспонсором премии [2248] .

2247

Minsky M. (1995). Annual Minsky Loebner Prize Revocation Prize 1995 Announcement / comp.ai, comp.ai.philosophy, 3 Mar 1995 // http://science.slc.edu/~jmarshall/courses/spring/2009/artificial-minds/notes/week08/minsky_prize.pdf

2248

Home Page of The Loebner Prize--“The First Turing Test” (2001) // http://www.thocp.net/reference/artificial_intelligence/Loebner%20Prize%20Home%20Page.htm

Большая часть соревнований чат-ботов (и самих чат-ботов) ориентирована на английский язык, однако интересные проекты существуют и для русского языка.

Чат-бот «Соня Гусева», в соответствии с идеями «Жени Густмана» притворяющийся четырнадцатилетней девочкой, обхитрил семерых из пятнадцати экспертов и занял первое место в конкурсе «Тест Тьюринга на русском языке» на Startup Village 2015 в Сколково, организованном компанией «Наносемантика». В соревновании участвовало 69 команд создателей ботов. «Соня Гусева» с большим отрывом обошла серебряного и бронзового призёров: «Сократа» и «Лиску Лисичкину», которые смогли ввести в заблуждение 24 и 19% от общего числа экспертов соответственно (против 47% у «Сони») [2249] . Создатель бота, выпускник Университета ИТМО Иван Голубев, позже стал руководителем проектов компании Just AI — создателя одноимённой платформы для разработки чат-ботов и одного из лидеров российского рынка диалоговых систем.

2249

Пушкаш А. (2015). Чатбот выпускника Университета ИТМО стал лучшим в конкурсе «Тест Тьюринга» / ITMO.NEWS, 24 Июня 2015 // https://news.itmo.ru/ru/archive/archive2/news/4916/

6.3.4.2 Смысл теста Тьюринга

Наблюдая за публичными рассуждениями журналистов и публики о тесте Тьюринга и об успехах современных чат-ботов, хочется обратиться к истинному смыслу этой процедуры, вложенному в неё автором. Тест Тьюринга нужно рассматривать в контексте других его идей и исследований. Одной из важных концепций, созданных Тьюрингом, стала концепция эквивалентности двух машин (также называемая «слабой эквивалентностью» [weak equivalence]): если машина A может эмулировать работу машины B, а машина B может эмулировать работу машины A, то эти машины являются эквивалентными (или, как принято говорить сегодня, тьюринг-эквивалентными). Идея «игры в имитацию» заключается в том, что машина обладает интеллектом в том случае, если она может эмулировать естественный интеллект [2250] . Принципиальная возможность такой эмуляции называется тезисом о симуляции [Simulation thesis], этот тезис является более сильной версией тезиса Чёрча — Тьюринга [2251] . Ввиду этого тест Тьюринга в действительности имеет весьма опосредованное отношение к чат-ботам: естественный язык в нём используется лишь потому, что он является символьной системой, при помощи которой может быть сформулировано условие интеллектуальной задачи. Вообще, при помощи естественного языка можно сформулировать условие любой «эффективно вычислимой» задачи, ведь при помощи естественного языка можно описать формализм машины Тьюринга или лямбда-исчисление Чёрча.

2250

Dawson M. R. W. (2013). Weak Equivalence and the Turing Test / Dawson M. R. W. (2013). Mind, Body, World: Foundations of Cognitive Science. Athabasca University Press // https://books.google.ru/books?id=l8D0llrudVMC

2251

Copeland B. J. (2017) The Church-Turing Thesis / Stanford Encyclopedia of Philosophy // https://plato.stanford.edu/entries/church-turing/#SimuThes