Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Попробуем разобраться в причинах, по которым для одних игр удалось быстро найти методы, позволяющие машинам играть достаточно сильно, в то время как в других они надолго задержались в статусе новичков. Например, очень часто в качестве причины того, что успехи машин в го гораздо скромнее, чем в шахматах, приводилось сравнение количества позиций и возможных партий в шахматах и го. Многих удовлетворяло это объяснение, поскольку чудовищные числа 10170 или 10360 буквально гипнотизировали людей и подавляли их волю к критическому мышлению. Между тем довольно очевидно, что размер поискового пространства игры не зависит от того, кто в неё играет — человек или компьютер. Кроме того, несмотря на то что успехи машин в играх были тем скромнее, чем больше было поисковое пространство этих игр, это правило всё-таки имело некоторые исключения. Например, в игре «отелло» (её также иногда называют «реверси») программы достигли уровня игры лучших людей-игроков на границе 1970–1980-х гг.: в 1980 г. программа Moor, созданная Майком Ривом, Майклом Стином и Дэвидом Леви, смогла выиграть одну из шести партий в матче с чемпионом мира Хироси Иноуэ [905] . Количество возможных позиций в «отелло» составляет [906] порядка 1028,
905
Muller K., Schaeffer J. (2018). Man Vs. Machine: Challenging Human Supremacy at Chess. New York, NY, USA: Russell Enterprises, Incorporated // https://books.google.ru/books?id=0GV2DwAAQBAJ
906
Victor Allis (1994). Searching for Solutions in Games and Artificial Intelligence (PDF). Ph. D. Thesis, University of Limburg, Maastricht, The Netherlands // http://fragrieu.free.fr/SearchingForSolutions.pdf
907
Tesauro G. (1992). Practical issues in temporal difference learning / Machine Learning, Vol. 8, Iss. 3—4, pp. 257—277 // https:// doi.org/10.1007/BF00992697
В шахматном программировании прогресс на протяжении многих лет был связан с совершенствованием методов оценки позиции и алгоритмов, определяющих приоритетность рассмотрения тех или иных вариантов в игровом дереве. В основе этих методов и алгоритмов были эвристические правила. Задача оценки существенно упрощается, если эту оценку можно разъять на несколько относительно независимых компонентов. Первые шахматные программы независимо оценивали материал, проходные пешки, мобильность и расположение фигур и так далее. Со временем в оценочных функциях увеличивалось количество нелинейных компонентов. Например, «цена» проходных пешек или оценки расположения фигур стали зависеть от фазы игры, со временем появились и нелинейные подходы к оценке материала — добавились компоненты, отвечающие за те или иные сочетания фигур. Усложнение оценочных функций стало возможно не только и не столько потому, что разработчики программ изобрели новые компоненты оценки, а скорее в силу того, что стали доступны масштабные вычислительные эксперименты для подбора значений растущего множества этих компонентов. В XXI в. благодаря дешевизне и доступности высокопроизводительных вычислительных машин стало возможным использование сотен тысяч и даже миллионов партий на сверхкоротких контролях времени для подстройки различных параметров шахматных эвристик. Для решения таких задач появились и общедоступные инструменты. Например, Реми Кулом, автор шахматной программы Crazy Bishop и программы для игры в го — Crazy Stone, создал утилиту CLOP (Confident Local OPtimization, уверенная локальная оптимизация) для оптимизации параметров чёрного ящика в условии наличия шумов (Noisy Black-Box Parameter Optimization). Модифицируя различные параметры вашей программы по результатам множества тестовых игр, CLOP может подобрать значения этих параметров, позволяющие программе играть лучше [908] .
908
Coulom R. (2011). CLOP: Confident Local Optimization for Noisy Black-Box Parameter Tuning // https://www.remi-coulom.fr/CLOP/
Создатели движка Stockfish используют для экспериментов по улучшению своей программы распределённую платформу под названием Fishtest. В вычислительных экспериментах на этой платформе периодически задействовалось свыше 2000 машин с более чем 11 000 вычислительных ядер, что позволяло играть более 10 000 тестовых шахматных партий в минуту. Всего на платформе было осуществлено свыше 110 000 тестов, каждый из которых в среднем включал несколько десятков тысяч партий [909] , [910] . Несмотря на столь внушительное количество тестов, оценочная функция классической версии Stockfish базируется на наборе признаков, изобретённых людьми, хотя «цена» каждого отдельного признака и подобрана в результате автоматизированного оптимизационного процесса. Нетрудно заметить, что успех подобной стратегии во многом зависит от того, насколько удачно было произведено разделение оценки на элементарные компоненты. Поэтому одним из важных барьеров на пути достижения машинами сверхчеловеческого уровня во многих играх стала неспособность людей качественно формализовать методы, применяемые ими при оценке позиции, удачно выделить компоненты этой оценки. По мере развития методов автоматизированной подстройки параметров игровых программ многие исследователи стали задумываться над тем, чтобы автоматизировать также и задачу подбора самого множества параметров. В конце концов, если люди регулярно допускают ошибки в оценке значений тех или иных параметров, то, быть может, они неправильно выбрали и сам их набор? Благодаря созданию программ, способных играть в некоторые игры на сверхчеловеческом уровне, стало ясно, что в ряде случаев цена экспертного человеческого знания не столь уж и велика, — вспомним хотя бы игру гроссмейстера Уолтера Брауна с программой Томпсона в окончании «ферзь против ладьи» или историю со «столетней позицией» Стёрджеса.
909
Stockfish Testing Queue, retrieved 2020-04-25 // http://tests.stockfishchess.org
910
Stockfish Testing Queue, retrieved 2022-01-28 // http://tests.stockfishchess.org
В общем, неудачи в деле создания программ, способных играть в игры с большим поисковым пространством на сверхчеловеческом уровне, по всей видимости, были связаны не с размером поискового пространства как таковым, а скорее с отсутствием методов, способных эффективно оценивать позицию в подобных играх, и неспособностью людей качественно формализовать собственные методы решения этой задачи. Поскольку в отношении второго ожидать существенного прогресса не приходилось, усилия исследователей были в основном направлены на решение первой проблемы. Практически любой человек может отличить на фотографии кошку от собаки, но никто не может в деталях описать алгоритм, который, получив на вход цвет каждого из пикселей цифрового фото, дал бы ответ на вопрос, что на ней изображено: собака или кошка.
Точно так же мастер го, умеющий с одного взгляда дать оценку позиции на доске, не в силах описать набор правил, лежащий в основе произведённой им оценки. Выходит, что человеческий мозг в процессе обучения способен создавать сложные методы анализа информации, хотя часто и не в состоянии их в полной мере осознать. Один из возможных путей решения возникших проблем заключался в том, чтобы выполнить своеобразный разбор на части, реверс-инжиниринг [911] этой способности мозга с целью последующего воспроизведения её в системах искусственного интеллекта. Об этом пути и о его плодах мы подробно поговорим в следующей части.
911
*
4 Нейронные сети и глубокое обучение
Замкнутый морем, сказал: «Пусть земли и воды преградой
Встали, зато небеса — свободны, по ним понесёмся!
Всем пусть владеет Минос, но воздухом он не владеет!»
Молвил — и всею душой предался незнакомому делу.
Новое нечто творит, подбирает он перья рядами,
С малых начав, чтоб за каждым пером шло другое, длиннее, —
Будто неровно росли: всё меньше и меньше длиною, —
Рядом подобным стоят стволы деревенской цевницы:
Ниткой средину у них, основания воском скрепляет.
Перья друг с другом связав, кривизны незаметной им придал
Так, чтобы были они как у птицы…
4.1 Бионика и история изучения мышления
13 сентября 1960 г. в Дейтоне (штат Огайо, США) открылся первый симпозиум по бионике — прикладной науке, сфера деятельности которой находится на границе между биологией и техникой. Цель бионики — применение биологических методов или систем, найденных в природе, для изучения и разработки инженерных систем и новых технологий [912] . Девиз бионики: «Живые прототипы — ключ к новой технике», а на эмблеме изображены скальпель и паяльник, соединённые знаком интеграла.
912
Goujon P. (2001). From Biotechnology to Genomes: The Meaning of the Double Helix. World Scientific Publishing Company // https://books.google.ru/books?id=qRJsTiUAO_AC
Одним из отцов бионики и автором самого термина считается американский военный нейроанатом Джек Стил [913] . Стил был мастером на все руки: медик по образованию, с обширной областью медицинских интересов от физиологии до психиатрии и нейроанатомии, он разбирался также в инженерном деле и электротехнике, увлекался архитектурой, умел управлять самолётом и был остроумным рассказчиком. В рамках своей армейской исследовательской деятельности Стил работал над инженерными приложениями биологических моделей. Под впечатлением от работы Стила писатель-фантаст Мартин Кейдин создал роман «Киборг», по которому в начале 1970-х был снят сериал «Человек на шесть миллионов долларов» (The Six Million Dollar Man) [914] .
913
Kline R. (2015). The Cybernetics Moment: Or Why We Call Our Age the Information Age. Johns Hopkins University Press // https://books.google.ru/books?id=WgPHCQAAQBAJ
914
Mayer J. (2009). Jack Ellwood Steele // http://www.ilasting.com/jacksteele.php
Пионерские работы Стила способствовали оформлению и утверждению новой междисциплинарной науки, название которой, составленное из частей слов «биология» и «электроника» [915] , Стил предложил в августе 1958 г. [916] Впрочем, идея в некотором роде витала в воздухе, и Стил не был одинок в желании заимствовать принципы устройства биологических объектов для решения инженерных задач. В 1950-е гг. другой американский учёный, биофизик Отто Шмитт, предложил использовать термин «биомиметика» (biomimetics, от латинских слов bios — жизнь и mimesis — подражание). Поскольку в поп-культуре слово bionic обычно ассоциируется со сверхчеловеческими способностями, в англоязычной среде сегодня чаще используют вариант Шмитта, а иногда даже термин «биомимикрия» [biomimicry], который впервые появился в работах популяризатора науки Жанин Беньюс, посвятившей этому направлению целых шесть книг [917] .
915
Bionics / Online Ethymology Dictionary // https://www.etymonline.com/word/bionics
916
Goujon P. (2001). From Biotechnology to Genomes: The Meaning of the Double Helix. World Scientific Publishing Company // https://books.google.ru/books?id=qRJsTiUAO_AC
917
Meet the Board of Directors: Janine Benyus / Biomimicry Institute // https://biomimicry.org/board/
Термин «биомиметика» впервые появляется в словаре Мерриам — Уэбстера в 1974 г., где определяется как «изучение строения, функций и способов формирования структур и веществ биологического происхождения (таких как ферменты или шёлк), а также биологических процессов и механизмов (например, синтеза белков или фотосинтеза) — главным образом для создания схожих продуктов искусственными методами, подобными природным» [918] .
Многократное «переизобретение» бионики, по всей видимости, было связано с тем, что это направление является для развития технологий весьма древней и органической частью — при отсутствии собственного эффективного решения технология часто пытается оттолкнуться от существующего в природе «рабочего прототипа». По мере роста могущества науки и техники мы замахиваемся на копирование принципов работы всё более и более сложных биологических объектов. Озаботившись идеей создания летательного аппарата, великий Леонардо да Винчи посвятил много времени изучению полёта птиц, о чём нам известно из его записей и чертежей, но, к сожалению, задача оказалась непосильной для технологий XV–XVI вв. Однако спустя четыре столетия французский изобретатель Клеман Адер, основываясь на данных Луи Пьера Мойяра о полёте птиц, а также на собственных исследованиях принципов полёта различных живых существ — от насекомых до летучих мышей, построил летательный аппарат «Эол» (Eole), ставший, по всей видимости, первым в истории самолётом, осуществившим взлёт за счёт тяги собственной силовой установки. Девятого октября 1890 г. оснащённый паровым двигателем «Эол», похожий на гигантскую летучую мышь, смог оторваться от земли и пролетел около 50 метров [919] , [920] , [921] .
918
Jacobs S. (2014). Biomimetics: A simple foundation will lead to new insight about process. International Journal of Design & Nature and Ecodynamics, Vol. 9, pp. 83—94 // https://doi.org/10.2495/DNE-V9-N2-83-94.
919
Hallion R. (2003). Taking Flight: Inventing the Aerial Age, from Antiquity Through the First World War. Oxford University Press, USA // https://books.google.ru/books?id=YRqV_PayIKIC
920
Opdycke L. (1999). French Aeroplanes Before the Great War. Schiffer Pub // https://books.google.ru/books?id=qAAKAQAAMAAJ
921
Crouch T. D. (2019). Ader Eole / Encyclopaedia Britannica // https://www.britannica.com/topic/Ader-Eole