Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Ещё в юности Уолтер познакомился с работами Ивана Павлова и его учеников. Влияние взглядов Павлова ясно прослеживается в дальнейших исследованиях Уолтера. Кроме того, он посетил лабораторию Ханса Бергера и позже сконструировал собственные улучшенные версии электроэнцефалографа, благодаря которым получил ряд важных научных и медицинских результатов [1205] . Сочетание интересов к изучению поведения живых существ, к электрической активности мозга и к электротехнике было весьма удачным для того, чтобы внести своё имя в список первопроходцев новой междисциплинарной области исследований.

1205

Boden M. A. (2006). Grey Walter’s Anticipatory Tortoises / The Rutherford Journal, Vol. 2, 2006-2007 // http://www.rutherfordjournal.org/article020101.html

Весной 1948 г. Уолтер начал работу над конструкцией «кибернетической черепахи». Первые экземпляры, получившие имена Элмер и Элси, были завершены к Рождеству 1949 г. Эти имена Грей составил из акронимов: ELectro MEchanical Robots, Light Sensitive with Internal and External stability [чувствительные к свету электромеханические роботы с внешней и внутренней стабильностью]. Уолтер считал Элмера и Элси представителями нового вида — Machina speculatrix [механизм изучающий]. По аналогии со своими машинами Уолтер присвоил «мыши» Шеннона видовое обозначение Machina labyrinthia, а гомеостату Эшби — Machina sopora [механизм спящий], подчёркивая постоянное стремление гомеостата к покою.

Каждая черепашка Уолтера двигалась на трёх колёсах, приводимых

в движение двумя электромоторами, один из которых отвечал за передвижение, а второй — за рулевое управление. «Мозг» машины состоял из двух электронных ламп, которые, по словам Уолтера, служили эквивалентами двух нейронов. Машины были оснащены фотоэлементами, выполнявшими роль источника обратной связи. Обнаружив свет, черепашка двигалась к его источнику, но при превышении определённой яркости отходила назад. Также черепашки были снабжены ходовыми огнями. Изначально они были предназначены для того, чтобы сообщать наблюдателям о процессах, происходящих в «электронном мозге» машины. Но быстро выяснилось, что наличие собственного источника света порождало довольно интересные последствия. Если черепашка замечала себя в зеркале, то она начинала приближаться к изображению, но когда свет становился слишком ярким, то она начинала отходить. Если две черепашки находились в одной комнате и видели огни друг друга, то они тоже сначала начинали сближаться, но, как только оказывались слишком близко, отворачивали и расходились. Уолтер, любивший биологические аналогии, назвал это брачным танцем.

Если черепашка сталкивалась с препятствием, срабатывал датчик нажатия, который заставлял машину изменить направление движения. Когда заряд аккумулятора черепашки подходил к концу, она самостоятельно отправлялась на подзарядку. В общем, её поведение выдавало в ней предка современных роботов-пылесосов. Поведение Элмера и Элси было полностью основано на заложенных в них «инстинктах», но для Уолтера это был только первый шаг в его экспериментах. Следующей «ступенью эволюции» стало появление Machina docilis [механизм обучаемый]. Идея заключалась в том, чтобы реализовать в машинах механизм формирования условных рефлексов. Там, где Павлов использовал собак, еду и звуки (а иногда и свет), Уолтер решил попытать счастья с кибернетическими черепахами, светом и свистком. «Мозгом» нового вида черепашек была схема CORA (COnditioned Reflex Analog, аналог условных рефлексов), распознававшая повторяющееся поступление одновременных сигналов по разным каналам. Фиксируя определённое количество повторений, CORA формировала связь стимула с результирующим поведением, что Уолтер описывал как аналог формирования условного рефлекса. Таким образом, черепашки обучались воспринимать звук свистка как свет и двигаться на свист даже при отсутствии света. CORA могла как выучить новое поведение, так и забыть его (т. е. если оператор «дразнил» черепашку, не включая свет при звуке свистка, то CORA вскоре отменяла установленную связь между событиями) [1206] ^, [1207] ^, [1208] .

1206

Marsh A. (2020). Meet the Roomba’s Ancestor: The Cybernetic Tortoise / IEEE Spectrum, 28 Feb 2020 // https://spectrum.ieee.org/tech-history/space-age/meet-roombas-ancestor-cybernetic-tortoise

1207

Марш А. (2020). Познакомьтесь с кибернетической черепахой, предшественником Roomba / Пер. с англ. Голованов А. / Хабр, 24 марта 2020 // https://habr.com/ru/post/493482/

1208

Pickering A. (2010). The cybernetic brain. Sketches of another future. The University of Chicago Press // http://www.arise.mae.usp.br/wp-content/uploads/2018/03/Andrew-Pickering-Cybernetic-Brain_Cap.3.pdf

Демонстрация подобных устройств производила большое впечатление на современников, но необходимость менять аппаратное устройство машин для того, чтобы опробовать новые модели, существенно замедляла прогресс в области создания самообучающихся устройств. Поэтому некоторые исследователи решили прислушаться к совету Тьюринга и организовать эксперименты при помощи универсальных вычислительных машин.

В 1954 г. Бельмонт Фарли и Уэсли Кларк из MIT осуществили первые симуляции нейронных сетей при помощи цифрового компьютера. Фарли и Кларк смогли обучить хеббовские сети (т. е. сети, обучение которых производится в соответствии с правилом Хебба), содержащие до 128 нейронов, для распознавания простых паттернов [1209] . В ходе экспериментов они обнаружили, что случайное удаление по крайней мере до 10% нейронов в обученной сети не влияет на её способность успешно выполнять стоящую перед ней задачу [1210] ^, [1211] ^, [1212] . Это свойство искусственной нейронной сети напоминало способность мозга до некоторой степени переносить ущерб, причинённый хирургической операцией, несчастным случаем или болезнью.

1209

^* Паттерн (от англ. pattern — узор, шаблон, образец, схема) здесь часто означает образ, шаблон, повторяющийся элемент.

1210

Gabbay D., Woods J., Thagard P. (2006). Philosophy of Psychology and Cognitive Science. Elsevier Science // https://books.google.ru/books?id=Lp93PtrvM0MC

1211

Farley B., Clark W. (1954). Simulation of self-organizing systems by digital computer / Transactions of the IRE Professional Group on Information Theory, Vol. 4 (4), pp. 76—84 // https://doi.org/10.1109/tit.1954.1057468

1212

Clark W., Farley B. (1954). Generalization of pattern recognition in a self-organizing system / Proceedings of the March 1-3, 1955, western joint computer conference, pp. 86—91 //https://doi.org/10.1145/1455292.1455309

В 1955–1956 гг. группа из исследовательской лаборатории IBM в Покипси (Нью-Йорк, США) под руководством Натаниэля Рочестера провела ряд вычислительных экспериментов с хеббовскими сетями, используя машину IBM 704, при этом размер сетей доходил до 512 нейронов. В ходе этих экспериментов было подтверждено формирование клеточных ансамблей в процессе хеббовского обучения [1213] .

4.4.5 Перцептрон Розенблатта

1213

Rochester N., Holland J., Haibt L., Duda W. (1956). Tests on a cell assembly theory of the action of the brain, using a large digital computer. IEEE Transactions on Information Theory, 2(3), 80–93 // https://doi.org/10.1109/tit.1956.1056810

Закономерным итогом ранних теоретических работ, а также первых экспериментов в области искусственных нейронных сетей стало появление перцептрона (perceptron, в русскоязычной литературе иногда используется альтернативное написание этого термина — «персептрон») — модели искусственной нейронной сети, опыты с которой были начаты в 1957 г. под руководством Фрэнка Розенблатта в Авиационной лаборатории Корнелла. Перцептроны Розенблатта отличались лишь в некоторых деталях от нейронных сетей, предложенных ранее Фарли и Кларком, а также рядом британских исследователей, таких как Реймонд Бёрл, Уилфред Тейлор и Альберт Аттли.

Вклад Розенблатта заключался в развитии математического аппарата теории нейронных сетей, а также в обширных экспериментальных исследованиях в этой области. Именно Розенблатт, стремясь подчеркнуть особую важность связей между нейронами, изобрёл термин «коннекционизм», используемый сегодня для обозначения подхода в области искусственного интеллекта (а также когнитивистики, нейробиологии, психологии и философии сознания), в рамках которого мыслительные или поведенческие явления моделируются при помощи процессов, происходящих в сетях, состоящих из связанных между собой простых элементов (введённое позже более общее понятие «параллельная распределённая обработка» отражает тот факт, что в искусственных нейронных сетях и подобных им моделях большое количество относительно простых процессоров работает параллельно, и то, что сети хранят информацию распределённым образом).

Розенблатт разделил нейронные сети на простые двухслойные (один слой для ввода, а второй для вывода; такой перцептрон он назвал ?-перцептроном) и многослойные сети (с одним или несколькими промежуточными слоями). Он обобщил тип обучающей процедуры, использованной Фарли и Кларком при обучении двухслойных сетей, таким образом, чтобы её можно было применять и к многослойным сетям [1214] .

Биография Розенблатта заслуживает подробного изложения.

Фрэнк Розенблатт родился 11 июля 1928 г. в городке Нью-Рошелле на юго-востоке штата Нью-Йорк. Основанный в 1688 г. гугенотами, бежавшими из Франции из-за религиозных преследований, город получил своё название в честь Ла-Рошели, откуда происходили многие колонисты.

1214

Gabbay D., Woods J., Thagard P. (2006). Philosophy of Psychology and Cognitive Science. Elsevier Science // https://books.google.ru/books?id=Lp93PtrvM0MC

Поэт Джим Монтегю запечатлел образ Нью-Рошелла того времени в стихотворении «Queen City of the Sound» (1926) [1215] . В начале 1930-х гг. Нью-Рошелл был лидером по среднедушевым доходам населения в штате Нью-Йорк и занимал по этому показателю третье место в стране [1216] .

Отец Фрэнка, Фрэнк Фердинанд Розенблатт, происходил из местечка Лабунь (ныне — Хмельницкая область Украины), находившегося на территории Российской империи. В юности Фрэнк Фердинанд участвовал в революционной деятельности и иммигрировал в США из-за угрозы ареста [1217] . Позже он стал известным экономистом и социологом, доктором Колумбийского университета, автором ряда научных трудов (например, фундаментального исследования по истории чартистского движения), редактором рабочих периодических изданий на идише и руководителем левой еврейской рабочей организации Arbeter Ring (Workmen’s Circle, «Рабочий кружок»). После Первой мировой войны Фрэнк Фердинанд участвовал в качестве консультанта в восстановлении разрушенной войной экономики Австрии, занимал пост исполнительного директора Объединённого распределительного комитета американских фондов помощи евреям, пострадавшим от войны (American Jewish Joint Distribution Committee, «Джойнт»), а также основал небольшое издательство Frank-Maurice Inc. [1218] ^, [1219] В апреле 1919 г. Розенблатт-старший занимался распределением гуманитарной помощи в Сибири и на Дальнем Востоке. Он пытался добиться прекращения еврейских погромов и пропаганды антисемитизма и, вопреки инструкциям «Джойнта», был вынужден неоднократно конфликтовать с американскими представителями в Сибири — дипломатами, военными, руководителями миссии Красного Креста, поддерживавшими правительство Колчака. Так, например, телеграмма Розенблатта в Нью-Йорк о еврейском погроме в Екатеринбурге, проведённом казаками, вызвала гнев генерального консула США в Омске Эрнеста Ллойда Харриса, который обвинил его в искажении фактов [1220] . Фрэнк Фердинанд Розенблатт скоропостижно скончался 7 ноября 1927 г., за восемь месяцев до рождения своего младшего сына.

1215

Davis B. (2012). New Rochelle. Arcadia Publishing // https://books.google.ru/books?id=v5o78L0q_wQC

1216

Kennedy K. (2016). Lasting Impact: One Team, One Season. What Happens When Our Sons Play Football. Time Incorporated Books // https://books.google.ru/books?id=qMi_DAAAQBAJ

1217

YIVO Institute of Jewish Research (2013). Frank Rosenblatt / Guide to the YIVO archives // http://www.yivoarchives.org/index.php?p=collections/controlcard&id=33295

1218

Goldsmith S. A. (1927). Dr. Frank F. Rosenblatt / The Jewish Social Service Quarterly. Stanford. The Berman Jewish Policy Archive // https://www.jewishdatabank.org/search-results/publication/12586

1219

Coblentz S., Elliot J., Burgess S. (1993). Adventures of a Freelancer: The Literary Exploits and Autobiography of Stanton A. Coblentz. Borgo Press // https://books.google.ru/books?id=Bd9R-hcy7iEC

1220

Бейзер М. (2014). Трудности «дистанционного управления» в истории «Джойнта» на примере его работы в России — СССР / Труды по еврейской истории и культуре. Материалы XXI ежегодной конференции по иудаике, вып. 50 //.pdf

Мать Фрэнка, Кэтрин Розенблатт, была социальным работником. Старший брат Фрэнка — Морис Розенблатт, в будущем известный американский политик, лоббист и консультант сенатора Ральфа Фландерса. Именно благодаря усилиям Мориса удалось сместить сенатора Джозефа Маккарти с поста главы сенатских комитетов и прервать мрачную эпоху маккартизма [1221] ^, [1222] ^, [1223] .

После окончания Высшей школы наук в Бронксе (Bronx High School of Science) [1224] в 1946 г. Фрэнк поступил в Корнеллский университет, где в 1950 г. получил степень бакалавра наук, а через шесть лет — степень доктора философии, защитив диссертацию «Расчёт K-коэффициента и пробное применение новой техники многомерного анализа» (The K-coefficient Design and Trial Application of a New Technique for Multivariate Analysis). После окончания учёбы Фрэнк стал сотрудником Авиационной лаборатории при Корнеллском университете и через некоторое время возглавил там секцию когнитивных систем [1225] .

1221

Scates S. (2006). Maurice Rosenblatt and the Fall of Joseph McCarthy. University of Washington Press // https://books.google.ru/books?id=8y53AAAAMAAJ

1222

Schudel M. (2005). Lobbyist Maurice Rosenblatt Dies / The Washington Post, August 15, 2005 // https://www.washingtonpost.com/archive/local/2005/08/15/lobbyist-maurice-rosenblatt-dies/572aad97-92b3-42fa-9e32-c0636e12be99/

1223

Dorrien G. (2018). Breaking White Supremacy: Martin Luther King Jr. and the Black Social Gospel. Yale University Press // https://books.google.ru/books?id=rjlFDwAAQBAJ

1224

Sejnowski T. (2018). The Deep Learning Revolution. New York, NY, USA: MIT Press // https://books.google.ru/books?id=9xZxDwAAQBAJ

1225

Emlen S. T., Howland H. C., O’Brien R. D. (1971). Frank Rosenblatt, July 11, 1928 — July 11, 1971: Cornell University Faculty Memorial Statement // https://ecommons.cornell.edu/bitstream/handle/1813/18965/Rosenblatt_Frank_1971.pdf