Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Первые нейрокомпьютеры были способны решать несложные задачи по распознаванию образов, успешно не только определяя геометрические фигуры и символы, но и, например, отличая фотографии женщин от фотографий мужчин.
К сожалению, в большинстве случаев до нас не дошли ни наборы данных, на которых производилось тестирование этих устройств, ни полученные значения метрик точности распознавания, однако, основываясь на общих представлениях о возможностях столь небольших по современным меркам моделей, можно предположить, что результаты были довольно скромными. В сборнике Naval Research Reviews за 1960 г. говорится, что при распознавании символов перцептрон Розенблатта правильно распознавал буквы в 85% случаев [1239] .
1239
United States. Office of Naval Research (1960). Research device recognizes objects or patterns / Naval Research Reviews, Volume 13, 4-Feb-1960 // https://books.google.ru/books?id=ve9cbfGDaywC
4.4.7 Нейросетевые исследования 1960-х годов
Успехи Розенблатта привели к возникновению проектов, направленных на улучшение достигнутых им результатов. В Стэнфордском исследовательском институте (Stanford Research Institute, SRI) в Менло-парке (штат Калифорния) Чарльз Розен возглавил лабораторию, которая пыталась вытравить микроскопические вакуумные трубки на твердотельной подложке. Розен предположил, что схемы, основанные на таких трубках, могут воплощать принципы, изучаемые Розенблаттом, поэтому институт нанял его в качестве консультанта. В 1960 г. команда из лаборатории Розена под руководством учёного с говорящей фамилией, Альфреда Брейна [1240] , почти завершила сборку небольшой нейронной сети под названием MINOS [1241] . Брейн понимал, что компьютерное моделирование нейронных сетей было слишком медленным для практического применения, поэтому принял решение о создании специализированного вычислительного устройства. Элементной базой MINOS стали разработанные Брейном магнитные устройства, позволяющие изменять веса связей нейронной сети.
1240
* Brain (англ.) — мозг.
1241
** В греческой мифологии Минос был сыном Зевса и Европы и властителем Крита, а после смерти стал одним из трёх судей в подземном мире.
Розенблатт заинтересовался возможностью замены громоздких потенциометров с электромоторами на магнитные устройства Брейна, поэтому охотно подключился к проекту SRI.
В 1961 г. команда Брейна начала работу над созданием нового большого нейросетевого устройства под названием MINOS II. В том же году Нильс Нильссон по приглашению Розена присоединился к Группе по самообучающимся машинам (Learning Machines Group), а затем возглавил её.
С 1958 по 1967 г. работу над системами MINOS финансировал в первую очередь Корпус войск связи Армии США. Целью проекта было «произвести научное исследование и экспериментальное изучение методов и характеристик оборудования, пригодного для практического применения в целях графической обработки данных для военных нужд». Основным направлением проекта было автоматическое распознавание символов на военных картах. Также были предприняты попытки применения разработанных устройств для других задач, таких как распознавание военных транспортных средств (например, танков) на аэрофотоснимках и распознавание рукописного текста.
На первом этапе обработки в MINOS II входное изображение дублировалось сто раз с помощью матрицы пластиковых линз размером 10 x 10. Каждая из копий изображения пропускалась через собственную оптическую маску (пластинку, состоящую из прозрачных и непрозрачных областей) для обнаружения различных признаков, а затем свет, прошедший через маску, регистрировался фотоэлементом и сравнивался с пороговым значением. Результатом был набор из ста двоичных значений. Эти значения были входными данными для ассоциативного слоя, представлявшего собой набор из 63 искусственных нейронов [1242] .
1242
Nilsson N. J. (2009). The Quest for Artificial Intelligence. Cambridge University Press // https://books.google.ru/books?id=nUJdAAAAQBAJ
Каждому из ста входных значений соответствовал один из ста переменных магнитных весов; 63 двоичных выхода из этих нейронов затем использовались для принятия решения о принадлежности изображения к одной из категорий. В зависимости от решаемой задачи это делалось разными способами. Например, при распознавании условных обозначений на картах нейроны организовывались в девять «комитетов» по семь нейронов, при этом каждый «комитет» соответствовал одному из девяти распознаваемых классов символов [1243] . При использовании набора из 64 классов в 63-мерном пространстве, каждое из измерений в котором соответствовало ответу одного из нейронов, располагались 64 равноудалённые друг от друга точки, а нейронная сеть обучалась таким образом, чтобы точка, соответствующая её выходным значениям, была расположена ближе к точке, соответствующей верному классу, чем к точкам, соответствующим другим классам.
1243
Huber W. A. (1968). Graphical data processing / Pattern Identification by Man and Machine. Proceedings of a Planning Conference Held at Texas Christian University, Fort Worth, Texas, 12-13 December, 1968 // https://books.google.ru/books?id=vaQlAAAAMAAJ
В
В течение 1960-х гг. Группа по самообучающимся машинам исследовала множество различных нейросетевых архитектур и процедур обучения. По мере того как компьютеры становились всё более доступными и мощными, всё чаще использовалась симуляция сетей на цифровых машинах. Комбинация новой машины SDS 910 и последней версии устройства ввода получила название MINOS III.
1244
Duda R. O., Nilsson N. J. (1965). Calculus of networks of adaptive elements. Proposal for Research SRI No. ESU 65-12R. Proposal Request 1-6-4400 // https://www.sri.com/wp-content/uploads/pdf/1284.pdf
Одним из наиболее успешных результатов, достигнутых при помощи этой системы, стало автоматическое распознавание текстов программ на фортране, написанных от руки печатными буквами. Над этой задачей работали Джон Мансон, Питер Харт и Ричард Дуда. Нейросетевая часть MINOS III использовалась для оценки гипотез относительно каждого из распознаваемых символов. Например, некоторый символ, по мнению сети, со степенью уверенности в 90% является символом «D», а со степенью уверенности 10% — символом «O». Однако, выбирая каждый раз гипотезу с наибольшим значением степени уверенности, в итоге можно получить строку, в которой будет содержаться одна или несколько ошибок, поскольку точность распознавания всё же не была идеальной. С увеличением количества символов в строке вероятность того, что в неё закрадётся хотя бы одна ошибка, быстро растёт. Когда человек читает текст, написанный на бумаге, он может угадать плохо читаемый символ из контекста. Например, если в обычном тексте в слове «ЗДРА?СТВУЙТЕ» в отношении пятого символа лидирует гипотеза, что это цифра 8, и лишь затем следует гипотеза, что это буква В, то мы всё-таки понимаем из контекста, что вариант с «В» более предпочтителен.
Исследователи из SRI использовали для решения этой проблемы метод, называемый динамическим программированием. Использование этого метода позволяло рассчитать степень уверенности для строки в целом, основываясь на статистических свойствах распознаваемых текстов. Этот подход применяется в задачах распознавания текста и в наши дни. В результате исследователям удалось достичь точности распознавания в 98% для большого набора рукописных текстов, не использовавшихся в процессе обучения модели. Распознавание с таким уровнем точности было значительным достижением для 1960-х гг.
Расширяя круг интересов за пределы нейронных сетей, Группа по самообучающимся машинам в конечном итоге стала Центром искусственного интеллекта SRI, который и сегодня продолжает оставаться одним из ведущих исследовательских центров в области искусственного интеллекта [1245] . В конце 1960-х гг. Группа из SRI перенесла фокус своих исследований в сферу мобильной робототехники. Появившийся вскоре робот Шейки (Shakey) ознаменовал собой начало этого нового направления. Такое имя робот получил из-за специфического подрагивания [1246] , которое демонстрировал во время работы. Шейки стал первым универсальным мобильным роботом, сочетавшим в себе компьютерное зрение, планирование и выполнение движения [1247] . Впрочем, система зрения Шейки не имела никакого отношения к перцептронам — в её основу было положено преобразование Хафа [Hough Transform] [1248] — алгоритм, применяемый для выделения отдельных геометрических элементов изображения.
1245
Nilsson N. J. (2009). The Quest for Artificial Intelligence. Cambridge University Press // https://books.google.ru/books?id=nUJdAAAAQBAJ
1246
* Shake (англ.) — дрожь.
1247
Fan S. (2019). Will AI Replace Us: A Primer for the 21st Century. Volume 0 of The Big Idea Series. Thames & Hudson // https://books.google.ru/books?id=5iapDwAAQBAJ
1248
Keay A., Silicon Valley Robotics (2017). Shakey is first robot to receive IEEE Milestone award / Robohub, February 28, 2017 // https://robohub.org/shakey-is-first-robot-to-receive-ieee-milestone-award/
4.4.8 Теоретические результаты
Итогом работы Розенблатта и его коллег, помимо практических, стал ряд важных теоретических результатов. К их числу относятся, в частности, формулировка и доказательство теоремы о сходимости перцептрона. Как и теореме Цермело, теореме Розенблатта не слишком повезло, поскольку многие современные источники содержат неверную или избыточную формулировку теоремы. Тем, кто интересуется формальной математической стороной вопроса, я рекомендую небольшое расследование [1249] , проделанное на эту тему Леем Мао, а мы попробуем взглянуть на сформулированную Розенблаттом проблему в более неформальном ключе.
1249
Mao L. (2017). Comprehensive Proof of Perceptron Convergence Theorem // https://leimao.github.io/blog/Perceptron-Convergence-Theorem/