Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

В мае 2016 г. на конференции EmTech Digital в MIT Эндрю Ын, доцент [associate professor] искусственного интеллекта Стэнфордского университета и один из основателей платформы онлайн-обучения Coursera, произнёс слова, позже продублированные в его твиттере и ставшие сегодня крылатыми: «ИИ — это новое электричество» [AI is the new electricity].

Использование человеком электричества поначалу воспринималось как некая второстепенная технология, неспособная быстро и существенно изменить нашу жизнь, отмечает Ын. Сейчас мы знаем, что в действительности электричество поменяло всё. Ын приводит два простых примера неожиданных эффектов, произведённых электричеством: заморозка продуктов изменила всю систему поставок продовольствия, а электродвигатели осуществили революцию практически во всех областях промышленности. Ын считает, что технологии ИИ окажут столь же масштабные воздействия на многие сферы человеческой деятельности [1335] .

1335

Ng A. (2016). Deep Learning in Practice: Speech Recognition and Beyond / MIT Technology Review, May 23, 2016 // https://events.technologyreview.com/video/watch/andrew-ng-deep-learning/

Множество специалистов во всём мире прошли онлайн-курсы Ына по машинному обучению, и авторитет этого учёного, особенно в среде молодых исследователей, чрезвычайно высок. Тематические сообщества в социальных сетях пестрят разнообразными мемами, героем которых является Ын и его знаменитые цитаты, начиная от слов про новое электричество и заканчивая

взятым из его лекции эпическим «Если вы это не понимаете, то не переживайте об этом» [Don’t worry about it if you don’t understand].

Сегодня мы наблюдаем небывалый расцвет технологий машинного обучения, основанных на коннекционистских методах. Новая весна ИИ, которую, быть может, уже пора с полной ответственностью переименовать в лето, затронула множество областей общественной жизни. На протяжении нескольких лет произошли серьёзные прорывы в решении многих задач, традиционно являвшихся сложными для технологий искусственного интеллекта. Вполне осязаемые успехи и быстрый прогресс вызывают у людей множество вопросов. Что могут и чего не могут современные технологии ИИ? Какие проекты реалистичны, а какие — завиральные? Будет ли прогресс и дальше развиваться столь стремительными темпами? Как новая технологическая революция отразится на нашем обществе? С какими рисками мы можем столкнуться в ближайшее время? И наконец, почему всё это происходит именно сейчас? С последнего вопроса мы и начнём попытку размотать этот клубок несчётных «почему».

5.1 Три ключевых фактора успеха

Давно уже сказано, что без революционной теории не может быть и революционного движения, и в настоящее время вряд ли есть надобность доказывать подобную истину.

Владимир Ленин. Задачи русских социал-демократов

Каковы три источника и три составных части революции машинного обучения? Если мы посмотрим на процесс машинного обучения, то обнаружим, что он представляет собой применение к некоторым данным некоторого алгоритма, представленного в виде программы для некоторой машины. Из этой формулы легко вычленить три ключевых фактора успеха: наличие подходящего алгоритма, подходящей машины и подходящего набора данных. Анализ «анатомии» современных систем, успешно решающих задачи распознавания образов или обработки естественного языка, показывает, что создание подобных систем даже в сравнительно недалёком прошлом было просто невозможно по причине недостаточного развития каждого из трёх компонентов: у наших предшественников не было ни подходящих алгоритмов, ни достаточно быстрых машин, ни достаточных объёмов данных. Вряд ли можно всерьёз говорить о заметном влиянии медийных или личностных факторов на приближение или отдаление технологического прорыва в области ИИ — даже если бы Фрэнк Розенблатт каким-то чудом изобрёл современные алгоритмы машинного обучения, то ограничения современных ему технологий всё равно не позволили бы создать подходящую для них вычислительную машину и собрать необходимые объёмы информации для обучения моделей.

Давайте попробуем подробнее взглянуть на то, как за последние несколько десятилетий изменились перечисленные выше компоненты (алгоритмы, машины и данные) и как это привело к революционным достижениям в области машинного обучения. Это позволит нам лучше разобраться, что же именно произошло и на что мы можем рассчитывать в ближайшем будущем в жизненно важных для развития ИИ направлениях.

5.2 Модели и алгоритмы

Великий Метод позволяет распознавать в вещах процессы и использовать их. Он учит ставить вопросы, которые делают возможными действия.

Бертольд Брехт. Ме-ти. Книга перемен [1336]

1336

^* Пер. С. Земляного.

5.2.1 СССР, Фрейд и котики приходят на помощь

1965 год был знаменательным для советской кибернетики не только потому, что в Советский Союз впервые приехал Джон Маккарти с коллегами, но и потому, что именно в этом году в издательстве «Мир» впервые увидел свет перевод на русский язык книги Фрэнка Розенблатта «Принципы нейродинамики». Идеи Розенблатта нашли в среде советских учёных как сторонников, так и критиков. Одним из самых горячих поклонников коннекционизма в СССР стал Алексей Ивахненко, профессор Киевского политехнического института. В 1965 г. Ивахненко уже был признанным учёным. Его книга «Техническая кибернетика» не только выдержала два издания на русском языке, но также была опубликована в английском, немецком, болгарском, польском и румынском переводах. Множество остроумно решённых прикладных задач сделало имя Ивахненко широко известным среди специалистов [1337] , а его научный интерес к самоорганизующимся системам проявился ещё в 1950-е гг.: в 1959 г. Ивахненко успешно собрал и испытал собственную версию перцептрона — машину, получившую название «Альфа» [1338] , по всей видимости в честь ?-перцептрона Розенблатта. С 1963 г. Ивахненко работал под руководством академика Глушкова, с которым его, впрочем, связывали весьма непростые отношения. В 1959 г. Глушков раздражённо писал Ляпунову: «Вышедшая на днях книга Ивахненко „Техническая кибернетика“ содержит ряд грубых ошибок <…> Кроме того, там сделано программное заявление о том, что вычислительные машины имеют для автоматики весьма ограниченное значение и являются чуть ли не уже давно пройденным этапом. Говоря громкие слова о персептроне и самонастраивающихся системах, Ивахненко фактически склонен понимать под ними всё те же экстремальные регуляторы, которыми он занимается уже давно. В приведённой им таблице в качестве примеров самонастраивающихся систем приведён и трактор, и локомотив и т. п. В общем, сделана попытка объявить элементарные самонастраивающиеся системы более высокими кибернетическими устройствами, чем вычислительные машины, которые якобы способны реализовать лишь жёсткие алгоритмы». На фоне конкуренции разных групп исследователей за ресурсы и влияние Глушков обвинял Ивахненко в желании «подмять под себя кибернетику» [1339] .

1337

Католин Л. (1967). Кибернетические путешествия. — М.: Знание // http://informaticslib.ru/books/item/f00/s00/z0000013/st003.shtml

1338

Джура С. Г. (1992). Теория информации в контексте построения нейросетей / Электронный архив Донец. нац. техн. ун-та (г. Донецк) // http://ea.donntu.org:8080/jspui/bitstream/123456789/5218/1/buharest.doc

1339

Глушков В. М. — Ляпунову А. А., 19.XII.1959 г / Музей А. А. Ляпунова // http://lyapunov.vixpo.nsu.ru/?int=VIEW&el=915&templ=VIEW_TYPE

Сложно сказать, было ли в данном случае дело в непонимании Глушковым позиции Ивахненко, в стремлении в жанре полемики создать «соломенное чучело» оппонента, огрубив и доведя до абсурда его взгляды, или же Ивахненко в действительности перегибал палку, мечтая о создании нейроморфных машин, наилучшим образом приспособленных к воплощению коннекционистской парадигмы. Во всяком случае, один из сотрудников Ивахненко, Михаил Шлезингер, в 1960-е гг. работая в Институте кибернетики у Глушкова, активно занимался симуляцией нейронных сетей на цифровой электронной машине «Киев» [1340] , что свидетельствует в пользу

того, что Ивахненко не был радикальным противником цифровых машин. А тот факт, что после перехода Ивахненко под руководство Глушкова работы над нейронными сетями были продолжены, говорит о том, что и Глушков не был радикальным противником коннекционизма. В целом споры коннекционистов и их противников, которых в СССР называли соответственно сторонниками недетерминистического («подхода самоорганизации») и детерминистического подхода, носили, как и на Западе, весьма ожесточённый характер. Резюмируя свою позицию и подводя итоги спорам 1960-х и начала 1970-х гг., Ивахненко писал: «Подход самоорганизации в технической кибернетике открывает новые возможности решения задачи оптимизации сложности математических моделей различных объектов распознавания и управления. Будучи антиподом существующему детерминистическому подходу, самоорганизация является равноправной и необходимой частью комбинированного решения задач технической кибернетики: грубое по простоте решение дают детерминистические методы, а более точное и сложное дополнение принадлежит подходу самоорганизации. Через 10–20 лет индивидуальная вычислительная машина будет доступна каждому. Мы войдём в эпоху тесной связи — симбиоза человека и вычислительной машины. Но готовы ли мы воспользоваться огромными возможностями индивидуальных, национальных и межконтинентальных вычислительных систем? Увы, так называемое математическое обеспечение машин не соответствует нашим потребностям, а мышление исследователей направлено только на развитие детерминистических методов. Исходные идеи об общности метода кибернетики Винера забыты; решения задач становятся всё более специфическими, высоко специализированными, доступными всё более узкому кругу специалистов» [1341] . Удивительно, как Ивахненко удалось угадать важнейшие тренды в развитии вычислительной техники, в этих его строках можно увидеть и грядущее торжество персональных компьютеров, и триумфальное шествие интернета, и даже тенденцию к всё более тесному сращиванию человека с машиной, ярко проступившую в эпоху смартфонов и носимых устройств [wearables].

1340

Католин Л. (1967). Кибернетические путешествия. — М.: Знание // http://informaticslib.ru/books/item/f00/s00/z0000013/st003.shtml

1341

Ивахненко А. Г. (1971). Системы эвристической самоорганизации в технической кибернетике. — Киев: Технiка.

В наши дни советские коннекционисты 1950–1970-х гг. и их проекты в массе своей забыты, даже специалистам мало что скажут имена Автандила Квиташвили, Генриха Отхмезури, Сергея Даяна, В. С. Амирбекяна и других, хотя в своё время эти люди трудились над многослойными (как тогда говорили — многорядными) перцептронами.

Важным результатом, полученным Ивахненко, стало создание и развитие метода группового учёта аргументов (МГУА) — одного из первых в истории алгоритмов глубокого обучения. Уже в начале 1970-х Ивахненко и его коллегам удавалось обучать восьмислойные нейронные сети [1342] ^, [1343] ^, [1344] , в основе которых, правда, лежал иной вид искусственного нейрона, основанного на интерполяционном полиноме Колмогорова — Габора (или, как его иногда называют, полином Вольтерра — Колмогорова — Габора). Метод группового учёта аргументов используется исследователями и в наши дни, хотя занимается им лишь небольшое количество специалистов на территории бывшего СССР и в дальнем зарубежье.

1342

Schmidhuber J. (2015). Deep learning in neural networks: An overview / Neural Networks. Volume 61, January 2015, pp. 85—117 // https://doi.org/10.1016/j.neunet.2014.09.003

1343

Schmidhuber J. (2015). Critique of Paper by “Deep Learning Conspiracy” (Nature 521 p. 436) // http://people.idsia.ch/~juergen/deep-learning-conspiracy.html

1344

Ивахненко А. Г. (1971). Системы эвристической самоорганизации в технической кибернетике. Киев: Технiка.

Некоторые исследователи на Западе примерно в то же время или несколько раньше Ивахненко обучали сети с одним промежуточным слоем. Например, этим занимались коллеги Розенблатта Сэм Виглион и Роджер Дэвид Джозеф, в честь которых получил название алгоритм Джозефа — Виглиона. Однако сети, содержащие восемь слоёв, полстолетия назад явно опережали своё время.

Впрочем, сами подходы, использованные Виглионом с Джозефом и Ивахненко в его МГУА, отдалённо напоминают друг друга. Алгоритм Джозефа — Виглиона шаг за шагом генерирует и оценивает двухслойные нейронные сети с прямым распространением, автоматически идентифицируя небольшие подмножества признаков, которые обеспечивают лучшую классификацию примеров из обучающей выборки. Полученные сети затем подвергаются валидации (проверке) на части данных, не включённых в обучающую выборку [1345] ^, [1346] ^, [1347] . В МГУА в нейронную сеть на каждом шаге добавляются дополнительные слои, обучаемые с использованием регрессионного анализа (таким образом, МГУА восходит к методам, разработанным ещё в XIX в. Лежандром и Гауссом). Затем применяется процедура сокращения слоя. Для этого точность предсказаний каждого из нейронов (Ивахненко, как и многие другие коннекционисты того времени, не использовал термин «нейрон», а писал просто о «переменных», слои сети называл рядами, а саму сеть — фильтром, но мы будем придерживаться современной терминологии) оценивается при помощи валидационной выборки, а затем наименее точные нейроны удаляются [1348] ^, [1349] .

1345

Parasuraman R., Rizzo M. (2008). Neuroergonomics. Volume 3 of Human-Technology Interaction Series. Oxford University Press // https://books.google.ru/books?id=9ERRDAAAQBAJ

1346

Joseph R. D. (1961). Contributions to perceptron theory (Ph. D. thesis), Cornell Univ.

1347

Viglione S. (1970). Applications of pattern recognition technology / Mendel J. M., Fu K. S. Adaptive, learning, and pattern recognition systems. Academic Press.

1348

Ivakhnenko A. G. (1970). Heuristic self-organization in problems of engineering cybernetics / Automatica. Volume 6, Issue 2, March 1970, pp. 207—219 //90092-0

1349

Ивахненко А. Г. (1971). Системы эвристической самоорганизации в технической кибернетике. Киев: Технiка.

Книга «Предсказание случайных процессов» [1350] , написанная Ивахненко в соавторстве с Валентином Лапой и увидевшая свет в 1969 г., стала своеобразным компендиумом техник, исследовавшихся советскими коннекционистами, а книга 1971 г. «Системы эвристической самоорганизации в технической кибернетике» содержит не только подробное описание МГУА, но и множество примеров его применения для решения прикладных задач [1351] . Многие работы Ивахненко и его коллег были переведены на английский язык, и отсылки к ним мы можем увидеть в ряде современных работ по глубокому обучению.

1350

Ивахненко О. Г., Лапа В. Г. (1969). Предсказание случайных процессов. — Киев: Наукова думка.

1351

Ивахненко А. Г. (1971). Системы эвристической самоорганизации в технической кибернетике. — Киев: Технiка.