Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Теперь без Винера отчаяние Питтса стало смертельным. Он начал сильно пить и всё больше отдалялся от друзей. Когда ему предложили докторскую степень, он отказался подписать документы. Питтс сжёг свою диссертацию вместе со всеми своими заметками и бумагами. Были уничтожены плоды многих лет работы — важные результаты, которые все с нетерпением ждали. Визнер предложил Летвину улучшить поддержку лаборатории, если тот сможет восстановить какие-либо фрагменты диссертации, но всё было утрачено.

Питтс остался работать в MIT, но это было едва ли чем-то большим, чем просто жестом сострадания; он почти ни с кем не разговаривал и часто исчезал. «Мы должны были следить за ним ночь за ночью, — говорил Летвин. — Ужасно было наблюдать за тем, как он себя разрушает».

В понедельник, 21 апреля 1969 г., дрожащей рукой алкоголика, путаясь в днях недели, Питтс отправил письмо из своей палаты в больнице Бет-Исраэль в палату Мак-Каллока в отделении интенсивной терапии сердца в госпитале Бригама. «Я понимаю, что у тебя был лёгкий коронарный приступ <…> что ты присоединён ко множеству датчиков, подключённых к панелям и сигналам тревоги, которые постоянно контролирует медсестра, и в силу этого ты не можешь перевернуться в постели. Без сомнения, это кибернетика. Но всё это вызывает во мне ужасную грусть». Сам Питтс провёл в больнице три недели из-за проблем с печенью и желтухи. 14 мая 1969 г. он умер в

одиночестве в пансионате в Кембридже от кровотечения из варикозно расширенных вен пищевода, что было связано с циррозом печени. Четыре месяца спустя скончался и Мак-Каллок, как будто существование одного без другого было просто нелогичным. Петля, по которой циркулировал сигнал, разомкнулась [1157] .

1157

Gefter A. (2015). The Man Who Tried to Redeem the World with Logic: Walter Pitts rose from the streets to MIT, but couldn’t escape himself / Nautilus, February 5, 2015 // https://nautil.us/the-man-who-tried-to-redeem-the-world-with-logic-235253/

Мак-Каллок и Питтс пережили Винера на пять лет — Норберт умер в 1964 г. от сердечного приступа, случившегося с ним во время лекционного тура в Стокгольме. Летвин, последний из первоначальной группы кибернетиков, сильно пережил всех и ушёл из жизни только в 2011 г.

На склоне лет Летвин вспоминал, что после его почтительной речи о Норберте Винере на конференции в Генуе (по всей видимости, в 1965 г. [1158] ) вдова Винера Маргарет подошла к нему, чтобы поблагодарить за добрые слова о покойном муже. Летвин тогда уже знал о причине злосчастной телеграммы Винера — ему об этом в начале 1960-х рассказал Артуро Розенблют, и вот как Летвин описал эту встречу: «Я подготовил очень осторожную и хвалебную речь, и после неё миссис Винер подошла поблагодарить меня и протянула руку — вы знаете, она была хрупкой женщиной, — но я на самом деле хотел ударить её так сильно, как мог, потому что знал, что это она устроила разрыв» [1159] .

1158

Franchi S., Bianchini F. (2011). The Search for a Theory of Cognition: Early Mechanisms and New Ideas. Rodopi // https://books.google.ru/books?id=aRzSx0Jse-0C

1159

Malapi-Nelson A. (2017). The Nature of the Machine and the Collapse of Cybernetics: A Transhumanist Lesson for Emerging Technologies. Palgrave Studies in the Future of Humanity and its Successors. Springer International Publishing // https://books.google.ru/books?id=-g0rDwAAQBAJ

4.4 Фрэнк Розенблатт, перцептрон, кот Тобермори и крысы

— Вы на самом деле хотите, чтобы мы поверили, — говорил сэр Уилфрид, — что вам удалось найти способ обучения животных человеческой речи и что старина Тобермори оказался вашим первым удачным учеником?

— Над этой проблемой я работал 17 лет, — отвечал мистер Эппин, — но лишь в последние 8–9 месяцев появились первые проблески успеха. Разумеется, я провёл эксперименты с тысячами животных, однако последнее время работал только с кошками, этими чудесными созданиями, которые смогли столь блестяще вписаться в нашу цивилизацию, сохранив при этом все свои высокоразвитые животные инстинкты. То у одной, то у другой кошки обнаруживал я выдающийся интеллект, впрочем, как бывает и с человеческими особями. Когда же я познакомился с Тобермори, то сразу понял, что имею дело с суперкотом, существом экстраординарного интеллекта. В предшествующих экспериментах я далеко продвинулся по пути к успеху, но в работе с Тобермори, можно сказать, я достиг своей цели.

Саки. Тобермори

4.4.1 Наследие Мак-Каллока и Питтса

Итак, Мак-Каллоку и Питтсу удалось создать первую модель искусственного нейрона, разрешить кажущийся парадокс с петлями, образуемыми нейронными цепями, обнаружить гипотетический механизм, при помощи которого сеть, составленная из искусственных нейронов, могла бы запоминать информацию. Какие проблемы теперь отделяли человечество от умения создавать машины, способные, например, отличить фотографию котика от фотографии собаки?

Искусственный нейрон Мак-Каллока и Питтса через множество входных синапсов получает некоторый набор двоичных сигналов (т. е. нулей или единиц). Сигнал может поступить от рецептора (например, фоторецептора, который реагирует на освещённое пятнышко в некотором месте изображения, выдавая на выход единичный сигнал; Мак-Каллок и Питтс в своей статье 1943 г. называют входные нейроны нейронной сети «периферическими афферентами» [1160] — мне нравится этот термин, и я просто оставлю его здесь) или от предыдущего нейрона в цепочке. Каждый из сигналов умножается на некоторый синаптический вес, который может быть положительным или отрицательным числом. Положительный вес соответствует возбуждающему синапсу, отрицательный — тормозящему. Если сумма входных сигналов, перемноженных на соответствующие синаптические веса, превышает порог активации нейрона, то нейрон передаёт на выход сигнал, равный 1, в противном случае — сигнал. равный 0.

1160

McCulloch W. S., Pitts W. (1943). A logical calculus of the ideas immanent in nervous activity / Bulletin of Mathematical Biophysics, 5: 115 // https://doi.org/10.1007/BF02478259

Так обычно описывают искусственный нейрон Мак-Каллока и Питтса в современной литературе по машинному обучению. В действительности дело обстояло не совсем так. Статья 1943 г. написана с применением весьма сложной и непривычной для большинства современных читателей нотации. Даже Стивен Клини, работавший со статьёй в 1950-е гг., столкнулся с рядом нешуточных сложностей.

«Настоящая статья является частично изложением их результатов; но мы обнаружили, что часть их [Мак-Каллока и Питтса] работы обращается с произвольными нервными сетями малопонятным [obscure] образом, поэтому мы пошли здесь своим путём», — писал он в 1951 г. Позже, обнаружив явную неточность в одном из результатов, полученных Мак-Каллоком и Питтсом, Клини в конце концов сдаётся: «Этот очевидный контрпример отвратил нас от дальнейших попыток расшифровать третий раздел статьи Мак-Каллока и Питтса» [1161] .

1161

Kleene S. (1951). Representation of events in nerve nets and finite automata // https://www.rand.org/content/dam/rand/pubs/research_memoranda/2008/RM704.pdf

Первое отличие, которое бросается в глаза внимательному читателю статьи: условие срабатывания нейрона у Мак-Каллока и Питтса сводится к тому, что нейрон i запускается в момент времени t тогда

и только тогда, когда ни один из нейронов, имеющих тормозящий синапс к нему, не сработал в момент времени t – 1 и более ? [1162] нейронов, имеющих возбуждающий синапс к нему, сработали в момент времени t – 1. При этом целое положительное число ? называется порогом активации нейрона i. Таким образом, возбуждающие синапсы в модели Мак-Каллока всегда имеют единичные веса, а тормозящие всегда имеют отрицательный вес, который по модулю не уступает сумме весов всех возбуждающих синапсов к тому же нейрону минус порог активации (то есть вес каждого из тормозящих синапсов всегда оказывается достаточным, чтобы «перевесить» все возбуждающие нейроны, даже если они сработают все вместе), а ? всегда является целым положительным числом. Впоследствии исследователи отказались от этих ограничений, по сути заменив логику высказываний, лежащую в основе модели Мак-Каллока — Питтса, на нечёткую логику. Кроме того, при помощи нехитрого трюка можно избавиться и от порога активации нейрона как от отдельного параметра. Для этого достаточно добавить в нейронную сеть фиктивный входной нейрон («периферический афферент»), срабатывающий на каждом шаге времени. Этот нейрон должен иметь синапсы к каждому из остальных («непериферических») нейронов, при этом веса этих синапсов будут равны тому самому порогу ?, взятому с противоположным знаком. Однако ничего этого в работе Мак-Каллока и Питтса мы не находим [1163] , всё это уже более поздние трансформации, проделанные другими исследователями.

1162

^* Это буква «тета», а не ноль, перерубленный пополам; я мог бы заменить её на другую букву без перемены смысла, но всё-таки решил оставить её ради аутентичности, а также для того, чтобы читателям, боящимся математических выражений, в этом месте было страшнее.

1163

McCulloch W. S., Pitts W. (1943). A logical calculus of the ideas immanent in nervous activity / Bulletin of Mathematical Biophysics, 5: 115 // https://doi.org/10.1007/BF02478259

фон Нейман так оценивал модель, созданную Мак-Каллоком и Питтсом: «„Функциональность“ такой сети может быть задана путём выделения некоторых входов системы и некоторых её выходов с последующим описанием того, какие входные стимулы для первого должны вызывать какие конечные стимулы для второго… Важным достижением Мак-Каллока и Питтса является то, что такая формальная нейронная сеть способна реализовать любую функциональность, которую можно в принципе определить логически, строго и однозначно при помощи конечного числа слов» [1164] ^, [1165] .

1164

von Neumann J. (1951). The General and Logical Theory of Automata / Jeffress L. A. (1951). Cerebral Mechanisms in Behavior: The Hixon Symposium. Wiley. New York // https://books.google.ru/books?id=0vgMAAAAIAAJ

1165

Rosenblatt F. (1961). Principles of Neurodynamics. Perceptrons and the Theory of Brain Mechanisms. Cornell aeronautical lab inc., Buffalo, New York. Defense Technical Information Center // https://books.google.ru/books?id=Tk2tDAEACAAJ

Строго говоря, фон Нейман в данном случае был не совсем прав. Работы Мак-Каллока и Питтса не содержат формального доказательства тезиса о тьюринг-полноте рекуррентных нейронных сетей, Мак-Каллок и Питтс считали его тривиальным.

Именно задачу формально доказать этот тезис и ставил перед собой Клини, когда предпринял попытку разобрать исследование Мак-Каллока и Питтса. В процессе он определил понятие «регулярные события» [regular events] (сегодня называемые «регулярными языками» [regular languages], «рациональными языками» [rational languages] или «регулярными множествами» [regular sets]) и доказал, что сети Мак-Каллока и Питтса могут «представлять» [represent] регулярные события (в современной терминологии они могут «принимать» [accept] регулярные языки) [1166] ^, [1167] . Именно от этого термина происходит понятие «регулярные выражения» [regular expressions], хорошо известное большинству современных программистов.

1166

Piccinini G. (2004). The First Computational Theory of Mind and Brain: A Close Look at Mcculloch and Pitts's “Logical Calculus of Ideas Immanent in Nervous Activity” / Synthese, Vol. 141 (2) // https://doi.org/10.1023/B:SYNT.0000043018.52445.3e

1167

Kleene S. (1951). Representation of events in nerve nets and finite automata // https://www.rand.org/content/dam/rand/pubs/research_memoranda/2008/RM704.pdf

Забавно, что термин «регулярные» в отношении событий, языков, множеств и выражений является хорошей иллюстрацией принципа «нет ничего более постоянного, чем временное». В своей работе Клини пишет: «Сейчас мы опишем класс событий, которые будем называть „регулярными событиями“ (мы будем рады любым предложениям относительно более наглядного термина)». Как видим, за 70 лет подходящих предложений не поступило. Прилагательное regular в английском языке имеет несколько значений. Это и «регулярный», и «обычный», и «очередной», и «правильный», и даже «официальный». Что именно из этого имел в виду Клини? Этим вопросом исследователи задаются и в наши дни [1168] ^, [1169] ^, [1170] . По всей видимости, он хотел указать на то, что эти события обязательно происходят всякий раз, когда модель находится в одном и том же состоянии и получает на вход один и тот же сигнал.

1168

Pierpoint N. (2009). Why are regular expressions called “regular” expressions? / StackOverflow, Jun 10 '09 // https://stackoverflow.com/questions/975465/why-are-regular-expressions-called-regular-expressions

1169

Wright P. (2012). Why is a regular language called 'regular'? / StackExchange, May 10 '12 // https://cs.stackexchange.com/questions/1771/why-is-a-regular-language-called-regular/1772

1170

Weller T. (2016). How did Regex get its name? / StackExchange, Mar 9 '16 // https://ell.stackexchange.com/questions/83917/how-did-regex-get-its-name