Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Любую задачу классификации с произвольным числом классов можно свести к решению одной или нескольких задач, в которых число классов равно двум. Например, если у нас есть задача распознавания на картинке котиков, собак и енотов, то мы можем представить её в виде совокупности двух задач: задачи «отличать котиков от всех прочих животных» и задачи «отличать собак от енотов». Воспользовавшись этой особенностью задач классификации, мы будем рассматривать задачу с двумя классами. Её можно легко представить в графической форме. Для этого нужно взять n– мерное евклидово пространство, где n — количество факторов, задействованных в задаче (т. е. при одном факторе это будет числовая прямая, при двух факторах — плоскость, при трёх — трёхмерное пространство и т. д.), и отобразить в нём известные нам прецеденты (элементы обучающей выборки) в виде точек двух цветов (скажем, красных и зелёных). В случае задачи с двумя факторами мы получим множество красных и зелёных точек на плоскости. Если зелёные точки можно
Перцептрон, имеющий только один слой нейронов с настраиваемыми синаптическими весами, является линейным классификатором, то есть в процессе обучения он пытается найти гиперплоскость, разделяющую прецеденты, относящиеся к различным классам. Смысл теоремы о сходимости перцептрона заключается в том, что (как удалось доказать Розенблатту) такой однослойный перцептрон, обучаемый при помощи метода коррекции ошибки, всегда, независимо от стартового состояния синаптических весов и последовательности поступления элементов обучающей выборки, достигнет решения за конечный промежуток времени — то есть для линейно разделимых классов решение всегда будет найдено за конечное количество шагов обучения. Кроме того, Розенблатт рассчитал верхний предел количества таких шагов. Помимо теоремы о сходимости перцептрона, Розенблатт также представил доказательства ряда смежных теорем, связанных с архитектурой искусственных нейронных сетей и методами их обучения.
Впрочем, первые кирпичики в математический фундамент коннекционизма, как это ни странно, были заложены математиками, казалось бы далёкими от проблематики искусственных нейронных сетей. Речь идёт о решении так называемой тринадцатой проблемы Гильберта советскими математиками Владимиром Арнольдом и Андреем Колмогоровым. Гильберта интересовал вопрос о том, можно ли представить решение общего уравнения седьмой степени в виде суперпозиции непрерывных функций двух переменных [1250] . Арнольду и Колмогорову удалось доказать эту проблему в более общем виде, результатом чего стало появление теоремы Арнольда — Колмогорова, которая гласила: любая многомерная непрерывная функция может быть представлена в виде суперпозиции непрерывных функций одной переменной. В некотором роде советские математики показали, что единственная «истинная» функция многих переменных — это сложение, поскольку все другие функции можно записать с использованием функций одной переменной и сложения. Но ведь искусственная нейронная сеть как раз и представляет собой сочетание сложения, которое выполняют нейроны, и подстановки, которой соответствует передача сигнала через синаптическую связь. Таким образом, из теоремы Арнольда — Колмогорова следует, что абсолютно любая многомерная непрерывная функция может быть реализована при помощи искусственной нейронной сети [1251] .
1250
Витушкин А. Г. (2004). 13-я проблема Гильберта и смежные вопросы / Успехи математических наук. Т. 59, вып. 1 (355). С. 11—24 // https://doi.org/10.4213/rm698
1251
Tavora M. (2018). Connections between Neural Networks and Pure Mathematics / freeCodeCamp, 12 December 2018 // https://www.freecodecamp.org/news/connections-between-deep-learning-physics-and-pure-mathematics-part-i-947abeb3a5dd/
Этот результат был довольно неожиданным, поскольку, согласно ему, вся сложность многомерных функций может быть сведена к тривиальным операциям одномерных функций. В результате становится возможным использование методов групповой подстройки множеств однородных параметров для моделирования плохо формализуемых механизмов и процессов.
Статьи Колмогорова и Арнольда были опубликованы в СССР в 1956–1957 гг., но английские их версии появились в печати только в начале 1960-х гг. Поэтому Розенблатт, начиная свою работу над перцептронами, скорее всего, ничего не знал о неожиданном и обнадёживающем результате, полученном советскими математиками. И всё-таки именно ему, скромному нейрофизиологу, а вовсе не математикам и информатикам удалось оказаться в нужное время в нужном месте и стать на некоторое время лидером нового направления в науке, обильные плоды которого мы пожинаем в наши дни. Розенблатт был в некотором роде математиком поневоле, его практические эксперименты нередко оказывались впереди попыток строгого математического обоснования методов, лежащих в их основе. Да и сами математические выкладки Розенблатта, по мнению некоторых специалистов, не всегда были корректны. И всё-таки именно в руках этого худощавого юноши в очках были рабочий образец самообучающейся машины и обнадёживающие результаты экспериментов.
Фрэнк Розенблатт был весьма разносторонней личностью. Будучи руководителем отдела когнитивных систем в Корнелле, он читал лекции на факультете
Несмотря на то что в те годы в арсенале нейронауки не было ещё таких современных методов, как компьютерная и позитронно-эмиссионная томография, Розенблатт смог дать вполне адекватные оценки возможностей человеческого мозга. Например, основываясь на доступных ему данных, он произвёл серию вычислений и пришёл к выводу, что нейронных связей в коре головного мозга человека достаточно для того, чтобы хранить точные «фотографические» образы, поступающие от органов зрения со скоростью 16 кадров в секунду, в течение не менее двухсот лет.
Именно на основе этого курса была написана книга «Принципы нейродинамики», которую Розенблатт использовал затем в качестве учебника для студентов.
4.4.9 Друзья, увлечения и крысы Розенблатта
Розенблатт определённо выделялся из коллектива преподавателей Корнеллского университета тех лет. Он был весьма обаятельным, но довольно застенчивым, по воспоминаниям коллег, человеком. Розенблатт виртуозно водил спортивный автомобиль MGA, его верным спутником был кот по имени Тобермори. Так звали подопытного кота из рассказа Гектора Хью Манро (более известен под псевдонимом Саки); кот из рассказа смог научиться человеческой речи, именно поэтому то же имя — Тобермори — Розенблатт дал своему последнему нейросетевому проекту — фоноперцептрону Tobermory.
Подробности личной жизни Розенблатта были практически неизвестны биографам вплоть до выхода в свет мемуаров его бывшего аспиранта Хэла Седжвика. Начиная с лета 1969 г. Хэл и его жена Ив жили на чердаке дома Розенблатта, располагавшегося в сельской местности недалеко от города Бруктондейла в штате Нью-Йорк. Ив Седжвик сегодня известна в качестве одного из крупных теоретиков феминизма, а также как литературовед, литературный критик, культуролог, писательница, поэтесса, эксперт в области гендерных и пионер в области квир-исследований [queer studies] (области науки, занимающейся исследованием вопросов, связанных с сексуальной ориентацией и гендерной идентичностью, обычно фокусирующейся на лесбиянках, геях, бисексуалах, трансгендерах, гендерной дисфории, асексуалах, ищущих [questioning], интерсексуальных людях и соответствующих культурах). Розенблатт за символическую сумму сдавал комнаты в своём доме постоянно меняющейся группе, в которую входило от шести до восьми его друзей и учеников, составлявших небольшую квазикоммуну. Обитатели дома по очереди готовили еду для всей группы. После обеда все оставались за обеденным столом, пока Фрэнк читал вслух для развлечения одну или две главы из какой-нибудь книги («Ветер в ивах», «Король былого и грядущего», «Козлик Джайлс» и т. д.). Сообщество в Бруктондейле было формирующей моделью для концепции ненуклеарной небиологической семьи Ив Седжвик, в которой Фрэнк Розенблатт выполнял роль дяди-холостяка [1252] , [1253] .
1252
Hu J. (2015). Between Us: A Queer Theorist’s Devoted Husband and Enduring Legacy / The New Yorker, December 9, 2015 // https://www.newyorker.com/books/page-turner/between-us-a-queer-theorists-devoted-husband-and-enduring-legacy
1253
Sedgwick H. A. (2017). Life of Eve Kosofsky Sedgwick / A resource for the exploration of the life and work of Eve Kosofsky Sedgwick // https://eveksedgwickfoundation.org/biography/biography.html
Хэл Седжвик вспоминает, что Розенблатт был влюблён в одного из своих студентов, поэтому добавлял его имя в число соавторов некоторых своих статей. Осознавая враждебное отношение общества к гомосексуалам, Розенблатт старался держать личную жизнь в тайне и отговаривал Седжвика от участия в политическом движении за права геев. По его мнению, общество ещё не было готово принять их такими, какие они есть. Учитывая печальную судьбу Алана Тьюринга, эту позицию вполне можно было понять.
Седжвик так описывает Розенблатта:
Фрэнк был небольшого роста; эксцентричного вида парень, которого, казалось, мало заботит его внешность. Он редко переодевался и обычно был одет в одну и ту же потёртую спортивную куртку или изношенный свитер, всегда носил свои бумаги и книги в одной руке, как студент. Его невыразительное лицо заставляло вас почувствовать, что он точно очень одинокий человек. И хотя Корнеллский университет, несомненно, был его стихией (он находился там почти непрерывно с 1946 года), у меня сложилось впечатление, что за пределами своего кабинета и исследовательских лабораторий он был не совсем уверен в себе.