Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Гипотеза Павлова нашла подтверждение в исследованиях Хьюбела и Визеля, которые смогли детально разобраться в конкретных функциях, выполняемых первичной зрительной корой. Выяснилось, что её нейроны реагируют не просто на наличие или отсутствие света, падающего на сетчатку. В действительности их активация зависит от схемы освещения. Конкретные визуальные структуры являются необходимыми и достаточными стимулами для разных типов нейронов коры. Например, один из типов клеток избирательно реагирует на полосу света с определённой ориентацией (вертикальной, наклонной или горизонтальной), перемещающуюся в определённом направлении в определённой части поля зрения. На срабатывание этих клеток не влияет рассеянный свет, полоса неправильной ориентации или полоса, движущаяся в неправильном направлении. Следовательно, потенциалы действия клеток первичной зрительной коры передают высшим центрам мозга информацию о тех или иных структурах, выявленных в поле зрения.
Эксперименты Хьюбела и Визеля стали продолжением исследований Штефана Куффлера [1462] , американского нейрофизиолога венгерского происхождения, которого иногда называют отцом современной
Как и Куффлер, Хьюбел и Визель использовали единичные электроды для регистрации активности отдельных нейронов. Эта процедура может показаться весьма неплодотворным способом изучения функций, в которых участвует большое количество клеток. Какова вероятность того, что исследователи смогут понять сложные закономерности работы мозга, наблюдая активность безнадёжно малой доли общего числа нейронов? Однако упорядоченный характер структуры связей клеток зрительной коры существенно упростил задачу Хьюбела и Визеля: смежные точки сетчатки соответствуют смежным точкам поверхности коры. Первичная зрительная зона коры устроена таким образом, что каждому крошечному сегменту поля зрения соответствует идентичный набор нейронных анализаторов. Задача, с которой столкнулись Хьюбел и Визель в 1958 г., состояла в том, чтобы выяснить, как сигналы, обозначающие маленькие, яркие, тёмные или цветные пятна в сетчатке, преобразовываются в сигналы, которые передают информацию о форме, размере, цвете, движении и глубине объектов, в то время как современные методы нейровизуализации (пометка нейронов при помощи инъекции пероксидазы хрена, диффузная оптическая томография и другие) ещё не были созданы [1464] .
1462
Nicholls J. G., Martin A. R., Fuchs P. A., Brown D. A., Diamond M. E., Weisblat D. A. (2012). From Neuron to Brain. Sinauer // https://books.google.ru/books?id=eTLzXwAACAAJ
1463
Erling N. (2016). Nobel Prizes And Notable Discoveries. World Scientific // https://books.google.ru/books?id=IU4tDQAAQBAJ
1464
Nicholls J. G., Martin A. R., Fuchs P. A., Brown D. A., Diamond M. E., Weisblat D. A. (2012). From Neuron to Brain. Sinauer // https://books.google.ru/books?id=eTLzXwAACAAJ
И всё-таки исследователей ждал успех. Вот так Хьюбел описал в своей нобелевской речи эксперимент, который привёл к прорыву в понимании функций первичной зрительной коры:
Наше первое настоящее открытие случилось совершенно неожиданно. На протяжении двух или трёх часов у нас ничего не получалось. Затем постепенно мы начали различать какие-то смутные и непостоянные ответы при стимуляции где-то на границе между центром и периферией сетчатки. Мы как раз вставляли слайд на стекле в виде тёмного пятна в разъём офтальмоскопа, когда внезапно, через аудиомонитор (по сути обычный динамик — устройство, преобразующее электрические импульсы в звуковые сигналы. — С. М.), клетка зарядила как пулемёт. Спустя некоторое время, после небольшой паники, мы выяснили, что же случилось. Конечно, сигнал не имел никакого отношения к тёмному пятну. Во время того, как мы вставляли слайд на стекле, его край отбрасывал на сетчатку слабую, но чёткую тень в виде прямой тёмной линии на светлом фоне. Это было именно то, чего хотела клетка, и, более того, она хотела, чтобы эта линия имела строго определённую ориентацию. Это было неслыханно. Сейчас даже трудно подумать и представить себе, насколько далеко мы были от какой-либо идеи относительно того, какую роль могут играть клетки коры в обычной жизни животного [1465] .
1465
Цит. по: Николлс Д., Мартин Р., Валлас Б., Фукс П. (2017). От нейрона к мозгу / изд. 4-е. — М.: УРРС: Книжный дом «Либерком».
Статья Хьюбела и Визеля «Рецептивные поля отдельных нейронов в стриарной коре кошки» (Receptive fields of single neurons in the cat’s striate cortex) [1466] увидела свет в 1959 г., практически одновременно со статьёй Летвина и Матураны о глазе и мозге лягушки и за два года до «Принципов нейродинамики» Розенблатта. Производя обзор находок нейрофизиологов, Розенблатт отмечает, что высказанная им в статье 1958 г. идея об архитектуре сети, способной распознавать контуры объектов и основанной на нейронах A– слоя с круговыми или эллиптическими распределениями входящих синапсов, вполне соотносится с данными Хьюбела и Визеля. Рассуждая о перспективных способах построения сложных искусственных нейронных сетей, Розенблатт среди прочего предлагает использовать «простые пространственные ограничения (градиенты, направленное смещение или распределения соединений, заданных небольшим количеством параметров)» [1467] . Это предложение, как и многие другие идеи Розенблатта, несмотря на свой общий характер, во многом опередило своё время. К сожалению, в работах Розенблатта эта мысль не получила дальнейшего развития, однако результаты, полученные Хьюбелом и Визелем, не были забыты коннекционистами.
1466
Hubel D. H., Wiesel T. N. (1959). Receptive fields of single neurons in the cat's striate cortex / Journal of Physiology, 1959, vol. 148, pp. 574—591 // https://doi.org/10.1113/jphysiol.1959.sp006308
1467
Rosenblatt F. (1961). Principles of Neurodynamics. Perceptrons and the Theory of Brain Mechanisms. Cornell aeronautical lab inc., Buffalo, New York. Defense Technical Information Center // https://books.google.ru/books?id=Tk2tDAEACAAJ
Повторяющиеся
5.2.4,2 Когнитрон и неокогнитрон Кунихико Фукусимы
Первой нейросетевой архитектурой, воплотившей в себе эти принципы, стал неокогнитрон (Neocognitron) японского учёного Кунихико Фукусимы. В 1970-е гг. Фукусима стал одним из наиболее ярких лидеров японских коннекционистов. Получив в 1958 г. степень бакалавра в области электроники, Фукусима устроился на работу в исследовательскую лабораторию Японской радиовещательной корпорации (NHK), а в 1966 г. защитил диссертацию в области электроники. Исследовательские интересы Фукусимы были сосредоточены на изучении алгоритмов обработки информации в мозге, создании искусственных нейронных сетей для распознавания образов, а также на других исследованиях в области машинного обучения. В 1970-е гг. доктор Фукусима стал автором ряда научных статей и двух монографий: «Физиология и бионика визуальных систем» (1976) и «Нейронные сети и самоорганизация» (1979) [1468] .
1468
Contributors (1983) / IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-13, No. 5, September/October 1983
Как несложно догадаться, неокогнитрон не был первой нейросетевой архитектурой, разработанной Фукусимой. Первой стал собственно когнитрон (Cognitron) — самоорганизующаяся многослойная нейронная сеть, описанная в статье 1975 г.
Идея, лежащая в основе когнитрона, была довольно простой. При обучении сети вес синапса, направленного от нейрона x к нейрону y, увеличивается, если x срабатывает в условиях, когда ни один из нейронов в окрестностях y не срабатывает сильнее, чем y. Основываясь на этом принципе, Фукусима описывает алгоритм обучения нейронной сети и предлагает основанную на нём самоорганизующуюся многослойную сеть под названием «когнитрон». В результате обучения каждая ячейка в последнем слое когнитрона начинает выборочно реагировать на определённую структуру стимула или на некоторый признак.
Рассуждая о процессах, происходящих в такой сети в процессе обучения, Фукусима поэтично сравнивает пространственную схему распределения выходов возбуждающих нейронов с горой Фудзи. Вообще работа Фукусимы интересна в данном случае не только и не столько в качестве описания нового метода обучения нейронных сетей без привлечения учителя, но и как исследование, уделяющее особое внимание принципам пространственной организации связей нейронов.
Фукусима провёл ряд компьютерных симуляций когнитрона с использованием цифровой вычислительной машины. В ходе симуляций он моделировал работу когнитрона, состоящего из четырёх слоёв, каждый из которых содержал 12 x 12 = 144 возбуждающих и столько же тормозящих нейронов.
Каждый нейрон мог иметь афферентные (входные) синапсы только от групп нейронов, расположенных в определённой области, называемой «соединимой областью» [connectable area]. В компьютерной симуляции Фукусимы соединимая область каждого из нейронов состояла из квадратной по форме зоны (5 x 5 нейронов) предыдущего слоя, центр которой непосредственно предшествовал данному нейрону. Окрестности нейрона, в пределах которых происходит сравнение уровня его возбуждения с другими нейронами, представляли собой зону в том же слое, имеющую форму ромба с диагональю 5 (включающую 12 соседних нейронов). Также каждый возбуждающий нейрон получал латеральное (боковое) торможение [lateral inhibition] от соседних тормозящих нейронов в пределах квадратной зоны размером 7 x 7 клеток.
В ходе экспериментов Фукусима циклически «предъявлял» когнитрону пять картинок (изображения цифр от 0 до 4) и наблюдал, как нейронная сеть формирует в последнем слое типичные отклики на эти стимулы. Также Фукусима осуществлял «обратное воспроизведение», направляя сигналы через обученную сеть в обратном направлении — от специфического нейрона последнего слоя, реагирующего выборочно на один из стимулов, к первому слою, чтобы наблюдать набор нейронов входного слоя, возбуждение которых приводит к возбуждению выбранного нейрона выходного слоя [1469] . В наши дни подобный способ также иногда применяют для поиска специфических визуальных структур, на которые реагирует обученная нейронная сеть.
1469
Fukushima K. (1975). Cognitron: A self-organizing multilayered neural network / Biological Cybernetics, 20(3-4), 121–136 // https://doi.org/10.1007/bf00342633