Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Зигмунд Фрейд родился в 1856 г. в семье галицких евреев-хасидов Австро-Венгрии в городке Моравский Фрайберг (Freiberg in Mahren, сейчас город называется Пршибор, чеш. Pribor) [1385] , расположенном неподалёку от подножия Моравско-Силезских Бескидов. Название это, в общем-то, более соответствовало историческому Vriburch — именно под таким именем город впервые упомянут в письменном источнике 1251 г.
Зигмунд был старшим из восьми детей, родившихся в браке небогатого торговца тканью Якоба Фрейда и его третьей жены Амалии. Мать Фрейда была родом из Бродов (Броды — город в Галичине, ныне Львовская область Украины) и часть своего детства провела в Одессе [1386] . Второй из детей Якоба и Амалии умер во младенчестве, а семеро, включая Зигмунда, дожили до весьма преклонных лет. Три сестры Фрейда закончили свою жизнь в концлагере Треблинка [1387] .
1385
Gresser M. (2012). Dual Allegiance: Freud as a Modern Jew. SUNY Press // https://books.google.ru/books?id=Gh9OF0JJVw0C
1386
Jones E. (1993). The Life and Work of Sigmund Freud. Penguin Books // https://books.google.ru/books?id=_XqhPwAACAAJ
1387
Gottwaldt A. (2004). Sigmund Freud's sisters and death. Notes on their fate in deportation and mass-murder / Psyche. Vol. 58. pp. 533-543 // https://www.researchgate.net/publication/292510186_Sigmund_Freud's_sisters_and_death_Notes_on_their_fate_in_deportation_and_mass-murder
У
Спустя четыре года после рождения мальчика семья Фрейда, находившаяся на грани разорения, была вынуждена покинуть Фрайберг. При этом дети Якоба от первого брака перебрались в Манчестер, а сам Якоб с женой и двумя детьми отправился сначала в Лейпциг, а затем — в Вену. Здесь Зигмунд окончил с отличием гимназию и в 17 лет поступил в Венский университет. Изначально Фрейд планировал изучать право, однако в итоге остановил выбор на медицинском факультете [1388] . На втором году обучения Зигмунд начал свои первые научные исследования, объектом которых стали половые органы угря. Эта работа, осуществлявшаяся под руководством знаменитого профессора-эволюциониста Карла Клауса, была, по общему мнению, весьма хорошей, однако сам Фрейд был разочарован её результатами и, возможно, встревожен перспективой расчленения в будущем ещё большего количества угрей [1389] . Поэтому в 1877 г. он перебирается в лабораторию знаменитого немецкого физиолога Эрнста фон Брюкке, где главным направлением его исследований становится изучение нервной ткани человека и других живых организмов.
1388
Rice E. (1990). Freud and Moses: The Long Journey Home. SUNY Press // https://books.google.ru/books?id=g5JFAgAAQBAJ
1389
Costandi M. (2014). Freud was a pioneering neuroscientist / The Guardian, 10 Mar // https://www.theguardian.com/science/neurophilosophy/2014/mar/10/neuroscience-history-science
Брюкке принадлежал к плеяде учёных, исследования которых в XIX в. радикальным образом изменили научную картину мира в области физиологии. В 1845 г. Брюкке, вместе с Эмилем Дюбуа-Реймоном и Германом фон Гельмгольцем, стал одним из сооснователей Немецкого физического общества (Deutsche Physikalische Gesellschaft), сыгравшего ключевую роль в ниспровержении витализма. В противовес виталистам, которые считали, что живые существа принципиально отличаются от неодушевлённых объектов тем, что обладают некоторой нефизической сущностью («жизненной силой», «витальной искрой», «энтелехией», «археей» и т. п.), Брюкке придерживался мнения, что в основе жизни лежат законы физики и химии. Этот подход был воспринят Фрейдом и воспроизведён им в его психодинамической теории.
Шесть лет Фрейд провёл в лаборатории Брюкке, занимаясь сравнительной анатомией нервной системы позвоночных и беспозвоночных. Изучая под микроскопом мозг лягушек, раков и миног, он совершил ряд важных открытий. В частности, именно Фрейд обнаружил, что нервные волокна берут своё начало в сером веществе, покрытом паутиноподобной тканью, и что спинной мозг миноги содержит недифференцированные клетки, которые впоследствии формируют корешки чувствительных нервов. Также он был первым, кто описал структуру и функции продолговатого мозга и проводящих путей, соединяющих спинной мозг и мозжечок.
Это было время острых дебатов, предшествовавших становлению нейронной доктрины. Ещё в 1830-е гг. Теодор Шванн и Маттиас Шлейден на основании данных микроскопии предположили, что все живые существа состоят из фундаментальных единиц, названных клетками. Однако вплоть до открытия «чёрной реакции» микроскопия была неспособна опровергнуть точку зрения сторонников Герлаха о том, что волокна, соединяющие клеточные тела в мозге, составляют структурно неразделимую сеть — ретикулум, поскольку синаптические щели были неразличимы в отсутствие подходящего способа окраски. Окончательное признание научным сообществом «нейронной доктрины» произошло в самом конце XIX в., когда британский нейробиолог Чарльз Шеррингтон исследовал явление синаптической связи.
Фрейд разработал свой оригинальный способ окраски ткани, напоминавший метод Гольджи. Первым компонентом окраски был, так же как и в случае «чёрной реакции», дихромат калия или жидкость Эрлицкого (2 1/2 части дихромата калия и 1/2 части сульфата меди на 100 частей воды), а вот вторым — смесь равного (или половинного) объёма этилового спирта с однопроцентным водным раствором хлорида золота [1390] , [1391] . В 1884 г. Фрейд публикует описание своего метода окраски в престижном научном журнале Brain [1392] . В лекции, прочитанной в том же году, Фрейд так описал свои наблюдения: «Если мы предположим, что фибриллы (нитевидные белковые структуры. — С. М.) нервного волокна играют роль изолированных проводящих путей, то мы должны признать, что пути, на которые разделены нервные волокна, сливаются в нервной клетке, — тогда нервная клетка становится „началом“ всех этих нервных волокон, анатомически связанных с ней… Я не знаю, достаточно ли существующих материалов для решения этой важной задачи. Если это предположение удалось бы подтвердить, это стало бы большим шагом вперёд в отношении физиологии нервных элементов: мы могли бы представить, что стимул определённой силы будет способен пробивать изолированные волокна так, что нерв, как единое целое, послужит проводником возбуждения и так далее» [1393] , [1394] .
1390
Galbis-Reig D. (2003). Sigmund Freud, M. D.: Forgotten Contributions to Neurology, Neuropathology, and Anesthesia / Internet Journal of Neurology. Vol. 3 (1), Jan 2003 // https://www.researchgate.net/publication/275833594_Sigmund_Freud_MD_Forgotten_Contributions_to_Neurology_Neuropathology_and_Anesthesia
1391
Triarhou L. C. (2009). Exploring the mind with a microscope: Freud's beginnings in Neurobiology / Hellenic Journal of Psychology // https://www.academia.edu/9914521/Exploring_the_mind_with_a_microscope_Freuds_beginnings_in_Neurobiology
1392
Freud S. (1885). A new histological method for the study of nerve-tracts in the brain and spinal chord / Brain: a journal of neurology, Vol. IV // https://archive.org/details/brainjournalofne07londuoft/page/86
1393
Barford D., Geerardyn F., van de Vijver G. (2018). The Pre-Psychoanalytic Writings of Sigmund Freud. Routledge // https://books.google.ru/books?id=Fx-yDwAAQBAJ
1394
Reshe J. (2018). Freud’s living corpse: psychoanalysis vs neuroscience / Brev Spread, Vol. 18, pp. 20—37 // https://www.academia.edu/37323128/Freuds_living_corpse_psychoanalysis_vs_neuroscience
Эта цитата показывает, что Фрейд вплотную приблизился к открытию нейронной доктрины, однако его суждения содержали изрядную степень неопределённости, которую спустя шесть лет смогли преодолеть Рамон-и-Кахаль и Вальдейер. В своей знаменитой работе «Гистология нервной системы человека и позвоночных» Рамон-и-Кахаль ссылается на наблюдения Фрейда как на свидетельства в пользу правильности нейронной доктрины [1395] .
Чтение «Проекта научной психологии» Фрейда для современного читателя представляет немалую сложность примерно по тем же причинам, по которым довольно сложно разобраться в пионерских текстах Мак-Каллока и Питтса. Фрейд отчасти использует собственную оригинальную терминологию, делает множество серьёзных допущений, применяет витиеватые синтаксические конструкции. И всё же в его тексте видна опередившая своё время попытка создания непротиворечивой модели, основанной на данных физиологии и призванной объяснить возникновение различных психических феноменов физическими процессами, протекающими в нервной системе. Аналогом
1395
Ramon y Cajal S. (2002). Texture of the Nervous System of Man and the Vertebrates: Volume III An annotated and edited translation of the original Spanish text with the additions of the French version by Pedro Pasik and Tauba Pasik. Springer Science & Business Media // https://books.google.ru/books?id=DMETOdFiJwMC
1396
Freud S. (1950). Project for a Scientific Psychology (1950[1895]). The Standard Edition of the Complete Psychological Works of Sigmund Freud, Volume I (1886-1899): Pre-Psycho-Analytic Publications and Unpublished Drafts // http://users.clas.ufl.edu/burt/freud%20fleiss%20letters/200711781-013.pdf
Среди других известных учеников Мейнерта были друг и наставник Фрейда Йозеф Бройер; будущий нобелевский лауреат в области физиологии и медицины Юлиус Вагнер-Яурегг; русский психоневролог, один из основоположников нозологического направления в психиатрии и московской научной школы психиатрии Сергей Корсаков; немецкий невропатолог, автор психоморфологического направления в психиатрии Карл Вернике, а также уже упоминавшийся нами швейцарский психиатр и один из герольдов нейронной доктрины Огюст-Анри Форель [1397] .
1397
Fancher R. E., Rutherford A. (2016). Pioneers of Psychology (Fifth International Edition). W. W. Norton // https://books.google.ru/books?id=gmnKswEACAAJ
Словом, идея о том, что феномен памяти и, следовательно, обучения может быть основан на способности нейронов изменять способ преобразования проходящих через них нервных импульсов, в 1895 г. уже не была новинкой. Фрейд называет изменение проходимости контактных барьеров (в одном из мест прямо говорится о снижении сопротивления) словом Bahnung (дословно: «облегчение», на русский язык сейчас передаётся как «фасилитация», от англ. facilitate) и пишет о том, что память представлена в виде разницы в фасилитации контактных барьеров между ?-нейронами. Дальше он делает важное умозаключение: фасилитация не может быть основана только на нервном импульсе, получаемом нейроном при возбуждении (Фрейд употребляет термин Besetzung или греческий эквивалент «катексис», дословно означающий «захват, удержание, задержание»), — ведь такой импульс либо распределяется равномерно по всем контактным барьерам (синапсам) нейрона, либо проходит через наиболее фасилитированный барьер и, следовательно, не может породить необходимую разницу в фасилитации контактных барьеров. Действительно, нейрон должен каким-то образом узнать, какой именно контактный барьер должен быть фасилитирован, но это невозможно без обратного распространения сигнала. По мнению Фрейда, контактные барьеры при прохождении через них эндогенного (внутреннего) импульса удерживают его часть, чтобы затем под влиянием экзогенных (внешних) импульсов, таких как, например, боль, изменять уровень своей фасилитации [1398] .
1398
Freud S. (1950). Project for a Scientific Psychology (1950[1895]). The Standard Edition of the Complete Psychological Works of Sigmund Freud, Volume I (1886-1899): Pre-Psycho-Analytic Publications and Unpublished Drafts // http://users.clas.ufl.edu/burt/freud%20fleiss%20letters/200711781-013.pdf
Таким образом, взятая из фрейдовских работ идея об обратном распространении в нейронной сети корректирующего сигнала послужила для Вербоса отправной точкой его размышлений, итогом которых стало изобретение алгоритма обратного распространения ошибки для обучения многослойных нейронных сетей.
Несмотря на успешное решение вопроса о том, как можно обучать многослойные нейронные сети, Вербос в своей диссертации в 1974 г. ограничился лишь короткими замечаниями по этому поводу. Подробное описание применения метода обратного распространения ошибки к обучению нейронных сетей было опубликовано [1399] Вербосом только в 1982 г. Сказывался невысокий интерес научного окружения Вербоса к этому вопросу [1400] . Возможно, отсутствие интереса Минского к ранней работе Вербоса по гамбургскому счёту оказалось куда большим вкладом первого в наступление коннекционистской зимы, чем пресловутые «Перцептроны». Впрочем, не стоит переоценивать роль личности Минского в этой истории, ведь его пессимизм лишь суммировал опыт множества исследователей, безрезультатно пытавшихся найти эффективные способы обучения многослойных перцептронов. Конечно, теплились некоторые искорки надежды, такие как идеи об обратном распространении ошибки у Розенблатта или высказанное вскользь предложение Сюнъити Амари о том, что для обучения нейронных сетей можно попробовать использовать метод наименьших квадратов [1401] , [1402] , являющийся основой простой линейной регрессии (без рассуждений о том, как вычислять производные, и с оговоркой, что он не ожидает многого от этого подхода) [1403] , [1404] . И всё же пессимизм во второй половине 1970-х — начале 1980-х гг. достиг своего апогея, поэтому работы Вербоса так и остались практически не замеченными научным сообществом. Повсеместное признание метода обратного распространения ошибки произошло только вслед за публикацией в 1986 г. в журнале Nature статьи Румельхарта, Хинтона и Уильямса «Выучивание представлений путём обратного распространения ошибок» (Learning representations by back-propagating errors). Её авторы упоминают в тексте Дэвида Паркера и Яна Лекуна в качестве исследователей, которые независимо открыли процедуры обучения, аналогичные описанным в статье [1405] .
1399
Werbos P. (1982). Applications of Advances in Nonlinear Sensitivity Analysis / Drenick R., Kozin F. (1982). System Modeling and Optimization. Proceedings of the 10th IFIP Conference New York City, USA, August 31–September 4, 1981. Springer-Verlag // https://books.google.ru/books?id=oczhwgEACAAJ
1400
Kurenkov A. (2015). A 'Brief' History of Neural Nets and Deep Learning // https://www.andreykurenkov.com/writing/ai/a-brief-history-of-neural-nets-and-deep-learning/
1401
* Значение метода наименьших квадратов, разработанного в начале XVIII в. Гауссом и Лежандром, для машинного обучения столь значительно, что один из отцов современных нейронных сетей Юрген Шмидхубер даже называет модели Гаусса и Лежандра «линейными нейронными сетями» или «линейными перцептронами».
1402
Machine Learning Street Talk (2023). ORIGINAL FATHER OF AI ON DANGERS! (Prof. Jurgen Schmidhuber) / YouTube, Aug 13, 2023 // https://www.youtube.com/watch?v=q27XMPm5wg8
1403
Werbos P. J. (2006) Backwards Differentiation in AD and Neural Nets: Past Links and New Opportunities / Bucker M., Corliss G., Naumann U., Hovland P., Norris B. (2006). Automatic Differentiation: Applications, Theory, and Implementations. Lecture Notes in Computational Science and Engineering, Vol 50. Springer, Berlin, Heidelberg // https://doi.org/10.1007/3-540-28438-9_2
1404
Werbos P. J. (1994). The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting. Wiley & Sons Ltd // https://books.google.ru/books?id=WdR3OOM2gBwC
1405
Rumelhart D. E., Hinton G. E., Williams R. J. (1986). Learning representations by back-propagating errors / Nature, 323(6088), pp. 533–536 // https://doi.org/10.1038/323533a0