Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
На помощь пришёл Тед Хофф, который хорошо разбирался в химии. Хофф сразу понял, что будет очень сложно изменить сопротивление электролита. Вместо этого он предложил использовать гальванизацию.
Хофф и Уидроу взяли лист бумаги, мягкий карандаш, провели на листе линию длиной несколько сантиметров и при помощи омметра замерили её сопротивление. Затем они взяли немного раствора сульфата меди в серной кислоте и нанесли его поверх графитной линии — после добавления электролита сопротивление уменьшилось в 1000 раз. После этого они погрузили в нанесённый на поверхность линии раствор медный электрод и, пропустив ток, смогли добиться осаждения небольшого количества меди поверх графита, что снизило сопротивление ещё примерно в 100 раз.
Исследователи хотели добиться обратного эффекта (удаления меди с поверхности) путём обращения направления электрического тока, но, пока они возились с оборудованием,
— Я хотел бы купить грифели для карандашей!
— Да, сэр. Посмотрите в витрине, там полно разных типов грифелей.
— Я хотел бы купить тот, который имеет самое высокое электрическое сопротивление.
— Прошу прощения?..
Уидроу вкратце обрисовал продавщице суть, она вытащила грифели из коробки и позволила ему заняться измерениями. Победителем стал грифель Fineline Type H, предназначенный для механического карандаша, — он выдал рекордные 9 Ом от одного конца до другого. Уидроу и Хофф взяли этот грифель, поместили один конец грифеля в зажим, окунули другой конец в раствор сульфата меди в серной кислоте, погрузили туда медный электрод и включили электрический ток. Вытащив и ополоснув грифель, учёные увидели отличное покрытие из меди на его кончике — твёрдое как камень.
Затем таким же образом медь была нанесена на другой конец грифеля. Экспериментаторы припаяли к медным оконцовкам грифеля два куска провода с пластмассовой изоляцией, покрыли места пайки лаком для ногтей, который Уидроу попросил у жены, — это было сделано, чтобы припой не растворился в серной кислоте. Затем учёные поместили грифель в лабораторную пробирку (оставив концы проводов снаружи), туда же опустили оголённый медный провод и наполнили пробирку уже знакомым раствором. В итоге у них получилось устройство с тремя выведенными наружу электрическими контактами. Подавая в разных направлениях ток между медным проводом и грифелем, можно было добиваться как осаждения меди на поверхности грифеля, так и её удаления оттуда, что позволяло изменять сопротивление грифеля в пределах от 9 до 0,25 Ом.
Именно из таких элементов и был собран ADALINE. Обучение было организовано при помощи несложной электросхемы, реализующей алгоритм, получивший название LMS (Least Mean Squares, алгоритм наименьших средних квадратов) [1233] , — один из ранних вариантов стохастического градиентного спуска [1234] . Информация, накопленная искусственными нейронами ADALINE, была воплощена в различной толщине слоя меди на поверхности графитных стержней.
1233
Anderson J., Rosenfeld E. (2000). Talking Nets: An Oral History of Neural Networks. New York, NY, USA: MIT Press // https://books.google.ru/books?id=-l-yim2lNRUC
1234
Douglas S. C. (1995). Generalized gradient adaptive step sizes for stochastic gradient adaptive filters / 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 2, Iss. 8, pp. 1396—1399 // https://doi.org/10.1109/ICASSP.1995.480502
Позже в одном из интервью Уидроу так описывал события того времени: «Мы знали о Розенблатте только из газетных заметок о его работе. Она была сенсационной темой для прессы. Через некоторое время и наша работа также стала сенсационной. Некоторые из людей, занимающихся в Стэнфорде связями с общественностью, однажды организовали мою пресс-конференцию. Там была целая комната, полная репортёров, и я демонстрировал самообучающуюся машину. Это было довольно удивительно для 1960 года. Никто не знал, что это, чёрт возьми, такое и что можно с этим делать. Мы тоже не знали, что с этим можно делать» [1235] .
1235
Anderson J., Rosenfeld E. (2000). Talking Nets: An Oral History of Neural Networks. New York, NY, USA: MIT Press // https://books.google.ru/books?id=-l-yim2lNRUC
Как в перцептроне Розенблатта, так и в ADALINE искусственный нейрон выполняет две операции: суммирование входящих сигналов и подстановку их в некоторую функцию, называемую пороговой функцией или
Как перцептрон Розенблатта, так и ADALINE обучались при помощи сходных алгоритмов, сегодня известных под названием «метод коррекции ошибки». Подробнее этот подход мы рассмотрим позже, когда будем говорить о теореме о сходимости перцептрона. Отметим лишь, что, в отличие от перцептрона Розенблатта, в ADALINE для вычисления величины ошибки использовалось значение сигнала до прохождения его через функцию активации. Многослойная версия ADALINE вполне ожидаемо получила название MADALINE.
Группы Розенблатта и Уидроу были не единственными командами учёных, кто занимался созданием коннекционистских моделей в те годы. В конце 1950-х — начале 1960-х гг. над созданием модели, похожей на перцептрон и ADALINE, работал немецкий информатик Карл Штейнбух (собственно, он и придумал немецкий термин Informatik — информатика, который затем перекочевал в русский язык, благодаря чему сегодня мы можем обойтись одним словом «информатика» вместо двух английских computer science). Алгоритм, созданный Штейнбухом, получил название Lernmatrix — матрица обучения. В конце 1968 г. в Технологическом институте Карлсруэ под руководством Штейнбуха на основе Lernmatrix был создан первый европейский нейрокомпьютер.
Система состояла из двух модулей. Модуль ввода был «глазами» устройства и представлял собой набор фотоэлементов. Сигналы, полученные фотоэлементами, обрабатывались при помощи обучаемой матрицы на базе реле. В своих экспериментах Штейнбух продемонстрировал, что система была способна распознавать изображения пяти гласных букв [1236] , [1237] .
1236
Hilberg v. W. (1995). Karl Steinbuch, ein zu Unrecht vergessener Pionier der kunstlichen neuronalen Systeme / Frequenz, Vol. 49, pp. 1—2 // https://www.degruyter.com/downloadpdf/j/freq.1995.49.1-2/freq.1995.49.1-2.28/freq.1995.49.1-2.28.pdf
1237
Karl Steinbuch: von der Kybernetik zur Politik (2017) / Heinz Nixdorf MuseumsForum Blog, 15.06.2017 // https://blog.hnf.de/karl-steinbuch-von-der-kybernetik-zur-politik/
Перцептрон Розенблатта был устроен похожим образом. Входные данные поступали в него при помощи модуля ввода, в котором входное изображение подсвечивалось мощным источником света и проецировалось на матрицу размером 20 x 20 фотоэлементов на основе сульфида кадмия. Перцептрон также имел коммутационную панель, которая позволяла формировать конфигурацию возбуждающих и тормозящих синаптических связей [1238] .
1238
Bishop C. M. (2006). Pattern Recognition and Machine Learning. Information science and statistics. Springer New York // https://books.google.ru/books?id=kOXDtAEACAAJ