Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

В 1990-е и начале 2000-х гг. свет увидело немало работ, в которых рассматривалось создание экспериментальных нейроморфных микросхем, в том числе предназначенных для решения прикладных задач. Например, в статье Ясухиро Оты и Богдана Виламовски, опубликованной в 2000 г. [1665] , предлагается CMOS-архитектура синхронной импульсной нейронной сети и рассматривается её применение в обработке изображений. Аппаратная конструкция была основана на модели нейрона «интегрировать-и-сработать» с утечками и обеспечивала динамическое связывание синапсов. Впрочем, размеры сетей, реализуемых нейроморфными микросхемами в 1990-е и в начале 2000-х гг., были довольно скромными, а сами микросхемы если и доводились до стадии выполнения «в кремнии», то выпускались обычно крайне малыми сериями, а то и в единичных экземплярах.

1665

Ota Y., Wilamowski B. W. (2000). CMOS Architecture of Synchronous Pulse-Coupled Neural Network / 26th Annual Confjerence of the IEEE, Vol. 2 // https://doi.org/10.1109/IECON.2000.972295

Конечно, очень круто изготовить нейроморфный чип [1666] , симулирующий работу верхнего двухолмия (Superior colliculus)

мозга амбарной совы (сипуха обыкновенная, Tyto alba), но хочется всё-таки увидеть подобный процессор встроенным в какое-нибудь пользовательское устройство, хотя бы в электронный глобус.

Старт программы SyNAPSE в 2008 г. подстегнул новую волну интереса к нейроморфной инженерии. Основными получателями финансирования от DARPA стали HRL Laboratories, IBM и Hewlett-Packard. От IBM исследовательскую группу возглавил Дхармендра Модха, от HRL — Нарьян Шриниваса, от HP — Грегори Снайдер. Компании, в свою очередь, привлекли в качестве субподрядчиков ряд ведущих американских университетов.

1666

Huo J., Murray A., Wei D. (2012). Adaptive Visual and Auditory Map Alignment in Barn Owl Superior Colliculus and Its Neuromorphic Implementation / IEEE Transactions on Neural Networks and Learning Systems, Vol. 23, No. 9, pp. 1486—1497 // https://doi.org/10.1109/TNNLS.2012.2204771

5.3.9 Открытие мемристора

Именно в 2008 г. компания Hewlett-Packard (далее — HP) привлекла к себе внимание благодаря заявлению о создании мемристора [memristor] — «недостающего звена» электронной схемотехники.

Теория электронных схем до начала 1970-х гг. вращалась вокруг трёх известных фундаментальных двухполюсных элементов, известных как резистор, конденсатор и катушка индуктивности. Эти элементы отражают отношения между парами четырёх основных электрических величин: заряда, силы тока, напряжения и потока магнитной индукции.

Несложно заметить, что в списке элементов отсутствует такой, который обеспечивал бы связь между зарядом и магнитным потоком. Профессор Леон Чуа из Калифорнийского университета в Беркли в 1971 г. был первым, кто обратил внимание на это недостающее звено, предположив возможность создания четвёртого фундаментального элемента. Этот четвёртый элемент был назван мемристором (не путать с мемистором Уидроу!): от слов memory — память и resistor — резистор. Чуа показал, что переменный мемристор, по сути дела, является резистором с памятью, поскольку его сопротивление меняется в зависимости от прошедшего через него заряда.

В течение многих лет после выхода в свет пионерской работы Чуа исследователи считали, что мемристор является лишь теоретическим конструктом. Конечно, в оригинальной статье Чуа было продемонстрировано устройство, состоящее из операционных усилителей и дискретных нелинейных резисторов, но мало кто надеялся в те годы на то, что этот же принцип может быть воплощён в простом физическом элементе. Громом среди ясного неба стала публикация в Nature исследователей Hewlett-Packard под руководством Ричарда Стэнли Уильямса из лаборатории в Пало-Альто под названием «Найден пропавший мемристор» (The missing memristor found) [1667] , объявившая, что физическая модель мемристора создана. Наличие эффекта памяти было продемонстрировано в твердотельном тонкоплёночном двухполюсном устройстве [1668] , состоящем из тонкой (50 нм) плёнки диоксида титана, разделяющей два электрода толщиной 5 нм (один изготовлен из титана, второй — из платины). Плёнка диоксида титана имела два слоя, в одном из которых существовал небольшой дефицит атомов кислорода. Отсутствие атома в одном из узлов кристаллической решётки называют «вакансией», а отсутствие атома кислорода соответственно «кислородной вакансией». Кислородные вакансии действуют как носители заряда, поэтому обеднённый слой имеет меньшее сопротивление, чем необеднённый. Приложение электрического поля вызывает дрейф кислородных вакансий, что приводит к смещению границы между слоями. Это изменение можно обратить, изменив направление тока. Таким образом, сопротивление плёнки в целом зависит от заряда, прошедшего через неё в определённом направлении [1669] .

1667

Strukov D., Snider G., Stewart D. R., Williams R. S. (2008). The missing memristor found / Nature, Vol. 453, pp. 80—83 // https://doi.org/10.1038/nature06932

1668

Vaidyanathan S., Volos C. (2016). Advances and Applications in Nonlinear Control Systems. Studies in Computational Intelligence. Springer International Publishing // https://books.google.ru/books?id=NxDNCwAAQBAJ

1669

^* Диоксид титана — весьма распространённое химическое соединение. Это белый неорганический пигмент, широко применяемый в пищевой, косметической и фармацевтической промышленности. В качестве пищевой добавки (E171) он применяется для отбеливания рыбного фарша (сурими), в кондитерском производстве — для придания белизны сахарной и жировой глазури и конфетам. Диоксид титана можно легко встретить в числе компонентов зубной пасты, солнцезащитного крема, изделий из стекла и керамики, а также других повседневных вещей. По всей видимости, именно в силу своей распространённости в качестве пищевой добавки диоксид титана является источником лютого баттхёрта у многих хемофобов.

Сам по себе эффект изменения сопротивления диоксида титана был первоначально описан в 1960-е гг., однако в те годы не привлёк внимания инженеров.

Не все специалисты согласны с тем, что в 2008 г. команда исследователей HP создала именно мемристор. В конце концов, количество кислородных вакансий в плёнке ограниченно. Устройство будет работать в течение определённого времени как своеобразный «химический конденсатор», пока химическая неоднородность не будет сбалансирована, что приведёт к нарушению основного требования к подлинному мемристору, так называемого «свойства разряда без энергии» [1670] . Есть и другие претензии к «мемристору» на основе диоксида титана (как и к другим существующим устройствам, претендующим на высокое звание мемристора). Впрочем, сам создатель термина «мемристор» Леон Чуа выступил в поддержку своих коллег из HP, предложив относить к мемристорам все «двухполюсные устройства энергонезависимой памяти, основанные

на изменении сопротивления <…> независимо от материала устройства и физических механизмов его действия» [1671] . Впрочем, при такой расширительной трактовке понятия к мемристорам можно отнести и мемистор Уидроу, и даже потенциометры с электромоторами, использовавшиеся Розенблаттом. Отечественные остряки из Томской группы и студенческого отделения Института инженеров по электротехнике и радиоэлектронике вообще предлагают называть мемристоры «пизасторами» (по первым буквам в выражении «Поток И ЗАряд», поскольку эти устройства связывают магнитный поток и заряд), а явление, лежащее в его основе, — «пизастансом»: «…гипотетическое устройство было главным образом описано как математическое развлечение. Тридцать лет спустя, старейшина Хулетт-Поцкард Стэн Уильямс и его группа работала над молекулярной электроникой, когда они стали обращать внимание на странное поведение в их устройствах. „Они делали действительно забавные вещи, и мы не могли выяснить, что это за хрень“, — говорит Уильямс. Тогда сотрудник Хулетт-Поцкард Грэг Стукач открыл вновь работу Хуа 1971 г. Уильямс вспоминает: „Он сказал: «Эй, чуваки, я не знаю, что за говно мы получили, но это то, что мы хотели»“. Уильямс потратил несколько лет, читая и перечитывая статьи Хуа. „Это были несколько лет чесания затылка и размышления об этом“. Тогда Уильямс понял, что их босхианская коллекция устройств были действительно пизасторами. Это поражало воображение до самых корней» [1672] .

1670

Meuffels P., Soni R. (2012). Fundamental Issues and Problems in the Realization of Memristors // https://arxiv.org/abs/1207.7319

1671

Chua L. (2011). Resistance switching memories are memristors / Applied Physycs A, Vol. 102, pp. 765—783 // https://doi.org/10.1007/s00339-011-6264-9

1672

Пизастор таинственный (2008) / Томская группа и студенческое отделение Института инженеров по электротехнике и радиоэлектронике // https://web.archive.org/web/20200128145235/http://ieee.tpu.ru/smex/pizastor_01.html

Рис. 116. Фундаментальные двухполюсные элементы электронной схемотехники

По крайней мере, с последним утверждением электронщиков из Томска трудно поспорить — открытие Уильямса и его коллег поразило воображение «до самых корней».

Выход статьи в Nature спровоцировал быстрый рост интереса к данной области, и вскоре появилось множество альтернативных схем реализации мемристора. Более того, выяснилось, что некоторые из них были предложены до публикации исследователями HP своих результатов.

Рост интереса к мемристивным устройствам спровоцировал увеличение интереса к нейроморфной инженерии. Действительно, появление недорогих и компактных мемристоров могло бы серьёзно упростить сборку технических аналогов нейронов и сделать их более эффективными. Разработка подобных технологий активно ведётся в наши дни. Например, в 2018 г. одна из трёх компаний, составивших ядро программы SyNAPSE, а именно HRL, сообщила о создании искусственного нейрона, в основе которого лежат мемристоры на базе диоксида ванадия. Нейроны от HRL успешно симулируют работу известных типов биологических нейронов, что делает их одним из перспективных строительных блоков нейроморфных систем [1673] .

1673

Yi W., Tsang K. K., Lam S. K., Bai X., Crowell J. A., Flores E. A. (2018). Biological plausibility and stochasticity in scalable VO₂ active memristor neurons / Nature Communications, Vol. 9, Article number: 4661 // https://doi.org/10.1038/s41467-018-07052-w

Программа SyNAPSE произвела на свет много интересных проектов, здесь мы ограничимся упоминанием двух из них. В 2010 г. свет увидел анимат MoNETA (MOdular Neural Exploring Traveling Agent, Модулярный нейронный исследующий путешествующий агент). Аниматами называют искусственные поведенческие модели животных, предназначенные для изучения интеллекта на примитивном уровне [1674] . Фактически аниматы — это автоматизированные агенты, действующие в виртуальном или реальном мире, своеобразные искусственные животные.

1674

Wilson S. W. (1986). Knowledge Growth in an Artificial Animal / Narendra K. S. (1986). Adaptive and Learning Systems. Springer, Boston, MA // https://doi.org/10.1007/978-1-4757-1895-9_18

Взаимодействуя с реальным миром, анимат MoNETA учится принимать решения, направленные на увеличение вознаграждения и уклонение от опасностей. Программный «мозг» анимата создан при помощи фреймворка Cog Ex Machina (Cog), разработанного HP совместно с Бостонским университетом, и предназначен для запуска на разрабатываемых HP нейроморфных чипах на основе мемристоров [1675] ^, [1676] .

В ноябре 2020 г. в журнале Nature Nanotechnology была опубликована статья [1677] , сообщившая о создании инженерами Техасского университета в Остине (University of Texas at Austin, UT) самого маленького на текущий момент мемристора. В качестве основного материала в этом устройстве используется дисульфид молибдена. Не исключено, что в ближайшие годы именно этот тип мемристоров станет базовым строительным элементом новых нейроморфных устройств.

1675

Versace M., Chandler B. (2010). MoNETA: A Mind Made from Memristors / IEEE Spectrum, 23 Nov 2010 // https://spectrum.ieee.org/robotics/artificial-intelligence/moneta-a-mind-made-from-memristors

1676

Kozma R., Pino R. E., Pazienza G. E. (2012). Advances in Neuromorphic Memristor Science and Applications. Springer Science & Business Media // https://books.google.ru/books?id=ATdIfAol_k4C

1677

Hus S. M., Ge R., Chen P.-A., Liang L., Donnelly G. E., Ko W., Huang F., Chiang M.-H., Li A.-P., Akinwande D. (2020). Observation of single-defect memristor in an MoS2 atomic sheet / Nature Nanotechnology, Vol. 16, pp. 58—62 // https://www.nature.com/articles/s41565-020-00789-w