Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Сегодня число проектов нейроморфных чипов, находящихся на разной степени готовности, перевалило за десяток. Это и DYNAP (Dynamic Neuromorphic Asynchronous Processor, Динамический нейроморфный асинхронный процессор) от компании aiCTX (AI Cortex) [1698] , и Dynamic Vision Sensor (Динамический зрительный сенсор) от iniVation [1699] (обе компании связаны с ETH-Zurich), и нейроморфный процессор Akida от компании BrainChip, и RAMP (Reconfigurable Analog Modular Processor, Реконфигурируемый аналоговый модульный процессор) от Aspinity [1700] , и совместный китайско-сингапурский Tianjic [1701] , и Eyeriss от MIT [1702] , и EIE (Efficient Inference Engine, Эффективный движок для выполнения [нейросетевых моделей]) из Стэнфорда [1703] , и российский «Алтай» от новосибирской компании «Мотив» [1704] и так далее.

1698

Moradi S., Qiao N., Stefanini F., Indiveri G. (2017). A Scalable Multicore Architecture With Heterogeneous Memory Structures for Dynamic Neuromorphic Asynchronous Processors (DYNAPs) / IEEE Transactions on Biomedical Circuits and Systems, Vol. 12, Iss. 1 // https://doi.org/10.1109/TBCAS.2017.2759700

1699

Delbruck T. (2017). The development of the DVS and DAVIS sensors / ICRA 2017 workshop on Event-Based Vision, Singapore, June 2, 2017 // http://rpg.ifi.uzh.ch/docs/ICRA17workshop/Delbruck.pdf

1700

RAMP Technology: Stop wasting battery power on the digitization of irrelevant data / Aspinity // https://www.aspinity.com/Technology

1701

Pei J., Deng L., Song S., Zhao M., Zhang Y., Wu S., Wang G., Zou Z., Wu Z., He W., Chen F., Deng N., Wu S., Wang Y., Wu Y., Yang Z., Ma C., Li G., Han W., Li H., Wu H., Zhao R., Xie Y., Shi L. (2019). Towards artificial general intelligence with hybrid Tianjic chip architecture / Nature, Vol. 572, pp. 106—111 // https://doi.org/10.1038/s41586-019-1424-8

1702

Chen Y., Krishna T., Emer J., Sze V. (2016). Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks / IEEE ISSCC 2016 // http://eyeriss.mit.edu/

1703

Han S., Liu X., Mao H., Pu J., Pedram A., Horowitz M. A., Dally W. J. (2016). EIE: Efficient Inference Engine on Compressed Deep Neural Network / 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture // https://www.cs.virginia.edu/~smk9u/CS6501F16/p243-han.pdf

1704

Нейроморфный

процессор «Алтай» (2019) / Мотив: Нейроморфные технологии // https://motivnt.ru/neurochip-altai/

Подробный обзор [1705] существующих нейроморфных систем был опубликован в конце июля 2020 г. в журнале Nature, однако новые устройства подобного рода появляются едва ли не ежемесячно — сегодня это весьма горячее направление развития технологий. Развитие специализированного оборудования для задач машинного обучения — мощный двигатель прогресса в области ИИ. И хотя новая коннекционистская весна опиралась по большей части на тензорные процессоры — главную сегодня «рабочую лошадку» индустрии глубокого обучения, — ситуация может измениться в любой момент, поскольку в наши дни множество усилий учёных и инженеров направлено на изучение существующих альтернатив, в первую очередь всевозможных нейроморфных архитектур. Исследователи из Национального института стандартов и технологий США разработали искусственные синапсы на базе нанотекстурированных магнитных джозефсоновских контактов [1706] , китайские учёные предлагают искусственные синапсы на базе графеновых ферроэлектрических транзисторов [1707] , в Южной Калифорнии разработаны синаптические транзисторы на базе выровненных углеродных нанотрубок [1708] , разрабатываются различные типы оперативной памяти с интегрированными вычисляющими элементами (Computational RAM).

1705

Zhang W., Gao B., Tang J., Yao P., Yu S., Chang M.-F., Yoo H.-J., Qian H., Wu H. (2020). Neuro-inspired computing chips / Nature Electronics, Vol. 3, pp. 371—382 // https://doi.org/10.1038/s41928-020-0435-7

1706

Schneider M. L., Donnelly C. A., Russek S. E., Baek B., Pufall M. R., Hopkins P. F., Dresselhaus P. D., Benz S. P., Rippard W. H. (2018). Ultralow power artificial synapses using nanotextured magnetic Josephson junctions / Science Advances, Vol. 4, no. 1 // https://doi.org/10.1126/sciadv.1701329

1707

Chen Y., Zhou Y., Zhuge F., Tian B., Yan M., Li Y., He Y., Shui Miao X. (2019). Graphene–ferroelectric transistors as complementary synapses for supervised learning in spiking neural network / npj 2D Materials and Applications, 3, 31 // https://doi.org/10.1038/s41699-019-0114-6

1708

Sanchez Esqueda I., Yan X., Rutherglen C., Kane A., Cain T., Marsh P., Liu Q., Galatsis K., Wang H., Zhou C. (2018). Aligned Carbon Nanotube Synaptic Transistors for Large-Scale Neuromorphic Computing / ACS Nano, Vol. 12, Iss. 7, pp. 7352—7361 // https://doi.org/10.1021/acsnano.8b03831

В начале 2022 г. в журнале Science была опубликована работа [1709] группы американских учёных, которым удалось создать полностью реконфигурируемую нейроморфную структуру на базе никелата перовскита — по сути, речь идёт об устройстве, реализующем нейронную сеть, архитектура которой может изменяться под воздействием электрических импульсов. Всего через полторы недели после этой работы, уже в Nature Communications, увидела свет статья [1710] шведских учёных, посвящённая исследованию другого потенциального физического субстрата для нейроморфных вычислений — электромеханически переключаемых углеводородов на основе [8]аннуленов.

1709

Zhang H.-T., Park T. J., Islam A. N. M. N., Tran D. S. J., Manna S., Wang Q., Mondal S., Yu H., Banik S., Cheng S., Zhou H., Gamage S., Mahapatra S., Zhu Y., Abate Y., Jiang N., Sankaranarayanan S. K. R. S., Sengupta A., Teuscher C., Ramanathan S. (2022). Reconfigurable perovskite nickelate electronics for artificial intelligence / Science, Vol. 375, Iss. 6580, pp. 533—539 // https://doi.org/10.1126/science.abj7943

1710

Tasic M., Ivkovic J., Carlstrom G., Melcher M., Bollella P., Bendix J., Gorton L., Persson P., Uhlig J., Strand D. (2022). Electro-mechanically switchable hydrocarbons based on [8]annulenes / Nature Communications, Vol. 13, Iss. 860 // https://doi.org/10.1038/s41467-022-28384-8

Чаще всего экспериментальные мемристоры создаются на базе тех же технологий, что и различные массивы памяти, однако в 2022 г. в журнале Science вышла новая любопытная статья. В ней исследователи Массачусетского технологического института утверждают, что компоненты, оптимизированные для долговременного хранения информации, плохо подходят для осуществления регулярных переходов между состояниями, необходимых для постоянно подстраиваемых синаптических связей искусственной нейронной сети. Дело в том, что физические свойства, обеспечивающие долговременную стабильность, обычно плохо сочетаются со свойствами, обеспечивающими быстрое переключение. Для решения проблемы скорости исследователи разработали программируемые резисторы, проводимость которых регулируется введением или удалением протонов в канал, состоящий из фосфоросиликатного стекла (ФСС). Этот механизм отдалённо напоминает принцип работы биологических нейронов, в которых ионы переносят сигналы через синаптические щели. Разработанное устройство имеет три вывода, два из которых являются по существу входом и выходом синапса, а третий используется для применения электрического поля, которое в зависимости от направления стимулирует движение протонов из резервуара в канал из ФСС или обратно (чем больше протонов в канале, тем выше его сопротивление). Эту схему работы устройства исследователи придумали ещё в 2020 г., однако они не сразу догадались использовать ФСС. Именно такое решение позволило резко увеличить скорость переключения устройства: наноразмерные поры в структуре ФСС позволяют протонам очень быстро перемещаться через него, и ещё ФСС способно выдерживать очень сильные импульсы электрического поля, а более мощные электрические поля позволяют протонам перемещаться гораздо быстрее. Поскольку напряжение выше 1,23 вольта заставляет воду, составляющую основную часть клеток, расщепляться на водород и кислород, то электрические поля в мозге должны быть относительно слабыми. Во многом поэтому длительность неврологических процессов обычно составляет миллисекунды. В отличие от биологических синапсов вышеописанное устройство способно работать при напряжении до 10 вольт и с импульсами длительностью до 5 нс. Вдобавок размеры таких устройств измеряются всего лишь нанометрами, что делает их в 1000 раз меньше биологических синапсов [1711] ^, [1712] .

1711

Gent E. (2022). MIT Researchers Create Artificial Synapses 10,000x Faster Than Biological Ones. / Singularity hub, August 1, 2022 // https://singularityhub.com/2022/08/01/mit-researchers-created-artificial-synapses-10000x-faster-than-biological-ones/

1712

Onen M., Emond N., Wang B., Zhang D., Ross F. M., Li J., Yildiz B., Del Alamo J. A. (2022). Nanosecond protonic programmable resistors for analog deep learning // https://doi.org/10.1126/science.abp8064

Создание систем такого рода открывает перед нейроморфной инженерией новые удивительные перспективы.

5.3.11 Перспективные вычислительные технологии

В эпоху повсеместного торжества микроэлектроники учёные продолжают поиск альтернативных технологий, способных в будущем стать базой вычислительных машин. В качестве одной из возможных замен «классических» устройств рассматриваются машины, в основу которых будут положены эффекты квантовой физики, — так называемые квантовые компьютеры. По мнению учёных, они смогут решать многие вычислительные задачи намного быстрее, чем современные ЭВМ [1713] .

1713

Fedorov A. K., Beloussov S. M. (2021). Quantum computing at the quantum advantage threshold / Unpublished paper.

Базовым строительным кирпичиком квантовых компьютеров являются кубиты (qubit, сокращение от quantum bit — квантовый бит) — «квантовые версии» двоичных регистров. Как и бит, кубит допускает два собственных состояния, обозначаемых — по предложению Поля Дирака — «|0>» и «|1>». При этом, согласно принципам квантовой механики, кубит находится в «суперпозиции»: «A|0> + B|1>», где A и B — это комплексные числа, удовлетворяющие условию A² + B² = 1, а при любом измерении состояния кубита он случайным образом с вероятностью A² переходит в состояние «|0>», а с вероятностью B² — в состояние «|1>». Кубиты могут пребывать в состоянии «квантовой запутанности» друг с другом, что предполагает наличие между ними некоторой ненаблюдаемой связи, выражающейся в том, что при любом изменении одного кубита остальные изменяются согласованно с ним. Из кубитов можно составлять квантовые логические вентили, позволяющие конструировать сложную вычислительную логику. Также существует расширенная версия кубита с количеством состояний больше двух — кудит (qudit, сокращение от quantum dit — квантовый дит [1714] ) [1715] .

1714

^* Дит — единица количества информации, содержащейся в сообщении о данном состоянии системы, имеющей десять равновероятных состояний.

1715

Wang Y., Hu Z., Sanders B. C., Kais S. (2020). Qudits and high-dimensional quantum computing // https://arxiv.org/abs/2008.00959

За последние три десятилетия достижения в области квантовых вычислений стимулировали значительный интерес к этой области со стороны промышленности, инвесторов, средств массовой информации, менеджмента и общества. Создано множество опытных квантовых компьютеров, возможности которых пока существенно ограниченны, однако с их помощью уже получен ряд обнадёживающих результатов [1716] . В последние годы активно исследуются возможности реализации алгоритмов машинного обучения на квантовых компьютерах. Разработаны квантовые реализации как для «классических» методов, таких как линейная регрессия [1717] ^, [1718] ^, [1719] ^, [1720] , деревья решений [1721] , SVM [1722] ^, [1723] ^, [1724] ,

скрытые марковские модели [1725] ^, [1726] , так и для различных архитектур нейронных сетей: машин Больцмана [1727] ^, [1728] ^, [1729] ^, [1730] ^, [1731] ^, [1732] , вариационных автокодировщиков [1733] , свёрточных сетей [1734] , LSTM [1735] , трансформеров [1736] , а также произвольных многослойных перцептронов [1737] ^, [1738] ^, [1739] ^, [1740] ^, [1741] . Предложены концепции, позволяющие реализовать на квантовых машинах такие парадигмы машинного обучения, как обучение с подкреплением [1742] , генеративно-состязательные сети [1743] ^, [1744] ^, [1745] и ансамбли моделей [1746] ^, [1747] ^, [1748] .

1716

Fedorov A. K., Beloussov S. M. (2021). Quantum computing at the quantum advantage threshold / Unpublished paper.

1717

Wang G. (2014). Quantum Algorithm for Linear Regression // https://arxiv.org/abs/1402.0660

1718

Schuld M., Sinayskiy I., Petruccione F. (2016). Prediction by linear regression on a quantum computer // https://arxiv.org/abs/1601.07823

1719

Li G., Wang Y., Luo Y., Feng Y. (2019). Quantum Data Fitting Algorithm for Non-sparse Matrices // https://arxiv.org/abs/1907.06949

1720

Dutta S., Suau A., Dutta S., Roy S., Behera B. K., Panigrahi P. K. (2020). Quantum circuit design methodology for multiple linear regression / IET Quantum Communication, Vol. 1, Iss. 2, pp. 55-61 // https://doi.org/10.1049/iet-qtc.2020.0013

1721

Lu S., Braunstein S. L. (2014). Quantum decision tree classifier / Quantum Information Processing, Vol. 13, pp. 757—770 // https://doi.org/10.1007/s11128-013-0687-5

1722

Rebentrost P., Mohseni M., Lloyd S. (2014). Quantum Support Vector Machine for Big Data Classification / Physical Review Letters, Vol. 113, Iss. 13 // https://doi.org/10.1103/PhysRevLett.113.130503

1723

Chatterjee R., Yu T. (2016). Generalized Coherent States, Reproducing Kernels, and Quantum Support Vector Machines // https://arxiv.org/abs/1612.03713

1724

Schuld M., Killoran N. (2018). Quantum machine learning in feature Hilbert spaces // https://arxiv.org/abs/1803.07128

1725

Monras A., Beige A., Wiesner K. (2010). Hidden Quantum Markov Models and non-adaptive read-out of many-body states // https://arxiv.org/abs/1002.2337

1726

Srinivasan S., Gordon G., Boots B. (2017). Learning Hidden Quantum Markov Models // https://arxiv.org/abs/1710.09016

1727

Denil M., de Freitas N. (2011). Toward the Implementation of a Quantum RBM / NIPS 2011 Deep Learning and Unsupervised Feature Learning Workshop // https://www.cs.ubc.ca/~nando/papers/quantumrbm.pdf

1728

Dumoulin V., Goodfellow I. J., Courville A., Bengio Y. (2013). On the Challenges of Physical Implementations of RBMs // https://arxiv.org/abs/1312.5258

1729

Wiebe N., Kapoor A., Svore K. M. (2014). Quantum Deep Learning // https://arxiv.org/abs/1412.3489

1730

Benedetti M., Realpe-Gomez J., Biswas R., Perdomo-Ortiz A. (2015). Estimation of effective temperatures in quantum annealers for sampling applications: A case study with possible applications in deep learning // https://arxiv.org/abs/1510.07611

1731

Amin M. H., Andriyash E., Rolfe J., Kulchytskyy B., Melko R. (2016). Quantum Boltzmann Machine // https://arxiv.org/abs/1601.02036

1732

Anschuetz E. R., Cao Y. (2019). Realizing Quantum Boltzmann Machines Through Eigenstate Thermalization / https://arxiv.org/abs/1903.01359

1733

Khoshaman A., Vinci W., Denis B., Andriyash E., Sadeghi H., Amin M. H. (2018). Quantum variational autoencoder / Quantum Science and Technology, Vol. 4, No. 1 // https://iopscience.iop.org/article/10.1088/2058-9565/aada1f

1734

Cong I., Choi S., Lukin M. D. (2019). Quantum convolutional neural networks / Nature Physics, Vol. 15, pp. 1273—1278 // https://doi.org/10.1038/s41567-019-0648-8

1735

Chen S. E.-C., Yoo S., Fang Y.-L. L. (2020). Quantum Long Short-Term Memory // https://arxiv.org/abs/2009.01783

1736

Di Sipio R. (2021). Toward a Quantum Transformer / Towards Data Science, Jan 10, 2021 // https://towardsdatascience.com/toward-a-quantum-transformer-a51566ed42c2

1737

Kak S. C. (1995). Quantum Neural Computing / Advances in Imaging and Electron Physics, Vol. 94, pp. 259—313 //70147-2

1738

Zak M., Williams C. P. (1998). Quantum Neural Nets / International Journal of Theoretical Physics, Vol. 37, pp. 651—684 // https://doi.org/10.1023/A:1026656110699

1739

Cao Y., Guerreschi G. G., Aspuru-Guzik A. (2017). Quantum Neuron: an elementary building block for machine learning on quantum computers // https://arxiv.org/abs/1711.11240

1740

Wan K. H., Dahlsten O., Kristjansson H., Gardner R., Kim M. S. (2017). Quantum generalisation of feedforward neural networks / npj Quantum Information, Vol. 3 // https://doi.org/10.1038/s41534-017-0032-4

1741

Killoran N., Bromley T. R., Arrazola J. M., Schuld M., Quesada N., Lloyd S. (2018). Continuous-variable quantum neural networks // https://arxiv.org/abs/1806.06871

1742

Stromberg T., Schiansky P., Dunjko V., Friis N., Harris N. C., Hochberg M., Englund D., Wolk S., Briegel H. J., Walther P. (2021). Experimental quantum speed-up in reinforcement learning agents / Nature, Vol. 591, pp. 229—233 // https://doi.org/10.1038/s41586-021-03242-7

1743

Gao X., Zhang Z., Duan L. (2017). An efficient quantum algorithm for generative machine learning // https://arxiv.org/abs/1711.02038

1744

Lloyd S., Weedbrook C. (2018). Quantum generative adversarial learning // https://arxiv.org/abs/1804.09139

1745

Dallaire-Demers P.-L., Killoran N. (2018). Quantum generative adversarial networks // https://arxiv.org/abs/1804.08641

1746

Schuld M., Petruccione F. (2018). Quantum ensembles of quantum classifiers / Scientific Reports, Vol. 8 (2772) // https://doi.org/10.1038/s41598-018-20403-3

1747

Wang X., Ma Y., Hsieh M.-H., Yung M. (2019). Quantum Speedup in Adaptive Boosting of Binary Classification // https://arxiv.org/abs/1902.00869

1748

Arunachalam S., Maity R. (2020). Quantum Boosting // https://arxiv.org/abs/2002.05056

По мере создания квантовых компьютеров, состоящих из достаточно большого числа элементов (кубитов или кудитов), квантовые машины смогут претендовать на роль основной вычислительной платформы для задач машинного обучения. Однако пока их разработка находится на стадии поиска физической основы вычислений, наиболее подходящей для последующего масштабирования. Появление удачной физической платформы может стать началом настоящей революции, которая до неузнаваемости изменит нашу вычислительную технику, а вместе с ней, по всей видимости, и всю индустрию машинного обучения. Обнадёживающие новости приходят и из мира нанофотоники.

В биотехнологических лабораториях учёные из биологических нейронов выращивают органоиды, которые могут стать основой будущих вычислительных устройств на основе технологий wetware [1749] . Исследователи из компании Cortical Labs создали систему Dishbrain, состоящую из находящихся в чашке Петри примерно миллиона человеческих нейронов, которая успешно соперничает с искусственными нейронными сетями при обучении игре в Pong [1750] . Клеточные культуры управляют первыми криповатыми гибротами (гибридными роботами из электроники и живой ткани) [1751] .

1749

Trujillo C. A., Gao R., Negraes P. D., Chaim I. A., Domissy A., Vandenberghe M., Devor A., Yeo G. W., Voytek B., Muotri A. R. (2018). Nested oscillatory dynamics in cortical organoids model early human brain network development // https://www.biorxiv.org/content/10.1101/358622v1

1750

Le Page M. (2021). Human brain cells in a dish learn to play Pong faster than an AI / New Scientist, 17 December 2021 // https://www.newscientist.com/article/2301500-human-brain-cells-in-a-dish-learn-to-play-pong-faster-than-an-ai/

1751

Bakkum D. J., Booth M. C., Brumfield J. R., Chao Z., Madhavan R., Passaro P. A., Rambani K., Shkolnik A. C., Towal R. B. (2004). Hybrots: hybrids of living neurons and robots for studying neural computation / Brain Inspired Cognitive Systems, August 29 — September 1, 2004, University of Stirling, Scotland, UK // http://www.cs.stir.ac.uk/~lss/BICS2004/CD/papers/1094.pdf

Какие-то из этих технологий так и останутся лабораторными игрушками, а каким-то уже совсем скоро предстоит стать новой технологической базой нашего общества.

5.4 Данные

Ещё младенцем, однажды где-то

без спросу взял я с гербом и грифом бумагу;

и в правом верхнем углу цветное

своё, конечно, изображенье наклеил;

а посредине — единым махом,

славянской вязью, китайской тушью —

вписал подряд, как есть, не тая:

свой рост и возраст, и вес и адрес,

и род занятий, и беспартийность, конечно;

к тому прибавил, со строчки красной,

подробный список родных и близких, а как же;

потом немного ещё подумал —

и отпечаток большого пальца

оттиснул в левом нижнем углу;

а в нижнем правом — поставил подпись,

таким уж, видно, смышлёным был я ребёнком…

Михаил Щербаков