Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
5.3.10 Нейроморфные системы типа II сегодня
В 2014 г. IBM представила нейроморфный процессор TrueNorth, хотя и созданный без применения мемристоров, но обладающий весьма впечатляющими характеристиками.
Микросхема TrueNorth содержит 4096 вычислительных (так называемых нейросинаптических) ядер, каждое из которых обеспечивает работу 256 искусственных нейронов, что в сумме даёт чуть более миллиона нейронов. В свою очередь, каждый нейрон обладает 256 конфигурируемыми «синапсами»; таким образом, общее количество программируемых синапсов составляет чуть более 268 млн. Потребляемая мощность этого устройства, состоящего из 5,4 млрд транзисторов, составляет всего 70 милливатт [1678] .
1678
Merolla P. A., Arthur J. V., Alvarez-Icaza R., Cassidy A. S., Sawada J., Akopyan F., Jackson B. L., Imam N., Guo C., Nakamura Y., Brezzo B., Vo I., Esser S. K., Appuswamy R., Taba B., Amir A., Flickner M. D., Risk W. P., Manohar R., Modha D. S. (2014). A million spiking-neuron integrated circuit with a scalable communication network and interface / Science, Vol. 345 (6197): 668 // https://doi.org/10.1126/science.1254642
Несмотря на столь впечатляющие показатели, создание TrueNorth
Главной проблемой для инженеров из IBM было то, что к моменту начала работы над проектом не было убедительно доказано, что аналоговый подход может обеспечить ту же точность при решении задач, что и существующее программное обеспечение на обычном цифровом оборудовании. Эксперименты с обучением глубоких нейронных сетей на основе аналоговой памяти показывали более низкую точность классификации, связанную с несовершенством существовавших на тот момент аналоговых устройств.
Уже к 2018 г. исследователи успели перепробовать множество удивительных мемристивных устройств, основанных на самых разных принципах, таких, например, как резистивная оперативная память (Resistive random-access memory, ReRAM или RRAM) [1679] , [1680] , [1681] , [1682] различных типов, оперативная память с проводящим мостом (Conductive-bridging random-access memory, CBRAM) [1683] , ENOD (Electrochemical neuromorphic organic device, электрохимическое нейроморфное органическое устройство) [1684] , LISTA (lithium-ion synaptic transistor for analogue computing, литий-ионный синаптический транзистор для аналоговых вычислений) [1685] , [1686] .
1679
Yu S., Chen P.-Y., Cao Y., Xia L., Wang Y., Wu H. (2015). Scaling-up resistive synaptic arrays for neuro-inspired architecture: challenges and prospect / 2015 IEEE International Electron Devices Meeting / https://doi.org/10.1109/IEDM.2015.7409718
1680
Gao L., Wang I.-T., Chen P.-Y., Vrudhula S., Seo J.-s., Cao Y., Hou T.-H., Yu S. (2015). Fully parallel write/read in resistive synaptic array for accelerating on-chip learning / Nanotechnology, Vol. 26, Num. 45 // https://doi.org/10.1088/0957-4484/26/45/455204
1681
Prezioso M., Merrikh-Bayat F., Hoskins B. D., Adam G. C., Likharev K. K., Strukov D. B. (2015). Training and operation of an integrated neuromorphic network based on metal-oxide memristors / Nature, Vol. 521, pp. 61—64 // https://doi.org/10.1038/nature14441
1682
Jang J.-W., Park S., Burr G. W., Hwang H., Jeong Y.-H. (2015). Optimization of conductance change in Pr1–xCaxMnO3– based synaptic devices for neuromorphic systems / IEEE Electron Device Letters, Vol. 36, No. 5, pp. 457—459 // https://researcher.watson.ibm.com/researcher/files/us-gwburr/PCMO_neuromorphic_EDL2015.pdf
1683
Jeong Y. J., Kim S., Lu W. D. (2015). Utilizing multiple state variables to improve the dynamic range of analog switching in a memristor / Applied Physics Letters, Vol. 107 // https://doi.org/10.1063/1.4934818
1684
van de Burgt Y., Lubberman E., Fuller E. J., Keene S. T., Faria G. C., Agarwal S., Marinella M. J., Talin A. A., Salleo A. (2017). A non-volatile organic electrochemical device as a low-voltage artifcial synapse for neuromorphic computing / Nature Materials, Vol. 16, pp. 414—418 // https://doi.org/10.1038/nmat4856
1685
Agarwal S., Jacobs Gedrim R. B., Hsia A. H., Hughart D. R., Fuller E. J., Talin A. A., James C. D., Plimpton S. J., Marinella M. J. (2017). Achieving ideal accuracies in analog neuromorphic computing using periodic carry / 2017 Symposium on VLSI Technology // https://doi.org/10.23919/VLSIT.2017.7998164
1686
Upadhyay N. K., Jiang H., Wang Z., Asapu S., Xia Q., Joshua Yang J. (2019). Emerging Memory Devices for Neuromorphic Computing / Advanced Materials Technologies, 1800589 // https://doi:10.1002/admt.201800589
В марте 2021 г. учёные из Калифорнийского университета в Сан-Диего представили общественности «моттовский активационный нейрон» (Mott activation neuron) — наноустройство, реализующее кусочно-линейную функцию активации ReLU (о ней мы поговорим позже), являющуюся элементом многих современных нейронных сетей. В основе данного элемента лежит эффект, называемый «переходом Мотта» — в честь открывшего его английского физика Невилла Мотта, лауреата Нобелевской премии по физике 1977 г. Устройство нового элемента весьма изящно: над нанометровым слоем диоксида ванадия расположен нагреватель на основе нанопроволоки из титана и золота. Когда ток течёт через нанопроволоку, слой диоксида ванадия медленно нагревается, что, ввиду вышеуказанного эффекта, приводит к его постепенному превращению из изолирующего в проводящий [1687] .
1687
Oh S., Shi Y., del Valle J., Salev P., Lu Y., Huang Z., Kalcheim Y., Schuller I. K., Kuzum D. (2021). Energy-efficient Mott activation neuron for full-hardware implementation of neural networks / Nature Nanotechnology, Vol. 16, pp. 680—687 // https://doi.org/10.1038/s41565-021-00874-8
Впрочем, между прототипом мемристивного элемента и полноценным процессором на его основе лежит довольно долгий путь, полный различных инженерных трудностей. Например, необходимо научиться создавать не просто единичные элементы, а полноценные массивы таких элементов. Для того чтобы процессор на основе мемристивных элементов мог конкурировать с традиционными интегральными микросхемами, он должен управляться очень короткими и низкоэнергетическими импульсами — иначе устройство будет слишком медленным и будет выделять слишком много тепла. Успеха удалось добиться за счёт создания устройства, сочетающего в себе энергонезависимую память на базе технологии PCM (Phase-change memory, Память с изменением фазового состояния) с классической энергозависимой памятью на основе CMOS для хранения синаптических весов. При этом PCM применялось для осуществления аналоговых операций умножения и накопления, используемых для коррекции весов в методе обратного распространения ошибки. Эксплуатируя это чудо современной технологии, специалисты IBM смогли обучить глубокие нейронные сети решению задач классификации изображений на популярных датасетах (MNIST, зашумлённая версия MNIST, CIFAR-10, CIFAR-100). При этом обученные сети не уступали в точности аналогам,
1688
Ambrogio S., Narayanan P., Tsai H., Shelby R. M., Boybat I., Nolfo C., Sidler S., Giordano M., Bodini M., Farinha N. C. P., Killeen B., Cheng C., Jaoudi Y., Burr G. W. (2018). Equivalent-accuracy accelerated neural-network training using analogue memory / Nature, Vol. 558, pp. 60—67 // https://doi.org/10.1038/s41586-018-0180-5
В нейроморфную гонку включились и другие производители компьютерного оборудования. Компания Intel продемонстрировала опытный образец процессора Loihi, состоящего из 128 нейросинаптических ядер и трёх ядер Lakemont x86 (Quark). Каждое нейроморфное ядро, созданное на базе 14-нанометрового техпроцесса, обеспечивает работу 1024 искусственных нейронов — каждый с 1024 искусственными синапсами, что даёт в сумме более 130 000 нейронов и 130 млн синаптических связей. Правила обучения сети программируются при помощи системы микрокодов. Intel сообщает, что энергоэффективность Loihi при обучении нейронных сетей примерно в 1000 раз выше, чем при использовании обычных CPU [1689] , [1690] , [1691] . Первые тестовые чипы были выпущены в ноябре 2017 г. и с 2018 г. стали передаваться ведущим университетам и исследовательским лабораториям [1692] .
1689
Mayberry M. (2017). Intel’s New Self-Learning Chip Promises to Accelerate Artificial Intelligence / Intel newsroom, September 25, 2017 // https://newsroom.intel.com/editorials/intels-new-self-learning-chip-promises-accelerate-artificial-intelligence/
1690
Davies M. (2018). Loihi — a brief introduction // http://niceworkshop.org/wp-content/uploads/2018/05/Mike-Davies-NICE-Loihi-Intro-Talk-2018.pdf
1691
Loihi – Intel / WikiChip // https://en.wikichip.org/wiki/intel/loihi
1692
Mayberry M. (2018). Intel Creates Neuromorphic Research Community to Advance ‘Loihi’ Test Chip / Intel newsroom, March 1, 2018 // https://newsroom.intel.com/editorials/intel-creates-neuromorphic-research-community/
Процессоры Loihi могут быть объединены в вычислительные массивы с помощью плат Intel Nahuku, каждая из которых может нести на себе от 8 до 32 процессоров. Система Pohoiki Beach, запущенная Intel в начале 2019 г., состоит из нескольких плат Nahuku, объединяющих 64 процессора Loihi (в сумме более 8 млн нейронов). В конце 2019 г. компания закончила сборку ещё более грандиозной машины — Pohoiki Springs, объединяющей 768 процессоров Loihi и обеспечивающей работу около 100 млн нейронов (примерно как в мозге мыши) [1693] .
1693
News Byte (2020). Intel Scales Neuromorphic Research System to 100 Million Neurons / Intel newsroom, March 18, 2020 // https://newsroom.intel.com/news/intel-scales-neuromorphic-research-system-100-million-neurons/
30 сентября 2021 г. Intel представила Loihi 2 — нейроморфный исследовательский чип второго поколения и Lava — программную среду с открытым исходным кодом для разработки нейроморфных приложений. Усовершенствования в архитектуре Loihi 2 позволили добиться примерно десятикратного ускорения при обработке данных, увеличить число искусственных нейронов до миллиона, а также повысить энергоэффективность системы [1694] .
О своих нейроморфных амбициях заявляет и другой крупнейший производитель интегральных микросхем — корейская компания Samsung [1695] .
1694
Intel Advances Neuromorphic with Loihi 2, New Lava Software Framework and New Partners (2021) / Intel newsroom, September 30, 2021 // https://www.intel.com/content/www/us/en/newsroom/news/intel-unveils-neuromorphic-loihi-2-lava-software.html
1695
Ham D., Park H., Hwang S., Kim K. (2021). Neuromorphic electronics based on copying and pasting the brain / Nature Electronics, Vol. 4, pp. 635—644 // https://doi.org/10.1038/s41928-021-00646-1
В августе 2023 г. исследователи из компании IBM на страницах журнала Nature рассказали о новом нейроморфном процессоре, предназначенном для задач распознавания речи [1696] . В основе устройства: 35 млн PCM-элементов, объединённых в 34 ячейки, система массово-параллельного обмена данными между ячейками и аналоговая периферийная схема с низким энергопотреблением, которая позволяет достичь производительности 12,4 трлн синаптических операций в секунду на ватт потребляемой мощности. В своих тестах разработчики смогли успешно запустить на пяти таких процессорах нейросеть MLPerf8 с 45 млн параметров, основанную на архитектуре RNNT (Recurrent neural-network transducer, Рекуррентный нейросетевой трансдьюсер).
1696
Ambrogio S., Narayanan P., Okazaki A., Fasoli A., Mackin C., Hosokawa K., Nomura A., Yasuda T., Chen A., Friz A., Ishii M., Luquin J., Kohda Y., Saulnier N., Brew K., Choi S., Ok I., Philip T., Chan V., Silvestre C., Ahsan I., Narayanan V., Tsai H., Burr G. W. (2023). An analog-AI chip for energy-efficient speech recognition and transcription / Nature, Vol. 620, pp. 768–775 // https://doi.org/10.1038/s41586-023-06337-5
Практически одновременно другая группа исследователей из IBM опубликовала в Nature Electronics статью [1697] про гибридный процессор, предназначенный для инференса (исполнения) нейросетевых моделей. Этот процессор сочетает цифровые вычисления, выполняемые схемой, основанной на 14-нм комплементарной технологии металл — оксид — полупроводник, с аналоговыми вычислениями во встроенной PCM-памяти (Analogue in-memory computing, AIMC). Устройство состоит из 64 ядер, соединённых в единую сеть. В зависимости от выбранной степени точности процессор позволяет достичь производительности от 2,48 до 9,76 трлн операций в секунду на ватт. Исследователи успешно запустили на нём нейросети с архитектурами ResNet и LSTM, получив точность, практически не уступающую точности тензорных процессоров.
1697
Le Gallo M., Khaddam-Aljameh R., Stanisavljevic M., Vasilopoulos A., Kersting B., Dazzi M., Karunaratne G., Brandli M., Singh A., Muller S. M., Buchel J., Timoneda X., Joshi V., Rasch M. J., Egger U., Garofalo A., Petropoulos A., Antonakopoulos T., Brew K., Choi S., Ok I., Philip T., Chan V., Silvestre C., Ahsan I., Saulnier N., Narayanan V., Francese P. A., Eleftheriou E., Sebastian A. (2023). A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference / Nature Electronics, 10 August 2023 // https://doi.org/10.1038/s41928-023-01010-1