Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Neurogrid использует аналоговые схемы для имитации работы ионных каналов и цифровой обмен данными между программируемыми синаптическими соединениями. Система состоит из шестнадцати «нейросинаптических ядер», каждое из которых представляет собой отдельную интегральную микросхему размером 11,9 x 13,9 мм. Каждое ядро способно эмулировать работу 65 536 нейронов, что в сумме даёт более миллиона нейронов для системы в сборке.

Нейросинаптические ядра объединены в двоичное дерево при помощи каналов с пропускной способностью 80 Мбит/с. Встроенная память нейросинаптических ядер и внешняя оперативная память дочерней платы используются соответственно для программного конфигурирования вертикальных и горизонтальных кортикальных соединений.

Каждый из искусственных нейронов Neurogrid эмулирует работу биологического нейрона, который в расчётной модели разделяется на две условные части — так называемые «субклеточные компартменты». Один компартмент включает в себя сому (тело клетки) и её окрестности (так

называемую базальную зону), второй — апикальный дендрит. Термины «базальный» (от лат. basis — основа) и «апикальный» (от лат. apex — вершина) используются в науке для обозначения частей, составляющих основу чего-либо (в данном случае — клетки), и соответственно частей, удалённых от основы.

Связи между отростками нейронов, заканчивающимися в различных слоях, воспроизводятся благодаря использованию модели пирамидальных нейронов, каждый из которых также условно разделён на два компартмента.

Пирамидальные, или пирамидные, нейроны — это самые многочисленные клетки в коре (присутствующие также и в некоторых других отделах головного мозга), начало исследованию которых положил ещё Рамон-и-Кахаль. Сома (клеточное тело) пирамидальных нейронов имеет коническую форму, из-за чего они и получили своё название. Со стороны основания конуса из клетки выдаётся длинный аксон, а также множество разветвлённых базальных дендритов. Вершина же конуса продолжается большим апикальным дендритом.

Для воспроизводства работы различных типов пирамидальных нейронов в Neurogrid предусмотрена возможность изменения типа электрического соединения между компартментами. Использование при моделировании взаимодействий нейронов лишь двух компартментов позволяет минимизировать количество различных популяций (типов) ионных каналов, которые необходимо симулировать, что позволяет максимизировать количество нейронов в модели. Общее число синапсов в симулируемых моделях может достигать 6 млрд, при этом суммарное энергопотребление системы в процессе работы составляет всего 5 ватт [1599] ^, [1600] .

1599

The Board: Neurogrid (2009) / Stanford University: Brains in Silicon // https://web.stanford.edu/group/brainsinsilicon/neurogrid.html

1600

Benjamin B. V., Gao P., McQuinn E., Choudhary S., Chandrasekaran A. R., Bussat J., Alvarez-Icaza R., Arthur J. V., Merolla P. A., Boahen K. (2014). Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations / Proceedings of the IEEE, Vol. 102, No. 5, May 2014 // https://doi.org/10.1109/JPROC.2014.2313565

В основе другой системы, BrainScaleS (NM-PM-1), разработанной в рамках Human Brain Project, находится 20 неразрезанных кремниевых пластин диаметром 200 мм, каждая из которых включает в себя 384 микросхемы со смешанным типом сигналов — так называемые микросхемы аналоговых нейронных сетей с большим количеством входов (High Input Count Analog Neural Network chip, HICANN). Эти микросхемы физически эмулируют работу сети импульсных нейронов с настраиваемыми синапсами. Единая пластина позволяет организовать широкополосную асинхронную инфраструктуру передачи сигналов. Пластина также соединена с 48 модулями связи на базе FPGA (т. е. каждый модуль соединён с восьмью микросхемами HICANN), обеспечивающими возможность подключения к другим модулям на основе таких же пластин [wafer modules], а также к центральной ЭВМ, используемой для настройки и управления системой. Каждая микросхема HICANN реализует как минимум 114 688 программируемых динамических синапсов и до 512 нейронов, что даёт в сумме около 44 млн синапсов и до 196 608 нейронов на один модуль пластины. Точное количество нейронов зависит от конфигурации системы, которая позволяет объединять несколько нейронных ячеек для увеличения количества входных синапсов в одной клетке.

В сумме система из 20 модулей позволяет симулировать сеть размером до почти 4 млн нейронов. Это немногим меньше, чем содержится в мозге рыбки гуппи, счастливой обладательницы примерно 4,3 млн нейронов. Несмотря на сравнительно скромный по меркам животного мира размер сети, эмулируемой BrainScaleS, машина обладает важным преимуществом: скорость её работы в 1000–10 000 раз выше, чем у биологических систем [1601] ^, [1602] ^, [1603] .

1601

Davison A. P., Muller E., Schmitt S., Vogginger B., Lester D., Pfeil T. (2020). HBP Neuromorphic Computing Platform Guidebook. Release 2020-01-21 09:32:46 (cc9c98a) / Human Brain Project — Neuromorphic Computing Platform // https://flagship.kip.uni-heidelberg.de/jss/FileExchange/HBPNeuromorphicComputingPlatformGuidebook.pdf?fID=1504&s=qqdXDg6HuX3&uID=65

1602

Schmitt S., Klahn J., Bellec G., Grub A., Guttler M., Hartel A., Hartmann S., Husmann D., Husmann K., Jeltsch S., Karasenko V., Kleider M., Koke C., Kononov A., Mauch C., Muller E., Muller P., Partzsch J., Petrovici M. A., Schiefer S., Scholze S., Thanasoulis V., Vogginger B., Legenstein R., Maass W., Mayr C., Schuffny R., Schemmel J., Meier K. (2017). Neuromorphic Hardware In The Loop: Training a Deep Spiking Network on the BrainScaleS Wafer-Scale System / 2017 International Joint Conference on Neural Network // https://doi.rog/10.1109/IJCNN.2017.7966125

1603

Hardware (2020) / Human Brain Project // https://www.humanbrainproject.eu/en/silicon-brains/how-we-work/hardware/

В

феврале 2017 г. группа учёных, занятых в Human Brain Project, представила работу, описывающую прогресс в области создания второй версии BrainScaleS. В экспериментальных микросхемах на смену 180-нанометровой технологии пришла более совершенная, 65-нанометровая технология. Кроме того, большое внимание учёные уделяют реализации на аппаратном уровне алгоритмов обучения импульсных нейронных сетей [1604] ^, [1605] .

1604

Schemmel J., Kriener L., Muller P., Meier K. (2017). An Accelerated Analog Neuromorphic Hardware System Emulating NMDA- and Calcium-Based Non-Linear Dendrites // 2017 International Joint Conference on Neural Networks / https://doi.org/10.1109/IJCNN.2017.7966124

1605

Schmitt S., Muller E. (2019). BrainScaleS Hands-On Tutorial: Overview / NICE Workshop, 2019 // https://niceworkshop.org/wp-content/uploads/2019/04/NICE-2019-Day-4a_BrainScaleS-Overview.pdf

В настоящее время в рамках Human Brain Project на основе тесного сотрудничества специалистов по микроэлектронике с нейробиологами ведётся разработка следующего поколения микросхем для симуляции происходящих в мозге процессов. Эти микросхемы станут основой для следующего поколения больших машин, которые будут введены в эксплуатацию приблизительно в 2023 г. [1606] Новые машины позволят ещё больше увеличить масштаб симуляций и повысить скорость их выполнения.

1606

Hardware (2020) / Human Brain Project // https://www.humanbrainproject.eu/en/silicon-brains/how-we-work/hardware/

5.3.6 Нейроморфные системы типа I. Исследования мозга и принцип STDP

Конечно, успехи, достигнутые в области обучения традиционных искусственных нейронных сетей при помощи метода обратного распространения ошибки, создают соблазн применить этот же метод при обучении импульсных сетей. Импульсная версия метода обратного распространения ошибки показала свою жизнеспособность — сегодня импульсные сети, обученные при помощи этого метода, лишь незначительно уступают в точности традиционным нейронным сетям.

Однако для достоверной симуляции мозга нужно использовать методы, аналогичные тому, что происходит собственно в мозге. Одна из проблем заключается в том, что современной науке неизвестны бесспорные физиологические аналоги метода обратного распространения ошибки. Если вам хочется позлить нейрофизиолога, заведите с ним дискуссию о методе обратного распространения ошибки в мозге, но хочу сразу предупредить, что за последствия этой авантюры я не несу никакой ответственности. Ввиду этого пришлось искать для обучения импульсных сетей методы, для которых всё-таки обнаруживаются аналоги в физиологии. В конечном счёте эта одиссея завершилась успехом, и сегодня таковые нам известны. Более того, выяснилось, что в ряде экспериментов они не слишком уступают методу обратного распространения ошибки [1607] , а при правильно подобранных параметрах могут оказаться даже более эффективными.

1607

Illing D., Gerstner W., Brea J. (2019). Biologically plausible deep learning — But how far can we go with shallow networks? / Neural Networks, Vol. 118, pp. 90—101 // https://doi.org/10.1016/j.neunet.2019.06.001