Искусственный интеллект

Душкин Роман

Обычно в качестве сети D берётся свёрточная сеть глубокого обучения – ну просто потому, что именно свёрточные сети, как уже описано, лучше всего занимаются распознаванием образов, а дискриминационная сеть должна именно распознавать образы, которые создаёт генеративная сеть. А в качестве последней используются те сети, которые могут генерировать образы. И вообще говоря, сегодня именно генеративные нейронные сети находятся на пике интереса, и

здесь могут быть самые разные варианты нейросетей. Например, генеративно-состязательные нейронные сети нашли очень широкое применение в вопросе так называемого машинного творчества.

Финский учёный в области искусственного интеллекта Теуво Кохонен предложил несколько интереснейших концепций в рамках машинного обучения и искусственных нейронных сетей, из-за чего он стал наиболее часто цитируемым финским учёным. В частности, им предложены:

• фундаментальная теория ассоциативной памяти;

• особенный алгоритм обучения нейронных сетей;

• особый класс нейронных сетей (нейронные сети Кохонена);

• самоорганизующиеся карты Кохонена;

• модель нейрона и специального слоя (слой Кохонена).

Наибольший интерес представляет самоорганизующаяся карта Кохонена. Это особая архитектура нейронной сети Кохонена для обучения без учителя. Карта решает задачи кластеризации и снижения размерности и применяется для решения задач моделирования, прогнозирования, выявления наборов независимых признаков, поиска закономерностей в больших массивах данных, квантизации признаков к их ограниченному числу индексов и некоторых других.

Самоорганизующаяся карта Кохонена получает на вход массив многомерных данных и проецирует его на двумерную плоскость, «раскрашивая» её и получая что-то вроде разноцветной административной карты территории (отсюда и название архитектуры). От разработчика или аналитика необходимо только задание количества кластеров, на которые необходимо разбить входной массив, а дальше нейросеть всё сделает самостоятельно.

Самоорганизующаяся карта Кохонена

Очень интересный подход предложили несколько учёных в 2014 г. В рамках него искусственную нейронную сеть совместили с внешней памятью, ведь произвольный доступ к памяти является критически важной функцией при обработке информацией. И компьютеры, и мозг человека

работают с тем или иным видом памяти, к которой можно обращаться более или менее произвольно. Так вот, в предлагаемой архитектуре, которая была названа «нейронной машиной Тьюринга», нейронная сеть получает входную информацию и выдаёт выходную информацию не только во взаимодействии с внешним миром, но и использует внутреннюю память в виде матрицы чисел. Ячейки этой матрицы-памяти индексируются при помощи так называемых нечётких индексов, что позволяет нейросети обращаться ко всем ячейкам как бы одновременно, получая их линейную комбинацию.

На диаграмме показана общая структурная схема нейронной машины Тьюринга. Нейронная сеть является управляющим устройством машины и получает из среды входную информацию, выдавая в неё выходную информацию. Нейронная сеть управляет устройствами чтения и записи в память, которые, соответственно, осуществляют чтение и запись в память с нечётким доступом. Обращение к памяти осуществляется на каждом цикле работы нейронной сети, но при этом она сама обучается, как и когда это делать.

Эта архитектура, как предполагается, имеет много интересных приложений. Уже сегодня в экспериментах по распознаванию образов, обработке текста и по решению некоторых других задач такая нейронная машина Тьюринга показала результаты, превосходящие по производительности рекурсивные сети с LSTM-нейронами.

В большинстве моделей для кластеризации данных предполагается, что количество кластеров определяется заранее до старта алгоритма, сам алгоритм кластеризации работает один раз, а при изменении входных данных его необходимо запускать повторно (возможно, с изменением числа кластеров). Это схема работы большинства моделей машинного обучения, в том числе и многих нейросетевых моделей. В качестве альтернативной модели была предложена модель расширяющегося нейронного газа, в которой нет этих недостатков, – в ней число кластеров определяется самостоятельно, а сама модель является динамической, так что при изменении входных данных она тут же пересчитывает свои параметры и выдаёт новый результат, основанный на истории своей работы, в том числе и до изменения входных данных.

Конец ознакомительного фрагмента.