Учебное пособие по курсу «Нейроинформатика»
Шрифт:
Все программы, кроме программы Hopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод
↓
Входными параметрами процедуры спуска являются
1. Начальная карта.
3. Локальное обучающее множество.
4. Процедура вычисления оценки.
Алгоритм процедуры спуска:
1. Вычисляем оценку по локальному обучающему множеству (Е1).
2. Делаем пробный шаг, добавляя к начальной карте вектор направления спуска умноженный на шаг S.
3. Вычисляем оценку по локальному обучающему множеству (Е2).
4. Если Е2<E1, то увеличиваем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–4 до тех пор, пока не станет E2>E1. Карта, которой соответствует оценка E1,и является результатом работы процедуры.
5. Если после первого выполнения шага 3 оказалось, что E2>E1, то уменьшаем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–3 и 5 до тех пор, пока не станет E2<E1. Карта, которой соответствует оценка E1, и является результатом работы процедуры.
Все программы, кроме программыHopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
В данной программе принят способ кодирования ответа номером канала: номер того из пяти ответных нейронов, который выдал на последнем такте функционирования наибольший сигнал, задает номер класса, к которому сеть отнесла предъявленный образ. Оценка, таким образом, может быть вычислена только для задачи, ответ которой известен.
Данная программа предусматривает два различных способа оценивания решения. Различие в способах оценки связано с различием требований, накладываемых на обученную сеть. Пусть пример относится к N-ой задаче. Тогда требования можно записать так:
Метод наименьших квадратов (Программа Pade)
N-ый нейрон должен выдать на выходе 1.
Остальные нейроны должны давать на выходе 0 (как можно более близкое к 0 число).
Метод наименьших квадратов (Программы Sigmoid и Sinus).
N-ый
Остальные нейроны должны давать на выходе –1 (как можно более близкое к –1 число).
Расстояние до множества
В этом случае требование только одно — разница между выходным сигналом N-го нейрона и выходными сигналами остальных нейронов должна быть не меньше уровня надежности.
Таким образом, для Метода наименьших квадратов оценка примера N-ой задачи равна
H = (Сумма по I<>N от 1 до 5 (A[I]+1)^2)) + (A[N]-1)^2
и является обычным Евклидовым расстоянием от правильного ответа до ответа, выданного сетью.
Как следует из названия второго метода оценивания, вычисляемая по этому способу оценка равна расстоянию от выданного сетью ответа до множества правильных ответов. Множество правильных ответов для примера N-ой задачи задается неравенствами
A[N]-R > A[I], для всех I<>N.
Все программы, кроме программы Hopfield.
Входные данные задачи распознавания черно-белых изображений представляют собой последовательность 0 и 1 (есть точка — 1, нет — 0). Такие данные не всегда оптимальны для решения задачи распознавания. В связи с этим возникает задача предобработки данных. Возможны различные виды предобработки — преобразования Фурье, построение различных инвариантов и т. п. В этой программе предусмотрено несколько видов предобработки:
Автокоррелятор сдвиг+отражение
Автокоррелятор сдвиг+вращение+отражение
В результате предобработки получается не только более информативный вектор входных сигналов, но иногда и вектор меньшей размерности. Кроме того, вектор входных сигналов, полученный предобработкой типа "сдвиговый автокоррелятор" является инвариантным к сдвигу.
Все программы, кроме программы Hopfield.
Это «пустая» предобработка — никакой предобработки не производится.
Все программы, кроме программы Hopfield.
Основная идея этого метода предобработки — сделать вектор входных сигналов нейронной сети инвариантным к сдвигу. Другими словами, два вектора, соответствующие одному и тому же образу, расположенному в разных местах шаблона 10*10, после предобработки этим способом должны совпадать! Рассмотрим подробно метод вычисления автокоррелятора. Пусть дано изображение X. x[i,j] — точка изображения в i-ом ряду и j-ом столбце. Будем считать x[i,j]=0, если хотя бы один индекс (i или j) находится вне пределов интервала (1,10). Элемент автокоррелятора A — a[l,k] вычисляется по формуле: