Кодировка ассоциаций

Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обучающего набора, состоящего из пар векторов

$Кодировка ассоциаций$

. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведений всех векторных пар обучающего набора. B символьной форме запишем

$Кодировка ассоциаций$

Предположим, что все запомненные образы представляют собой двоичные векторы. Это ограничение будет выглядеть менее строгим, если вспомнить, что все содержимое Библиотеки Университета может быть закодировано в один очень длинный двоичный вектор. Показано, что более высокая производительность достигается при использовании биполярных векторов. При этом векторная компонента, большая чем 0, становится

$Кодировка ассоциаций$

, а компонента, меньшая или равная 0, становится

$Кодировка ассоциаций$

Предположим, что требуется обучить сеть с целью запоминания трех пар двоичных векторов, причем векторы

$Кодировка ассоциаций$

имеют размерность такую же, как и векторы

$Кодировка ассоциаций$

. Надо отметить, что это не является необходимым условием для работы алгоритма; ассоциации могут быть сформированы и между векторами различной размерности.

Исходный вектор	Ассоциированный вектор	Бинарная версия
$Кодировка ассоциаций$	$Кодировка ассоциаций$	$Кодировка ассоциаций$	$Кодировка ассоциаций$
$Кодировка ассоциаций$	$Кодировка ассоциаций$	$Кодировка ассоциаций$	$Кодировка ассоциаций$
$Кодировка ассоциаций$	$Кодировка ассоциаций$	$Кодировка ассоциаций$	$Кодировка ассоциаций$

Вычисляем весовую матрицу:

$Кодировка ассоциаций$

Далее, прикладывая входной вектор

$Кодировка ассоциаций$

, вычисляем выходной вектор

$Кодировка ассоциаций$

Используя пороговое правило,

$Кодировка ассоциаций$

, если

$Кодировка ассоциаций$

, если

$Кодировка ассоциаций$

, не изменяется, если

$Кодировка ассоциаций$

вычисляем

$Кодировка ассоциаций$

что является требуемой ассоциацией. Затем, подавая вектор

$Кодировка ассоциаций$

через обратную связь на вход первого слоя к

$Кодировка ассоциаций$

, получаем

$Кодировка ассоциаций$

что дает значение

$Кодировка ассоциаций$

после применения пороговой функции и образует величину вектора

$Кодировка ассоциаций$

Этот пример показывает, как входной вектор

$Кодировка ассоциаций$

с использованием матрицы

$Кодировка ассоциаций$

производит выходной вектор

$Кодировка ассоциаций$

. В свою очередь, вектор

$Кодировка ассоциаций$

с использованием матрицы

$Кодировка ассоциаций$

производит вектор

$Кодировка ассоциаций$

, и таким образом в системе формируется устойчивое состояние и резонанс.

ДАП обладает способностью к обобщению. Например, если незавершенный или частично искаженный вектор подается в качестве

$Кодировка ассоциаций$

, сеть имеет тенденцию к выработке запомненного вектора

$Кодировка ассоциаций$

, который, в свою очередь, стремится исправить ошибки в

$Кодировка ассоциаций$

. Возможно, для этого потребуется несколько проходов, но сеть сходится к воспроизведению ближайшего запомненного образа.

Системы с обратной связью могут иметь тенденцию к колебаниям; это означает, что они могут переходить от состояния к состоянию, никогда не достигая стабильности. Доказано, что все ДАП безусловно стабильны при любых значениях весов сети. Это важное свойство возникает из отношения транспонирования между двумя весовыми матрицами и означает, что любой набор ассоциаций может быть использован без риска возникновения нестабильности.

Существует взаимосвязь между ДАП и рассмотренными на предыдущих лекциях сетями Хопфилда. Если весовая матрица

$Кодировка ассоциаций$

является квадратной и симметричной, то

$Кодировка ассоциаций$

. В этом случае, если слои 1 и 2 являются одним и тем же набором нейронов, ДАП превращается в автоассоциативную сеть Хопфилда.

Содержание раздела

Главная сайта