Функционирование сети APT в процессе классификации
Процесс классификации в APT состоит из трех основных фаз: распознавание, сравнение и поиск.
Фаза распознавания. В начальный момент времени входной вектор отсутствует на входе сети; следовательно, все компоненты входного вектора
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/d/f/2/df2e4deb040873a595e335660868713e.png)
устанавливается в
![](../../../../img/tex/8/d/3/8d34d8da1b19af3c540971b22de5b755.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/7/1/7/7177b5bec56c972534c56c03d643a189.png)
![](../../../../img/tex/d/f/2/df2e4deb040873a595e335660868713e.png)
становятся равными единице. Это "подкачивает" нейроны слоя сравнения, обеспечивая один из двух единичных входов, необходимых для возбуждения нейронов в соответствии с правилом двух третей, и тем самым позволяя нейрону возбуждаться, если соответствующая компонента входного вектора
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
равна единице. Таким образом, в течение данной фазы вектор
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
Далее, для каждого нейрона в слое распознавания вычисляется свертка вектора его весов
![](../../../../img/tex/f/f/2/ff2ca388c8699e062cabf4e1abe2f20e.png)
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/c/0/9/c09e32aef1ba8b25430211b02db18d43.png)
![](../../../../img/tex/d/a/3/da311307206ae9771eebead6d93b953c.png)
![](image/25-5.png)
Рис. 11.5.
В результате сеть APT запоминает образы в весах нейронов слоя распознавания — один нейрон для каждой категории классификации. Нейрон слоя распознавания, веса которого наилучшим образом соответствуют входному вектору, возбуждается, его выход устанавливается в единичное значение, а выходы остальных нейронов этого слоя устанавливаются в нуль.
Фаза сравнения. Единственный возбужденный нейрон в слое распознавания возвращает единицу обратно в слой сравнения в виде своего выходного сигнала
![](../../../../img/tex/c/0/9/c09e32aef1ba8b25430211b02db18d43.png)
Процесс классификации в APT состоит из трех основных фаз: распознавание, сравнение и поиск.
Фаза распознавания. В начальный момент времени входной вектор отсутствует на входе сети; следовательно, все компоненты входного вектора
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/d/f/2/df2e4deb040873a595e335660868713e.png)
устанавливается в
![](../../../../img/tex/8/d/3/8d34d8da1b19af3c540971b22de5b755.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/7/1/7/7177b5bec56c972534c56c03d643a189.png)
![](../../../../img/tex/d/f/2/df2e4deb040873a595e335660868713e.png)
становятся равными единице. Это "подкачивает" нейроны слоя сравнения, обеспечивая один из двух единичных входов, необходимых для возбуждения нейронов в соответствии с правилом двух третей, и тем самым позволяя нейрону возбуждаться, если соответствующая компонента входного вектора
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
равна единице. Таким образом, в течение данной фазы вектор
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
Далее, для каждого нейрона в слое распознавания вычисляется свертка вектора его весов
![](../../../../img/tex/f/f/2/ff2ca388c8699e062cabf4e1abe2f20e.png)
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/c/0/9/c09e32aef1ba8b25430211b02db18d43.png)
![](../../../../img/tex/d/a/3/da311307206ae9771eebead6d93b953c.png)
![](image/25-5.png)
Рис. 11.5.
В результате сеть APT запоминает образы в весах нейронов слоя распознавания — один нейрон для каждой категории классификации. Нейрон слоя распознавания, веса которого наилучшим образом соответствуют входному вектору, возбуждается, его выход устанавливается в единичное значение, а выходы остальных нейронов этого слоя устанавливаются в нуль.
Фаза сравнения. Единственный возбужденный нейрон в слое распознавания возвращает единицу обратно в слой сравнения в виде своего выходного сигнала
![](../../../../img/tex/c/0/9/c09e32aef1ba8b25430211b02db18d43.png)
![](../../../../img/tex/e/9/f/e9f4e8875f0375462be3c7f05e3d328a.png)
![](../../../../img/tex/f/6/6/f6694bec2a7501ab9f813c70e7fe6b8f.png)
![](../../../../img/tex/e/9/f/e9f4e8875f0375462be3c7f05e3d328a.png)
![](image/25-6.png)
Рис. 11.6.
Алгоритмы инициализации и обучения построены таким образом, что каждый весовой вектор
![](../../../../img/tex/e/9/0/e90eddf364e0b5d948c58ca95ac8959b.png)
![](../../../../img/tex/f/f/2/ff2ca388c8699e062cabf4e1abe2f20e.png)
![](../../../../img/tex/b/6/1/b61eca48da689d821e7ade0cfefc3710.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
(вектора возбуждения слоя сравнения) также являются двоичными величинами.
Так как вектор
![](../../../../img/tex/d/a/3/da311307206ae9771eebead6d93b953c.png)
![](../../../../img/tex/7/1/7/7177b5bec56c972534c56c03d643a189.png)
устанавливается в нуль. Таким образом, в соответствии с правилом двух третей, возбудиться могут только нейроны, получающие на входе одновременно единицы от входного вектора
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
Другими словами, обратная связь от распознающего слоя действует так, чтобы установить компоненты
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
не имеют совпадающих компонент).
Если имеются существенные различия между
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
(малое количество совпадающих компонент векторов), несколько нейронов на фазе сравнения будут возбуждаться и
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
Фаза поиска. Если не выработан сигнал сброса, сходство является адекватным и процесс классификации завершается. В противном случае, другие запомненные образы должны быть исследованы с целью поиска лучшего соответствия. При этом торможение возбужденного нейрона в распознающем слое приводит к установке всех компонент вектора
![](../../../../img/tex/d/a/3/da311307206ae9771eebead6d93b953c.png)
![](../../../../img/tex/7/1/7/7177b5bec56c972534c56c03d643a189.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
- Найден запомненный образ, сходство которого с вектором
выше уровня параметра сходства, т. е.
. Если это происходит, проводится обучающий цикл, в процессе которого модифицируются веса векторови, связанных с возбужденным нейроном в слое распознавания. - Все запомненные образы проверены, определено, что они не соответствуют входному вектору, и все нейроны слоя распознавания заторможены. В этом случае предварительно не распределенный нейрон в распознающем слое выделяется этому образу и его весовые векторы
и
устанавливаются соответствующими новому входному образу.
Проблема производительности. Описанная сеть должна производить последовательный поиск среди всех запомненных образов. В аналоговых реализациях это будет происходить очень быстро; однако, при моделировании на обычных цифровых компьютерах процесс может оказаться очень длительным. Если же сеть APT реализуется на параллельных процессорах, все свертки на распознающем уровне могут вычисляться одновременно. В этом случае поиск может стать очень быстрым.
Время, необходимое для стабилизации сети с латеральным торможением, может быть длительным при моделировании на последовательных цифровых компьютерах. Чтобы выбрать победителя в процессе латерального торможения, все нейроны в слое должны быть вовлечены в одновременные вычисления и передачу. Этот процесс может потребовать проведения большого объема вычислений перед достижением сходимости.
![](../../../../img/empty.gif)
<
Эта единственная единица может быть визуально представлена в виде "веерного" выхода, подающегося через отдельную связь с весом
![](../../../../img/tex/e/9/f/e9f4e8875f0375462be3c7f05e3d328a.png)
![](../../../../img/tex/f/6/6/f6694bec2a7501ab9f813c70e7fe6b8f.png)
![](../../../../img/tex/e/9/f/e9f4e8875f0375462be3c7f05e3d328a.png)
![](image/25-6.png)
Рис. 11.6.
Алгоритмы инициализации и обучения построены таким образом, что каждый весовой вектор
![](../../../../img/tex/e/9/0/e90eddf364e0b5d948c58ca95ac8959b.png)
![](../../../../img/tex/f/f/2/ff2ca388c8699e062cabf4e1abe2f20e.png)
![](../../../../img/tex/b/6/1/b61eca48da689d821e7ade0cfefc3710.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
(вектора возбуждения слоя сравнения) также являются двоичными величинами.
Так как вектор
![](../../../../img/tex/d/a/3/da311307206ae9771eebead6d93b953c.png)
![](../../../../img/tex/7/1/7/7177b5bec56c972534c56c03d643a189.png)
устанавливается в нуль. Таким образом, в соответствии с правилом двух третей, возбудиться могут только нейроны, получающие на входе одновременно единицы от входного вектора
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
Другими словами, обратная связь от распознающего слоя действует так, чтобы установить компоненты
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
не имеют совпадающих компонент).
Если имеются существенные различия между
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
(малое количество совпадающих компонент векторов), несколько нейронов на фазе сравнения будут возбуждаться и
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
Фаза поиска. Если не выработан сигнал сброса, сходство является адекватным и процесс классификации завершается. В противном случае, другие запомненные образы должны быть исследованы с целью поиска лучшего соответствия. При этом торможение возбужденного нейрона в распознающем слое приводит к установке всех компонент вектора
![](../../../../img/tex/d/a/3/da311307206ae9771eebead6d93b953c.png)
![](../../../../img/tex/7/1/7/7177b5bec56c972534c56c03d643a189.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
![](../../../../img/tex/a/0/8/a08e7ae13a9084e7f711df07a45a0f0a.png)
В результате другой нейрон выигрывает соревнование в слое распознавания и другой запомненный образ
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
![](../../../../img/tex/a/d/f/adf3957e0de25f3d92edc5b6f8a412ec.png)
![](../../../../img/tex/2/b/b/2bb597dd6ec1d5fd80164ff8c31e34e6.png)
- Найден запомненный образ, сходство которого с вектором
выше уровня параметра сходства, т. е.. Если это происходит, проводится обучающий цикл, в процессе которого модифицируются веса векторови, связанных с возбужденным нейроном в слое распознавания. - Все запомненные образы проверены, определено, что они не соответствуют входному вектору, и все нейроны слоя распознавания заторможены. В этом случае предварительно не распределенный нейрон в распознающем слое выделяется этому образу и его весовые векторы
иустанавливаются соответствующими новому входному образу.
Проблема производительности. Описанная сеть должна производить последовательный поиск среди всех запомненных образов. В аналоговых реализациях это будет происходить очень быстро; однако, при моделировании на обычных цифровых компьютерах процесс может оказаться очень длительным. Если же сеть APT реализуется на параллельных процессорах, все свертки на распознающем уровне могут вычисляться одновременно. В этом случае поиск может стать очень быстрым.
Время, необходимое для стабилизации сети с латеральным торможением, может быть длительным при моделировании на последовательных цифровых компьютерах. Чтобы выбрать победителя в процессе латерального торможения, все нейроны в слое должны быть вовлечены в одновременные вычисления и передачу. Этот процесс может потребовать проведения большого объема вычислений перед достижением сходимости.