Основы теории нейронных сетей


         

что веса имеют только положительные


Заметим, что веса имеют только положительные значения. Выход нейрона затем вычисляется следующим образом:



Предполагая, что NET имеет положительное значение, можно записать:



Когда тормозящий вход мал (
), OUT может быть аппроксимировано как



что соответствует выражению для обычного линейного порогового элемента (с нулевым порогом).

Алгоритм обучения когнитрона позволяет весам синапсов возрастать без ограничений. Благодаря отсутствию механизма уменьшения, веса просто возрастают в процессе обучения. В обычных линейных пороговых элементах это привело бы к произвольно большому выходу элемента. В когнитроне большие возбуждающие и тормозящие входы дают в результате выход, который вычисляется по ограничивающей формуле вида



В данном случае OUT определяется отношением возбуждающих входов к тормозящим входам, а не их разностью. Следовательно, величина OUT ограничивается, если оба входа возрастают в одном и том же диапазоне
. Тогда
и
можно выразить следующим образом:



и после некоторых преобразований



Эта функция возрастает по закону Вебера—Фехнера, который часто применяется в нейрофизиологии для аппроксимации нелинейных соотношений входа/выхода сенсорных нейронов. При использовании этого соотношения нейрон когнитрона в точности эмулирует реакцию биологических нейронов — и становится как мощным вычислительным элементом, так и точной моделью физиологического моделирования.


Рис. 13.3. 

Тормозящие нейроны. В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как показано на рис. 13.3, нейрону слоя 2 присуща область связи, для которой он имеет синаптические соединения с набором выходов нейронов в слое 1. Аналогично, в слое 1 существует тормозящий нейрон, имеющий ту же область связи. Синаптические веса тормозящих узлов не изменяются в процессе обучения; их веса заранее установлены таким образом, что сумма весов в любом из тормозящих нейронов равна единице. В соответствии с этими ограничениями, выход тормозящего узла INHIB является взвешенной суммой его входов, которые в данном случае представляют собой среднее арифметическое выходов возбуждающих нейронов, к которым подсоединен данный выход.


Содержание  Назад  Вперед