Основы теории нейронных сетей
Основы теории нейронных сетей
Развитие искусственных нейронных сетей вдохновляется биологией. То есть, рассматривая сетевые конфигурации и алгоритмы, исследователи применяют термины, заимствованные из принципов организации мозговой деятельности. Но на этом аналогия заканчивается. Наши знания о работе мозга столь ограничены, что мало бы нашлось точно доказанных закономерностей для тех, кто пожелал бы руководствоваться ими. Поэтому разработчикам сетей приходится выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции. Во многих случаях это приводит к необходимости отказа от биологического правдоподобия, мозг становится просто метафорой, и создаются сети, невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.Несмотря на то, что связь с биологией слаба и зачастую несущественна, искусственные нейронные сети продолжают сравнивать с мозгом. Их функционирование часто имеет внешнее сходство с человеческим познанием, поэтому трудно избежать этой аналогии. К сожалению, такие сравнения неплодотворны и создают неоправданные ожидания, неизбежно ведущие к разочарованию.
Биологический прототип
Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона.
Цель обучения
Обучение с учителем
Обучение без учителя
Алгоритмы обучения
Персептроны и зарождение искусственных нейронных сетей
В качестве предмета исследования искусственные нейронные сети впервые заявили о себе в 1940-е годы. Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений. Когда нейрофизиологи достигли более глубокого понимания нервной системы человека, эти ранние попытки стали восприниматься как весьма грубые аппроксимации.
Персептронная представляемость
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
Линейная разделимость
Преодоление ограничения разделимости
Эффективность запоминания
Обучение персептрона
Способность искусственных нейронных сетей к обучению является их наиболее интригующим свойством. Подобно биологическим системам, которые они моделируют, эти нейронные сети сами совершенствуют себя в результате попыток создать лучшую модель поведения.
Алгоритм обучения однослойного персептрона
Целочисленность весов персептронов
Двуслойность персептрона
Трудности с алгоритмом обучения персептрона
Введение в процедуру обратного распространения
Среди различных структур нейронных сетей (НС) одной из наиболее известных является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в случае первого слоя, со всеми входами НС. Такие НС называются полносвязными. Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети. По этому принципу строится, например, алгоритм обучения однослойного персептрона
Обучающий алгоритм обратного распространения
Дальнейшие алгоритмические разработки
Применение
Переобучение и обобщение
Одна из наиболее серьезных трудностей алгоритма обратного распространения заключается в том, что таким образом мы минимизируем не ту ошибку, которую на самом деле нужно минимизировать, — ошибку, которую можно ожидать от сети, когда ей будут подаваться совершенно новые наблюдения. Иначе говоря, мы хотели бы, чтобы нейронная сеть обладала способностью обобщать результат на новые наблюдения.
Переобучение и обобщение
Отбор данных
Как обучается многослойный персептрон
Предостережения
Паралич сети
Введение в сети встречного распространения
По своим возможностям сети встречного распространения превосходят возможности однослойных сетей. Время же их обучения, по сравнению с обратным распространением, может уменьшаться в сто раз. Встречное распространение не настолько общее, как обратное распространение, но оно может давать решение в тех приложениях, где долгая обучающая процедура невозможна. Будет показано, что, помимо преодоления ограничений других сетей, встречное распространение обладает собственными интересными и полезными свойствами.
Структура сети
Слои Кохонена
Слой Гроссберга
Обучение слоя Кохонена
Предварительная обработка входных векторов
Выбор начальных значений весовых векторов
Примеры обучения
Модификации алгоритма обучения
Использование обучения
Искусственная нейронная сеть обучается с помощью некоторого процесса, модифицирующего ее веса. Если обучение успешно, то предъявление сети множества входных сигналов приводит к появлению желаемого множества выходных сигналов. Имеется два класса обучающих методов: детерминистский и стохастический.
Больцмановское обучение
Обучение Коши
Метод искусственной теплоемкости
Обратное распространение и обучение Коши
Трудности с обратным распространением
Трудности с алгоритмом обучения Коши
Экспериментальные результаты
Использование обучения
Конфигурации сетей с обратными связями
Рассмотренный нами ранее персептрон относится к классу сетей с направленным потоком распространения информации и не содержит обратных связей. На этапе функционирования каждый нейрон выполняет свою функцию — передачу возбуждения другим нейронам — ровно один раз. Динамика состояний нейронов является неитерационной.
Бинарные системы
Устойчивость
Ассоциативность и задача распознавания
Модификации правила Хэбба
Ограничения емкости синаптической памяти, а также проблема ложной памяти классической нейронной сети в модели Хопфилда, обученной по правилу Хебба, привели к появлению целого ряда исследований, целью которых было снятие этих ограничений. При этом главный упор делался на модификацию правил обучения.
Матрица Хебба с ортогонализацией образов
Отказ от симметрии синапсов
Алгоритмы разобучения (забывания)
Непрерывные системы
Сети Хопфилда и машина Больцмана
Термодинамические системы
Статистические сети Хопфилда
Обобщенные сети
Аналого-цифровой преобразователь
Структура ДАП
В дальнейшем будем предполагать, что используется пороговая функция активации. Примем также, что существует память внутри каждого нейрона в слоях 1 и 2 и что выходные сигналы нейронов изменяются одновременно с каждым тактом синхронизации, оставаясь постоянными в паузах между этими тактами.
Восстановление запомненных ассоциаций
Кодировка ассоциаций
Емкость памяти
Непрерывная ДАП
Адаптивная ДАП
Конкурирующая ДАП
Принцип адаптивного резонанса
Привлекательной особенностью нейронных сетей с адаптивным резонансом является то, что они сохраняют пластичность при запоминании новых образов, и, в то же время, предотвращают модификацию старой памяти. Нейросеть имеет внутренний детектор новизны - тест на сравнение предъявленного образа с содержимым памяти. При удачном поиске в памяти предъявленный образ классифицируется с одновременной уточняющей модификацией синаптических весов нейрона, выполнившего классификацию.
Архитектура АРТ
Описание APT
Упрощенная архитектура APT
Функционирование сети APT
Функционирование сетей APT
Для выработки точной классификации полезна возможность изменять коэффициент сходства на протяжении процесса обучения, обеспечивая только грубую классификацию в начале процесса обучения и затем постепенно увеличивая коэффициент сходства.
Пример обучения сети АРТ
Характеристики АРТ
Инициализация весовых векторов T
Настройка весовых векторов Bj
Инициализация весов bij
Теоремы APT
Нерешенные проблемы и недостатки АРТ-1
Структура сети
Когнитрон состоит из иерархически связанных слоев нейронов двух типов — тормозящих и возбуждающих. Состояние возбуждения каждого нейрона определяется суммой его тормозящих и возбуждающих входов. Синаптические связи идут от нейронов одного слоя (далее слоя 1) к следующему (слою 2). Относительно данной синаптической связи соответствующий нейрон слоя 1 является пресинаптическим, а нейрон второго слоя — постсинаптическим.
Обучение когнитрона
Когнитрон как модель зрительной коры мозга
Результаты моделирования
Структура сети
Обобщение
Неокогнитрон имеет иерархическую структуру, ориентированную на моделирование зрительной системы человека. Он состоит из последовательности обрабатывающих слоев, организованных в иерархическую структуру. Входной образ подается на первый слой и передается через плоскости, соответствующие последующим слоям, до тех пор, пока не достигнет выходного слоя, в котором идентифицируется распознаваемый образ.
Структура
Обобщение
Вычисления
Обучение
Заключение
Обучение с учителем и без учителя
Обучающие алгоритмы могут быть классифицированы как алгоритмы обучения с учителем и обучения без учителя. В первом случае существует учитель, который предъявляет входные образы сети, сравнивает результирующие выходы с требуемыми, а затем настраивает веса сети таким образом, чтобы уменьшить различия. Трудно представить такой обучающий механизм в биологических системах; следовательно, хотя данный подход привел к большим успехам при решении прикладных задач, он отвергается теми исследователями, кто полагает, что искусственные нейронные сети обязательно должны использовать те же механизмы, что и человеческий мозг.
Метод обучения Хэбба
Алгоритм обучения Хэбба
Метод сигнального обучения Хэбба
Метод дифференциального обучения Хэбба
Входные и выходные звезды
Обучение входной звезды
Обучение выходной звезды
Метод обучения Уидроу—Хоффа
Метод статистического обучения
Путь художника
Эта книга и есть то, что я делаю. Вот уже десять лет я веду семинары, целью которых является высвобождение творческого начала. Моими учениками были художники и не художники, музыканты и режиссеры, домохозяйки и адвокаты ? словом, любой, кто хотел научиться жить более созидательно, занимаясь каким-либо искусством. Более того, любой, кто хотел бы научиться искусству жить творчески. За эти годы я нашла, изобрела, угадала разные приемы, а также была одарена ими свыше. Используя их, преподавая и рекомендуя другим, я видела, как исчезали преграды, мешающие творчеству, и менялись судьбы людей, и все лишь благодаря тому, что мы привлекали Великого Создателя к открытию и пробуждению в нас творческих сил."Великий Создатель? Точно о каком-то индейском божестве. Звучит как-то слишком по-христиански, чересчур мудрено, слишком..." Глупо? Бесхитростно? Угрожающе? Не спорю. Воспринимайте это как тренировку восприимчивости или как игру. Просто скажите себе: "Ладно, пусть будет Великий Создатель, кем бы он ни был" ? и продолжайте читать. Позвольте себе допустить, что где-то существует какой-то там Великий Создатель, который способен помочь вам высвободить творческое начало.
Мой собственный путь
Упражнение "раннее воспитание"
МТС пакета MetaStock - перейти
Экономика - перейти
Что такое финансы - перейти
Банки России - перейти
Статистика - перейти
Статистика - перейти
Биржевая статистика - перейти
Задачи статистики в пакете SPSS - перейти
Пакет SoundForge - перейти
Предисловие - перейти
Основы MIDI и цифрового звука - перейти
Начинаем работу с Sound Forge - перейти
Настройка программы Sound Forge - перейти
Работа со звуковыми файлами - перейти
Работа в Sound Forge - перейти
Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий