Больцмановское обучение

Этот стохастический метод непосредственно применим к обучению искусственных нейронных сетей:

Определить переменную
$Больцмановское обучение$
, представляющую искусственную температуру. Придать
$Больцмановское обучение$
большое начальное значение.
Предъявить сети множество входов и вычислить выходы и целевую функцию.
Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса.
Если целевая функция уменьшилась (улучшилась), то сохранить изменение веса.

Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана:

$Больцмановское обучение$

где

$Больцмановское обучение$

— вероятность изменения

$Больцмановское обучение$

в целевой функции;

$Больцмановское обучение$

— константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи;

$Больцмановское обучение$

— искусственная температура.

Выбирается случайное число

$Больцмановское обучение$

из равномерного распределения от нуля до единицы. Если

$Больцмановское обучение$

больше, чем

$Больцмановское обучение$

, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению. Это позволяет системе делать случайный шаг в направлении, портящем целевую функцию, и дает ей тем самым возможность вырываться из локальных минимумов, где любой малый шаг увеличивает целевую функцию.

Для завершения больцмановского обучения повторяют шаги 3 и 4 для каждого из весов сети, постепенно уменьшая температуру

$Больцмановское обучение$

, пока не будет достигнуто допустимо низкое значение целевой функции. В этот момент предъявляется другой входной вектор, и процесс обучения повторяется. Сеть обучается на всех векторах обучающего множества, с возможным повторением, пока целевая функция не станет допустимой для всех них.

Величина случайного изменения веса на шаге 3 может определяться различными способами. Например, подобно тепловой системе, весовое изменение

$Больцмановское обучение$

может выбираться в соответствии с гауссовским распределением:

$Больцмановское обучение$

где

$Больцмановское обучение$

— вероятность изменения веса на величину

$Больцмановское обучение$

— искусственная температура.

Так как требуется величина изменения веса

$Больцмановское обучение$

, а не вероятность изменения веса, имеющего величину

$Больцмановское обучение$

, то метод Монте-Карло может быть использован следующим образом:

Найти кумулятивную вероятность, соответствующую
$Больцмановское обучение$
. Это есть интеграл от
$Больцмановское обучение$
в пределах от 0 до
$Больцмановское обучение$
. Поскольку в данном случае
$Больцмановское обучение$
не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать.
Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения
$Больцмановское обучение$
, найти в таблице соответствующее значение для величины изменения веса.

Свойства машины Больцмана широко изучены. Скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом:

$Больцмановское обучение$

где

$Больцмановское обучение$

— искусственная температура как функция времени;

$Больцмановское обучение$

— начальная искусственная температура;

$Больцмановское обучение$

— искусственное время.

Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и вычислений). Вывод подтвержден и экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени.

Содержание раздела

Главная сайта