Обучение Коши
Рис. 7.3.
В этом методе при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 7.3, более длинные "хвосты", увеличивая тем самым вероятность больших шагов. В действительности, распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Зависимость может быть выражена следующим образом:
Распределение Коши имеет вид
где
есть вероятность шага величины .В данном уравнении
может быть проинтегрирована стандартными методами. Решая относительно , получаемгде
— коэффициент скорости обучения; — изменение веса.Теперь применение метода Монте-Карло становится очень простым. Для нахождения x в этом случае выбирается случайное число из равномерного распределения на открытом интервале
(необходимо ограничить функцию тангенса). Оно подставляется в формулу (5.7) в качестве , и с помощью текущей температуры вычисляется величина шага.