Главная > Интеллектуальные системы > Введение в статистическую теорию распознавания образов
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

7.2.6. Ускорение сходимости.

Как уже говорилось, метод стохастической аппроксимации сходится очень медленно, особенно вблизи устойчивого состояния. Это является ценой, которую мы вынуждены платить за гарантию сходимости. Имеется мною предложений, как устранить это недостаток. В этом разделе мы рассмотрим два из них.

1. Использование медленно убывающей последовательности Так как основной причиной медленной сходимости является убывающая последовательность можно выбрать эту последовательность таким образом, чтобы она убывала медленнее и при этом все еще была бы гарантирована сходимость. Один из способов сделать это состоит в том, чтобы переходить к следующему (меньшему) значению только тогда, когда в процессе поиска корня уравнения регрессии меняет знак. До тех пор, пока знак остается неизменным, мы находимся далеко от корня, и скорость сходимости более важна, чем гарантия сходимости. Когда происходит изменение знака, мы должны начать беспокоиться о сходимости.

Те же аргументы справедливы и для задачи поиска максимума, где вместо знака нужно следить за знаком производной. В табл. 7.5 приведен пример того, как видоизменяется последовательность.

2. Увеличение числа наблюдений при данном 0. Если взять много наблюдений для данного 0 и вычислить среднее значение, то можно построить функцию регрессии, и задача превращается в задачу нахождения нуля детерминированной функции.

Таблица 7.5. Ускоряющая последовательность

В качестве компромисса между этим детерминистским подходом и тодом стохастической аппроксимации можно предложить следующий метод. Берется не одно, а несколько наблюдений для: данного 0, вычисляется среднее этих наблюдений и это средиео используется в качестве Аналогией этому является использование фильтра в системе с обратной связью для исключения шума из наблюдаемого сигнала. Определение того, как много наблюдений должно быть усреднено для получения приемлемой скорости сходимости, соответствует проектированию такого фильтра.

<< Предыдущий параграф Следующий параграф >>
Оглавление