Главная > Интеллектуальные системы > Адаптация сложных систем
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

5.1.2.1. Автоматы с целесообразным поведением

Из всех многочисленных автоматов с целесообразным поведением [46, 134] наибольший интерес для альтернативной адаптации представляют, так называемые автоматы с линейной тактикой. Они отличаются тем, что действие, приведшее к положительному результату (нештрафу, закрепляется автоматом и повторяется, а действие, приведшее к отрицательному результату (штрафу, автомат «стремится» сменить на другое. Так обычно поступают живые существа. В этом и состоит линейность тактики.

Введем — параметр глубины памяти автомата. Каждое из действий автомата (альтернативных решений) имеет состояний памяти. Тогда число состояний автомата

Функцию переходов автомата с линейной тактикой удобно представить в виде двух графов переходов (рис. 5.1.2) для двух состояний входа автомата. Функция выхода этого автомата образуется так, что на различных «усах» графа переходов (ем.

Рис. 5.1.2. Графы переходов состояний автомата с линейной тактикой: а — при , б - при

рис. 5.1.2) производятся различные действия, т. е. действие производится при

Таким образом, является состоянием автомата, в котором он производит действие

Легко видеть, что при нештрафе последнее действие повторяется и закрепляется, а при штрафе внутреннее состояние автомата изменяется так, чтобы быстрее сменить это действие на другое. Доказано [46, 134], что в стационарной среде, т. е. при неизменных вероятностях штрафа за каждое действие, этот автомат асимптотически оптимален:

где — знак математического ожидания; — минимальная вероятность штрафа:

— вероятность штрафа за действие автомата

Асимптотическая оптимальность означает, что в стационарной среде при увеличении объема памяти автомат всегда будет совершать наилучшее действие, минимизирующее его штраф.

Очевидно, что в нестационарной среде нельзя объем памяти делать слишком большим, так как при этом затрудняется перестройка с одного действия автомата на другое. Чем более нестационарна среда, тем меньше должен быть параметр памяти

Таким образом, при использовании автомата с линейной тактикой для целей альтернативной адаптации эффективность

процесса определяется одним параметром, оптимальный выбор которого обычно представляет некоторую трудность.

Рассмотренный автомат является детерминированным. Далее перейдем к стохастическим автоматам.

<< Предыдущий параграф Следующий параграф >>
Оглавление