Главная > Интеллектуальные системы > Введение в статистическую теорию распознавания образов
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава 7. ПОСЛЕДОВАТЕЛЬНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ

В рассмотренных до сих пор методах оценивания параметров оценивание производилось по всем наблюденным данным за один просчет. Иногда более практичной оказывается процедура, основанная на последовательных вычислениях. В этом случае параметры в первом приближении определяются путем «угадывания». Затем каждый вектор наблюдения используется для: улучшения оценки. Предполагается, что по мере увеличения числа наблюдений оценка будет сходиться в каком-либо смысла к истинным значениям параметров.

Основное преимущество последовательного метода заключается в том, что он позволяет использовать бесконечное число наблюдений, располагая лишь конечным объемом памяти.

§ 7.1. Последовательная корректировка линейного классификатора

Если каждая из условных плотностей вероятности, соответствующих разделяемым классам, принадлежит известному параметрическому семейству, то классификатор строится довольно просто: оцениваются неизвестные параметры, после чего находится байесовское решающее правило. Однако довольно часто даже вид условных плотностех! вероятности неизвестен. Эти плотности можно аппроксимировать методами, описанными: в гл. 6.

Однако существует и другой путь решения задачи, позволяющей избежать вычисления плотности вероятности. Допустим, что можно априори предположить, что решающее правило принадлежит некоторому параметрическому семейству решающих правил. Тогда задача сводится к задаче оценивания параметров этого решающего правила. При таком подходе к решению задачи мы жертвуем, быть может, более глубоким пониманием ее сущности, однако, эта жертва часто оказывается более чем оправданной с вычислительной точки зрения.

Пусть в задаче классификации на два класса решено использовать линейный классификатор вида

Тогда задача сводится к оцениванию параметров Линейный классификатор выбран здесь из-за его простоты, однако, как уже говорилось в гл. 4, решающее правило (7.1) включает широкий класс нелинейных разделяющих функций. Это имеет место, когда X рассматривается как вектор в функциональном пространстве, а не в пространстве исходных переменных.

В гл. 4 рассматривалась процедура нахождения параметров У и по данному множеству наблюдений при условии, что наблюдения имеются в нашем распоряжении одновременно. В алгоритмах, рассматриваемых в этой главе, мы не запоминаем одновременно все наблюдаемые векторы. Вместо этого в памяти хранится только текущая оценка параметра, которая обновляется всякий раз, когда на вход системы поступает очередной вектор наблюдений. Система этого типа, первоначально предложенная в качестве упрощенной модели обучения и принятия решений в первых исследованиях по распознаванию образов, получила название персептрон. Модель этого типа должна иметь алгоритм, который модифицирует параметры с учетом вновь поступившего вектора наблюдений и текущего значения этих параметров.

<< Предыдущий параграф Следующий параграф >>
Оглавление