16.6. ДИСКРИМИНАНТНЫЙ АНАЛИЗ

16.6.1. ВВЕДЕНИЕ

Цель дискриминантного анализа — получение правил для классификации многомерных наблюдений в одну из нескольких категорий или совокупностей. В медицине, например, это может помочь при диагностике или прогнозе заболеваний. В этом случае наблюдаются пациенты, и каждому из них приписывают несколько характеристик, определяющих его состояние. В работе [Titterington et al. (1981)] приведены примеры приложения дискриминантного анализа для прогноза пациентов с травмами головы. Существует и много других приложений дискриминантного анализа, описанных в литературе [см., например, Press (1972), библиография].

При дискриминантном анализе предполагается, что число совокупностей, или категорий, известно заранее. Задачей же кластер-анализа является идентификация кластеров, или категорий, из данных.

16.6.2. ДИСКРИМИНАЦИЯ В ДВЕ ИЗВЕСТНЫЕ СОВОКУПНОСТИ

Рассмотрим задачу классификации одного многомерного наблюдения в одну из двух совокупностей, для которых известны -мерные плотности (т. е. известны как форма плотности, так и ее параметры). Предположим, что — априорные вероятности появления наблюдения из совокупностей 1 и 2. Тогда по теореме Байеса апостериорная вероятность того, что наблюдение х принадлежит совокупности 1, есть [см. гл. 15]

а апостериорная вероятность для x принадлежать совокупности 2 есть

Классификация наблюдения может быть теперь осуществлена с помощью отношения, основанного на апостериорной вероятности для наблюдения принадлежать совокупности 1:

При такой процедуре можно было бы отнести объект к совокупности 1, если это отношение больше 1, т. е. и к совокупности 2, если отношение меньше 1. В работе [Anderson (1958), с. 130—131] показано, что подобная процедура минимизирует вероятность ошибочной классификации.

Если ввести функцию штрафа (потерь) [см. гл. 19] и обозначить через цены ошибочной классификации наблюдения из совокупности 1 в совокупность 2 и наоборот, то можно показать [см. Anderson (1958), с. 130—131], что математическое ожидание значения апостериорной функции потерь, обусловленное ошибочной классификацией, минимизируется, если использовать следующую модификацию правила (16.6.1): относить наблюдение к совокупности 1, если

и к совокупности 2 — в противном случае.

Для обеих ситуаций правило можно записать в форме отношения правдоподобия если то наблюдение следует отнести к классу 1, в противном случае — к классу 2. Константа к зависит от априорных вероятностей и цены ошибочной классификации. Когда априорные средние потери удовлетворяют равенству константа