8.2.5. ОРТОГОНАЛЬНЫЕ ПЛАНЫ И ОРТОГОНАЛЬНЫЕ ПОЛИНОМЫ

Модель называется ортогональной, когда матрица плана А такова, что матрица имеет диагональный вид, скажем . В этом случае обратная матрица тоже диагональна: а вектор решений допускает запись в простой скалярной форме:

что легко проверяется нормальными уравнениями, которые в свою очередь становятся совсем простыми:

Односторонняя конфигурация из примера 8.2.6 представляет ортогональную модель. Та легкость, с которой могут решаться нормальные

уравнения, — одно из привлекательных вычислительных свойств ортогональных моделей. Мы еще покажем это, когда будем рассматривать ортогональные полиномы.

Допустим, что надо построить полиномиальную регрессионную модель в виде

по экспериментальным данным

Матрицы А и приведены в примере 8.2.5, откуда видно, что план не ортогонален. Но модель можно многими эквивалентными способами привести к следующему виду:

где для — полиномы степени коэффициенты которых (вместе с определяют ). Для этой новой модели матрица плана имеет вид

так что элемент матрицы оказывается равным:

Поскольку должна быть диагональной матрицей, требуется, чтобы

Полиномы, удовлетворяющие этому условию, называются ортогональными и позволяют однозначно определить отдельно от их сомножителей. Диагональный элемент матрицы с номером равен: откуда МНК-оценка для оказывается равной:

а дисперсия, связанная с этой оценкой, равна . В частности, поскольку получаем откуда МНК-оценка для имеет дисперсию Заметим, что,

поскольку диагональная матрица, оценки параметров, полученные методом наименьших квадратов, в ортогональных планах всегда некоррелированы.

Из (8.2.5) видно, что остаточную сумму квадратов можно записать так:

или, учитывая, что так:

Мы уже отмечали, что ортогональные полиномы определяются независимо от констант-сомножителей. Поэтому неважно, какие именно константы выбрать. Так, если мы рассмотрим

где при — заданные константы), то сразу видно, что , следовательно, .

Таким образом, остатки в обоих случаях одни и те же.

Пример 8.2.15. Ортогональные полиномы в обычной линейной регрессии. Раньше уже обсуждалась [см. пример 8.2.5] линейная регрессия для одной переменной с использованием модели

Эта модель неортогональна. В примере 8.2.5 для нее приведены . А вот альтернативная модель, которая оказывается ортогональной:

Здесь переменная измеряется относительно среднего х наблюдаемых значений удовлетворяет соотношению Для такой новой модели имеем

откуда . Следовательно, в обеих моделях одинаково, а Кроме того,

и некоррелированы (тогда как , наоборот, коррелированы).

Для множественной линейной регрессии мы можем прибегнуть к тому же методу получения частичной ортогональности, переписывая модель

в альтернативной, «скорректированной на среднее» форме:

где обозначает усреднение наблюдений по . В этом случае удовлетворяет условию Для второй модели первая строка матрицы такова:

т. е. , отсюда следует, что первая строка матрицы будет: Значит, МНК-оценка для как раз и получается по формуле Кроме того, каждая из МНК-оценок для не коррелирует с оценкой для

Возвращаясь к модели с ортогональными полиномами (8.2.6), отметим, что оказывается, когда значения расположены произвольно, не на равных расстояниях друг от друга, ортогональные полиномы приходится строить специально для каждого конкретного набора данных, что в значительной степени снижает преимущество ортогональных моделей, обусловленное легкостью решения системы нормальных уравнений. Если же, однако, значения х расположены равномерно, на равных расстояниях друг от друга (как говорят, с равным шагом), да еще все различны, то мы можем воспользоваться стандартными полиномами, для которых существуют таблицы.

Возьмем стандартизованную переменную Тогда значения и будет соответствовать значениям а именно (с очевидными перестановками):

Тогда фактически оцениваемая модель примет вид

где ортогональные полиномы, выбранные из таблиц и вычисленные с тем расчетом, чтобы соответствовать каждому целому значению . В Biometrika Tables [см. Pearson and Hartley (1966), табл. 47 — G], приводятся формулы для при а также численные значения . Проиллюстрируем этот метод на конкретном примере.

Пример 8.2.16. Подбор кубической кривой с помощью ортогональных полиномов. Были собраны следующие данные об осадках по месяцам:

Мы закодируем месяцы и возьмем эти значения в качестве . А данные об осадках будут служить соответствующими значениями Будем подбирать по данным различные полиномиальные модели и для переменной составим следующую таблицу:

(см. скан)

Ее три последние строки получены из упомянутых выше таблиц, откуда мы еще и узнали, что

Начнем с подбора модели

По нашим данным подсчитаем

Вот МНК-оценки для и

Из таблиц для находим, что откуда подобранный полином имеет вид

Подставляя получим

Это тот же результат, какой мы получили бы, применив метод наименьших квадратов к неортогональной модели

Теперь подберем квадратичную модель

Оценки и не изменятся, поэтому остается только вычислить с учетом того, что

Из таблиц имеем поэтому подобранный полином таков:

или

Это тот же результат, который мы получили бы, применив метод наименьших квадратов к обычной квадратичной модели

Заметим, что в противоположность ортогональной модели здесь оценки иные, чем в модели первого порядка.

Для кубической модели

нам остается только с учетом того, что равно 36,98, найти

Таблицы показывают, что поэтому кубическая модель будет следующей:

или

и это снова тот же результат, что дает применение метода наименьших квадратов к модели

Вопрос о том, какая из этих моделей лучше соответствует данным, мы обсудим позже, в разделе 8.3.5. Этот метод предполагает последовательный подбор нескольких моделей повышающихся степеней. В таких случаях использование ортогональных полиномов имеет, в частности, то преимущество, что при переходе к каждой следующей степени требуется совсем немного дополнительных вычислений, в то время как для неортогональных моделей приходится на каждом этапе обращать матрицу (что, конечно, не проблема, когда вычисления проводятся на компьютере).