7.5. ТАБЛИЦЫ ЧАСТОТ ПЕРЕКРЕСТНОЙ КЛАССИФИКАЦИИ (ТАБЛИЦЫ СОПРЯЖЕННОСТИ). КРИТЕРИИ НЕЗАВИСИМОСТИ

7.5.1. ТАБЛИЦЫ 2х2; СПЕЦИАЛЬНЫЙ СЛУЧАЙ ОДНОЙ СТЕПЕНИ СВОБОДЫ

Примером типичной таблицы (два на два) [см. также 5.4.2] может служить табл. 7.5.1. В ней приведены сведения о числе людей в некоторой совокупности, заболевших и не заболевших холерой, с указанием, была ли им сделана противохолерная прививка.

Таблица 7.5.1. (см. скан) Влияние прививки на холерную инфекцию

Четыре элемента таблицы, а именно 1625, 5, 1022, 11, — это частоты; мы имеем, таким образом, таблицу в виде квадрата вместо более привычного ряда столбцов. Эта таблица частот в принципе пригодна для построения критерия согласия с некоторой выдвинутой гипотезой.

Есть особенности таблиц которые заслуживают специального упоминания:

1) в некоторых случаях необходимо делать «поправку на непрерывность», чтобы уменьшить погрешность, возникающую при аппроксимации непрерывным распределением точного выборочного распределения, которое является дискретным;

2) для таблиц 2x2 односторонний критерий Для расхождений между наблюдаемыми и ожидаемыми частотами превращается в двусторонний.

Эти особенности рассмотрены ниже.

Нулевая гипотеза. В связи с табл. 7.5.1 возникает вопрос: значимо ли воздействие прививки на вероятность заболевания? Попробуем принять в качестве нулевой гипотезы, что прививка не оказывает действия и что видимый эффект от прививки есть результат случайных флуктуаций. Мы должны, следовательно, сравнить элементы в таблице с соответствующими ожидаемыми элементами в предположении справедливости гипотезы.

Ожидаемые частоты. Из гипотезы следует, что для 2663 человек, находящихся в группе риска, ожидаемая доля заболевших после прививки будет той же, что и ожидаемая доля заболевших среди тех, кому прививку не делали; общее значение этих долей совпадает с долей заболевших во всей выборке, а именно . Эти ожидаемые доли представлены в табл. 7.5.2. Мы, естественно, отождествляем понятие независимости высказываний:

а) случайно выбранный представитель из группы людей с прививкой будет инфецирован и б) случайно выбранный представитель из группы непривитых людей будет инфецирован с понятием однородности для ожидаемых долей.

При нулевой гипотезе ожидаемая частота в любой ячейке может быть найдена умножением доли или на маргинальное общее число соответствующей строки (1630 для категории привитых, 1033 для остальных). Это приводит к таблице ожидаемых частот.

Таблица 7.5.2. (см. скан) Ожидаемые доли заболевших людей при гипотезе, что прививка неэффективна

Таблица 7.5.3. (см. скан) Ожидаемые частоты, соответствующие табл. 7.5.2

Только один элемент следует вычислять умножением маргинальной частоты на ожидаемую долю; остальные элементы находятся вычитанием.

Значение (без поправки на непрерывность). Располагая вместе в виде таблицы наблюденные и ожидаемые частоты, запишем в каждую ячейку: наблюденную частоту, (ожидаемую частоту), [разность]. Таким образом, прямые вычисления позволяют получить следующую величину статистики Пирсона:

Таблица 7.5.4. (см. скан) Наблюденные частоты, ожидаемые частоты и разности

Число степеней свободы Вычисление ожидаемых частот неявно включало оценку двух параметров. Так, например, вероятность того, что индивидуум с прививкой не заболеет, равна (при нулевой гипотезе) произведению где — вероятность того, что случайно выбранный индивидуум будет иметь прививку (оцененная как — вероятность того, что случайно выбранный индивидуум не заболеет (оцененная как Оцененная ожидаемая частота в ячейке «привитые и незаболевшие» будет тогда равна: Поскольку ожидаемые частоты в сумме дают соответствующие наблюденные значения маргинальных частот, этого одного вычисления достаточно для того, чтобы определить ожидаемые элементы во всех четырех ячейках, и никаких дополнительных параметров не требуется [см. раздел 5.4.2].

Число степеней свободы тогда равно:

Поправка на непрерывность. В точном критерии для проверки гипотезы независимости, описанном в разделах 5.4.1 и 5.4.4, уровень значимости является суммой вероятностей (при нулевой гипотезе) получения ряда таблиц 2x2, а именно той таблицы, которая реально наблюдалась, плюс все таблицы с теми же маргинальными частотами, но еще более далекие от независимости. Поясним, что такое

«более далекие» таблицы. В нашем примере ожидаемые частоты при нулевой гипотезе [см. табл. 7.5.3] равны:

а наблюденные частоты следующие:

5 случаев заболевания после прививки — это малая частота (меньше ожидаемой) и упомянутые выше более далекие случаи были бы представлены таблицами с 4, 3, 2, 1 и 0 заболевшими после прививки. Поскольку маргинальные числа должны остаться теми же, эти таблицы образуют следующее множество:

Так как имеется только одна степень свободы, мы должны рассмотреть только один элемент в каждой таблице, скажем, элемент в верхнем правом углу, представляющий категорию «заболевших после прививки». Уровень значимости относительно гипотезы независимости тогда равен

где — вероятность того, что после прививки заболеют человек, . В примере 5.4.4 получены вероятности и найдена их сумма. При -аппроксимации выборочное распределение непрерывно и сумму следует заменить интегралом. Мы можем изобразить отдельные вероятности ординатами, показанными на рис. 7.5.1, или же прямоугольниками, показанными на рис. 7.5.2. Эти прямоугольники имеют ширину, равную 1, и, следовательно, сумма численно равна общей площади прямоугольников, т. е. интегралу от соответствующей ступенчатой функции в пределах Прямоугольник, соответствующий имеет очень малую площадь, поэтому на практике не важно, берется ли интеграл от —0,5 до 5,5 или от 0 до 5,5. Важно то, что правая точка 5,5, а не 5. Ф. Йейтс [см. Yates (1934)] предложил в связи с этим заменять таблицу наблюденных частот

модифицированной таблицей

в которой число 5 увеличено до 5,5, а все другие элементы изменены так, чтобы сохранить общие маргинальные частоты. При такой модификации ожидаемые частоты остаются без изменения. Эта процедура

Рис. 7.5.1. (см. скан) Ординаты, представляющие Сумма этих ординат равна уровню значимости данных относительно гипотезы независимости

Рис. 7.5.2. (см. скан) Прямоугольники единичной ширины с высотами, равными ординатам на рис. 7.5.1. Сумма ординат численно равна сумме площадей прямоугольников, т. е. интегралу от — 0,5 до 5,5 от ограничивающей ступенчатой функции

известна как поправка Йейтса на непрерывность для критерия для таблиц Перед вычислением следует уменьшить на 0,5 абсолютную величину разности между каждой из наблюденных и ожидаемых частот. В нашем случае это приводит к уменьшению абсолютной величины (4,79) этих расхождений [см. табл. 7.5.4] до величины 4,29. Модифицированная таблица имеет вид:

Модифицированная величина равна:

Уровень значимости. Поскольку разности между ожидаемыми частотами и скорректированными на непрерывность наблюденными частотами при вычислении статистики Пирсона возводятся в квадрат, величина полученная в (7.5.4), могла также быть вычислена из таблицы

которая имеет те же маргинальные частоты и поэтому те же ожидаемые частоты, но в которой каждая разность имеет обратный знак. Например, -4,79 превращается в +4,79 и наоборот. Следовательно, если мы возьмем в качестве нашего уровня значимости вероятность

то должны будем принять во внимание не только сумму Р, вероятностей для таблицы наблюденных частот, но также и сумму вероятностей «обращенной» таблицы и всех более крайних таблиц. Это изменит уровень значимости, так как нас интересует только сумма

Чтобы выделить интересующую нас вероятность, заметим, что имеет то же распределение, что и квадрат стандартной нормальной случайной величины [см. раздел 2.5.4, а)], откуда

так как имеет то же распределение, что и Здесь слагаемое соответствует одному набору разностей, — набору с обратными знаками. Таким образом, наш уровень значимости равен:

В нашем примере найдено в (7.5.4) и равно Таким образом, уровень значимости (точная величина, найденная в примере 5.4.4, равна 0,015). Вывод состоит в том, что гипотезу независимости следует отвергнуть: прививка в действительности имеет некоторый предупредительный эффект.

Условия Кокрена применимости критерия к таблицам 2x2. Рекомендация Кокрена для таблиц состоит в следующем [см. Cochran (1952), (1954)]. Если сумма четырех частот меньше 20, то следует использовать точный критерий Фишера [см. раздел 5.4.2]. Если сумма между 20 и 40 и наименьшая ожидаемая частота меньше 5, то следует использовать точный критерий Фишера. Если сумма 40 или более, то можно применить критерий при условии, что сделана поправка на непрерывность.

Следующий пример показывает, что даже эта рекомендация не универсальна. В примере сумма четырех частот равна лишь 30, но

в то же время процедура коррекцией на непрерывность) дает приемлемую аппроксимацию к точному результату, полученному в примере 5.4.5.

Пример 7.5.1. Преступность и близнецы. Данные относятся к 30 преступникам мужского пола, каждый из которых имел брата близнеца. Тридцать человек были классифицированы: а) по природе родства (однояйцовые или разнояйцовые близнецы) и б) по виновности или невиновности брата. Результаты представлены в табл. 7.5.5.

Таблица 7.5.5 (см. скан)

Непосредственное вычисление ожидаемых частот в предположении отсутствия связи между природой родства и преступностью близнеца приводит к следующим ожидаемым частотам:

(см. скан)

Статистика Пирсона, вычисленная непосредственно по этим данным, равна

Применение поправки на непрерывность, которая уменьшает абсолютную величину разности между наблюденной и ожидаемой частотой в ячейке на 0,5, приводит к скорректированной величине статистики:

Ясно, что требуется односторонний критерий, и соответствующий уровень значимости поэтому равен:

Этот результат хорошо соотносится с величиной 0,0005, полученной по точному критерию. Он является высоко значимым и решительно отвергает нулевую гипотезу.