19.2. ÑÒÀÒÈÑÒÈÊÀ È ÒÅÎÐÈß ÏÐÈÍßÒÈß ÐÅØÅÍÈÉ
19.2.1. ÎÖÅÍÈÂÀÍÈÅ
Êàê ìû óêàçûâàëè â ðàçäåëå 19.1.1, çàäà÷ó îöåíèâàíèÿ íåèçâåñòíîãî ïàðàìåòðà ìîæíî ðàññìàòðèâàòü êàê ÷àñòíûé ñëó÷àé îáùåé çàäà÷è ñòàòèñòè÷åñêîãî ðåøåíèÿ, êîãäà
(ò. å. òðåáóåìîå äåéñòâèå ñîñòîèò â âûáîðå ýëåìåíòà ïàðàìåòðè÷åñêîãî ïðîñòðàíñòâà). Áîëåå òîãî, åñëè îãðàíè÷èòüñÿ áàéåñîâñêèìè ðåøàþùèìè ôóíêöèÿìè, òî òåîðåìà 19.1.6 èç ïðåäûäóùåãî ðàçäåëà ïîêàçûâàåò, ÷òî äëÿ êàæäîãî
òàêàÿ ôóíêöèÿ 8 çàäàåòñÿ âûáîðîì äåéñòâèÿ
ìèíèìèçèðóþùåãî àïîñòåðèîðíûé îæèäàåìûé ðèñê
Ñëåäóþùèå òåîðåìû îïèñûâàþò îáùèå ôîðìû áàéåñîâñêèõ îöåíîê ïðè ðàçëè÷íûõ ñòàíäàðòíûõ ôóíêöèÿõ ïîòåðü
Òåîðåìà 19.2.1. Åñëè èñïîëüçóåòñÿ òàê íàçûâàåìàÿ êâàäðàòè÷íàÿ ôóíêöèÿ ïîòåðü
òî áàéåñîâñêàÿ îöåíêà çàäàåòñÿ ñðåäíèì çíà÷åíèåì àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ.
Äîêàçàòåëüñòâî. Ìû õîòèì âûáðàòü
òàê, ÷òîáû ìèíèìèçèðîâàòü
Äèôôåðåíöèðóÿ ïî à è ïðèðàâíèâàÿ ïðîèçâîäíóþ íóëþ, ïîëó÷èì
ïîñêîëüêó
Òåîðåìà 19.2.2. Ïðè èñïîëüçîâàíèè òàê íàçûâàåìîé àáñîëþòíîé ôóíêöèè ïîòåðü
áàéåñîâñêàÿ îöåíêà çàäàåòñÿ ìåäèàíîé àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ.
Äîêàçàòåëüñòâî. (Äëÿ ñëó÷àÿ
). Íàì íóæíî âûáðàòü à òàê, ÷òîáû ìèíèìèçèðîâàòü àïîñòåðèîðíûå îæèäàåìûå ïîòåðè
Ïðîäèôôåðåíöèðóåì ïî à, ó÷èòûâàÿ, ÷òî
Ïðèðàâíÿâ ïðîèçâîäíóþ íóëþ, ïîëó÷èì
(òàê êàê ñóììà ýòèõ èíòåãðàëîâ ðàâíà 1). Ïî îïðåäåëåíèþ [ñì. II, ðàçäåë 10.3.3] ýòî îçíà÷àåò, ÷òî à — ìåäèàíà àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ.
Òåîðåìà 19.2.3. Åñëè
ïðè
(òàê íàçûâàåìûå «ïîòåðè íîëü-îäèí»), òî áàéåñîâñêîå ðåøåíèå ñîâïàäàåò ñ ìîäîé àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ.
Äîêàçàòåëüñòâî (òîëüêî äëÿ äèñêðåòíîãî ïðîñòðàíñòâà 0). Ìû èñïîëüçóåì ôóíêöèþ ïîòåðü âèäà
è õîòèì ìèíèìèçèðîâàòü ðèñê
Åñëè ïîëîæòü
, òî àïîñòåðèîðíûå îæèäàåìûå ïîòåðè îêàæóòñÿ ðàâíûìè:
Î÷åâèäíî, ÷òî ïîñëåäíåå âûðàæåíèå ïðèíèìàåò íàèìåíüøåå çíà÷åíèå, êîãäà
âûáðàíî òàê, ÷òîáû ìàêñèìèçèðîâàòü
Íî òàêîå çíà÷åíèå â è íàçûâàåòñÿ ìîäîé (ò. å. íàèáîëåå âåðîÿòíûì çíà÷åíèåì) àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ.
Íåñêîëüêî ÷àñòíûõ ïðèìåðîâ áàéåñîâñêèõ îöåíîê ñ èñïîëüçîâàíèåì êâàäðàòè÷íîé ôóíêöèè ïîòåðü áûëè ïðèâåäåíû â ãë. 15.
Âîîáùå ãîâîðÿ, èçó÷åíèå ìèíèìàêñíûõ îöåíîê íå òàê ïðîñòî; äëÿ îïåðàöèè òèïà
íåò î÷åâèäíûõ àíàëîãîâ ïðîöåäóð èíòåãðèðîâàíèÿ (ñóììèðîâàíèÿ) è äèôôåðåíöèðîâàíèÿ, êîòîðûìè ìû ïîëüçîâàëèñü ïðè ïîèñêå áàéåñîâñêèõ ðåøåíèé. Òåì íå ìåíåå òåîðåìà 19.1.5 ÷àñòî îêàçûâàåòñÿ ïîëåçíîé îñíîâîé äëÿ îòûñêàíèÿ ìèíèìàêñíûõ ðåøåíèé.
Ïðèìåð 19.2.1. Ïðåäïîëîæèì, ÷òî
— íàáëþäàåìîå ÷èñëî óñïåõîâ â
íåçàâèñèìûõ èñïûòàíèÿõ, â êàæäîì èç êîòîðûõ âåðîÿòíîñòü óñïåõà ðàâíà â. Íàéäåì ìèíèìàêñíóþ îöåíêó âåðîÿòíîñòè ïðè êâàäðàòè÷íîé ôóíêöèè ïîòåðü.
Çàìåòèì ïðåæäå âñåãî, ÷òî ïî òåîðåìå 19.1.5 ñòîèò ñíà÷àëà íàéòè äîïóñòèìóþ ïðîöåäóðó îöåíèâàíèÿ ñ ïîñòîÿííûì ðèñêîì. Íàïîìíèì
åùå, ÷òî ïî òåîðåìå 19.1.1 åäèíñòâåííàÿ áàéåñîâñêàÿ ðåøàþùàÿ ôóíêöèÿ âñåãäà äîïóñòèìà. Ïîýòîìó ìû ïîïûòàåìñÿ íàéòè âèä áàéåñîâñêîé îöåíêè â ñëó÷àå, êîãäà îíà åäèíñòâåííàÿ, à çàòåì ïîñìîòðåòü, ïðè êàêèõ óñëîâèÿõ ýòà îöåíêà ïðèâîäèò ê ïîñòîÿííîìó ðèñêó. Åñëè íàì ýòî óäàñòñÿ, ìû íàéäåì ìèíèìàêñíóþ ïðîöåäóðó îöåíèâàíèÿ.
×òîáû ñïðàâèòüñÿ ñ ïåðâîé çàäà÷åé, âñïîìíèì, ÷òî åñëè àïðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà
èìååò âèä áåòà-ðàñïðåäåëåíèÿ ñ ïàðàìåòðàìè
òàê ÷òî
òî è àïîñòåðèîðíîå ðàñïðåäåëåíèå
èìååò òîò æå âèä, íî âìåñòî à íóæíî âçÿòü
, à âìåñòî
. À òàê êàê ñðåäíåå çíà÷åíèå ðàñïðåäåëåíèÿ
ðàâíî
è ýòî — åäèíñòâåííàÿ áàéåñîâñêàÿ îöåíêà ïðè êâàäðàòè÷íîé ôóíêöèè ïîòåðü, òî åäèíñòâåííîé áàéåñîâñêîé ðåøàþùåé ôóíêöèåé, ñîîòâåòñòâóþùåé àïðèîðíûì ïàðàìåòðàì
áóäåò
Âûïèøåì òåïåðü ôóíêöèþ ðèñêà
è âûÿñíèì, ïðè êàêîì âûáîðå
îíà îêàçûâàåòñÿ ïîñòîÿííîé (ïî
). Ïî îïðåäåëåíèþ
ïîñêîëüêó
÷ëåí
ïðîïàäàåò. Äàëåå, òàê êàê
òî ïîñëå ïðîñòûõ ïðåîáðàçîâàíèé ïîëó÷èì
Ïðè
ðèñê
îêàçûâàåòñÿ íå çàâèñÿùèì îò
, òàê êàê êîýôôèöèåíòû ïðè
è
ðàâíû íóëþ. Ïîýòîìó ìèíèìàêñíîé îöåíêîé âåðîÿòíîñòè
áóäåò