Информация Фишера

В математической статистике и теории информации информа́цией Фи́шера называется дисперсия функции вклада выборки. Эта функция названа в честь описавшего её Рональда Фишера.

Определение

Пусть $f(\theta,\;x_1,\dots,\,x_n)$ — плотность распределения для данной статистической модели. Тогда если определена функция

$I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;x_1,\dots,\,x_n)}{\partial \theta}\right)^2,\;L=\sum_{i=1}^n\ln f(\theta,x_i)\!$,

где $L(\theta,\;x_1,\dots,\,x_n)$ — логарифмическая функция правдоподобия, а $\mathbb{E}_\theta\!$ — математическое ожидание при данном $\theta\!$, то она называется информацией Фишера для данной статистической модели при $n\!$ независимых испытаниях.

Если $\ln f(x;\theta)$ дважды дифференцируем по $\theta$, и при определенных условиях регулярности, информацию Фишера можно переписать как ^[1]

$I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2 = - \mathbb{E}_\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\right)$

Для регулярных моделей: $\mathbb{E}_\theta \left(\frac{\partial L(\theta,\;x_1,\dots,\,x_n)}{\partial \theta}\right) = 0\!$ (В этом и состоит определение регулярности).

В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

$I_i(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,x_i)}{\partial \theta}\right)^2\!$.

Для регулярных моделей все $I_i(\theta)\!$ равны между собой.

Если выборка состоит из одного элемента, то информация Фишера записывается так:

$I(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,x)}{\partial \theta}\right)^2\!$.

Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для $n\!$ независимых испытаний $I_n(\theta) = nI(\theta)\!$.

Свойства

• Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин $\xi_1(\theta,\,x),\dots,\,\xi_n(\theta,\,x)\!$ (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.

Сохранение информации достаточной статистикой

В общем случае, если $T = t(X)$ — статистика выборки X, то

$I_T(\theta)\leq I_X(\theta)$

Причем равенство достигается тогда и только тогда, если T является достаточной статистикой.

Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика $T(X)$ достаточна для параметра θ, то существуют функции g и h такие, что:

$f(X;\theta) = g(T(X), \theta) h(X) \!$

Равенство информации следует из:

$\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X);\theta)\right]$

что следует из определения информации Фишера и независимости $h(X)$ от θ.

См. также

• Неравенство Крамера — Рао

Другие меры, используемые в теории информации:

• Информационная энтропия
• Расстояние Кульбака — Лейблера
• Собственная информация

Примечания

1. ↑ Lehmann E. L. Theory of Point Estimation. — 2nd ed. — Springer, 1998. — ISBN 0-387-98502-6 , eq. (2.5.16).

Для улучшения этой статьи желательно?: Добавить иллюстрации. Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное.