Неравенство Крамера — Рао

Неравенство Краме́ра — Ра́о — неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Названо по именам шведского математика Харальда Крамера и индийского математика Кальямпуди Рао, но независимо от них устанавливалось также Фреше, Дармуа (фр. Georges Darmois), Айткеном (англ. Alexander Aitken) и Сильверстоуном (Harold Silverstone). Известно обобщение в квантовой теории оценивания — квантовое неравенство Крамера — Рао.

Для статистической модели ${\displaystyle (X,\,B,\,P_{\theta })}$, ${\displaystyle x=(x_{1},\dots ,\,x_{n})}$ — выборка размера ${\displaystyle n}$, — определена функция правдоподобия ${\displaystyle L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})}$ и выполнены следующие условия (условия регулярности):

• ${\displaystyle L_{}^{}>0}$ и везде дифференцируема по ${\displaystyle \theta _{}^{}}$;
• функция ${\displaystyle U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}}$ (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера);
• для любой статистики ${\displaystyle {\widehat {\theta }}(x)}$ с конечным вторым моментом имеет место равенство:

  ${\displaystyle {\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx}$.

Если при этих условиях дана статистика ${\displaystyle {\widehat {\theta }}(x)}$, которая несмещённо оценивает дифференцируемую функцию ${\displaystyle \tau (\theta )}$, то справедливо следующее неравенство:

${\displaystyle \mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {(\tau '(\theta ))^{2}}{nI(\theta )}}}$, где ${\displaystyle I(\theta )=M\left({\frac {d\ln L(\theta ,x)}{d\theta }}\right)^{2}}$;

а равенство достигается тогда и только тогда, когда:

${\displaystyle {\frac {d\ln L(\theta ,x)}{d\theta }}=a(\theta )({\widehat {\theta }}(x)-\tau (\theta ))}$.

Здесь ${\displaystyle I^{}(\theta )}$ — количество информации по Фишеру в одном наблюдении, а ${\displaystyle L(\theta ,t)}$ — плотность распределения генеральной совокупности ${\displaystyle X}$ в случае непрерывной статистической модели и вероятность события ${\displaystyle (X=t)}$ в случае дискретной статистической модели.

Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а ${\displaystyle {\widehat {\theta }}(x)}$ — несмещённая оценка параметра ${\displaystyle \theta }$, то:

${\displaystyle \mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}}$.

Равенство в этом неравенстве достигается тогда и только тогда, когда ${\displaystyle {\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)}$.

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

• Математическая статистика, под ред. В. С. Зарубина, серия «Математика в техническом университете», вып. XVII, М., МГТУ, 2002

У этой статьи есть несколько проблем, помогите их исправить: В статье есть список источников, но не хватает сносок. Без сносок сложно определить, из какого источника взято каждое отдельное утверждение. Вы можете улучшить статью, проставив сноски на источники, подтверждающие информацию. Сведения без сносок могут быть удалены. (1 августа 2020) Раздел литературы нуждается в оформлении согласно рекомендациям. Пожалуйста, оформите его согласно образцам здесь. (1 августа 2020) Пожалуйста, после исправления проблемы исключите её из списка параметров. После устранения всех недостатков этот шаблон может быть удалён любым участником.