Центральная статистика

В статистике центральная статистика^[1] (также: пивот от англ. pivot и англ. pivotal quantity, центральная величина^[2], опорная величина, ключевая величина) — это функция от наблюдений и неизвестных параметров, такая что распределение вероятностей [этой] функции не зависит от неизвестных параметров (включая мешающие параметры^[3]. Центральная статистика не обязательно должна быть статистикой, функция и её значение могут зависеть от параметров в модели, но её распределение — не должно. Если функция является статистикой, то она называется вспомогательной статистикой^[англ.].

Пусть^[4] ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$ — случайная выборка из распределения, которая зависит от параметра (или вектора параметров) ${\displaystyle \theta }$. Пусть ${\displaystyle g(X,\theta )}$ случайная переменная, распределение которой одинаково для всех ${\displaystyle \theta }$. Тогда ${\displaystyle g}$ — это центральная статистика (см. синонимы).

Центральные статистики часто используются для нормализации^[англ.] для сравнения данных из разных наборов данных. Выразить центральные статистики для математического ожидания (${\displaystyle \mu }$) и стандартного отклонения (${\displaystyle \sigma }$) довольно просто: для того, чтобы убрать первое, нужно взять разность, такую что ${\displaystyle \mu }$ сократится, а для последнего — отношение, такое что ${\displaystyle \sigma }$ сократится.

Центральные статистики — это фундамент статистических критериев, поскольку они позволяют статистике не зависеть от параметров, например, t-статистика^[англ.] для нормального распределения с неизвестной дисперсией и средним. Они также предоставляют метод построения доверительного интервала, а ещё использование центральных статистик улучшает результаты метода бутстрэп. Вспомогательная статистика используется для построения частотных интервалов предсказания^[англ.] (доверительный интервал предсказания).

Одна из самых простых центральных статистик — это z-оценка. Дано нормальное распределение со средним ${\displaystyle \mu }$ и дисперсией ${\displaystyle \sigma ^{2}}$ и наблюдение ${\displaystyle x}$, тогда z-оценка:

${\displaystyle z={\frac {x-\mu }{\sigma }},}$

имеет распределение ${\displaystyle N(0,1)}$ — нормальное распределение со средним ${\displaystyle 0}$ и дисперсией ${\displaystyle 1}$. Сходным образом, поскольку среднее выборки из ${\displaystyle n}$ элементов имеет выборочное распределение ${\displaystyle N(\mu ,\sigma ^{2}/n)}$, то z-оценка среднего:

${\displaystyle z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}}$

также имеет распределение ${\displaystyle N(0,1)}$. Обратим внимание, что хоть все эти функции зависят от параметров и мы можем их вычислить только если эти параметры известны (они не являются статистиками), — распределение z-оценки всё равно не зависит от параметров.

Дано ${\displaystyle n}$ наблюдений нормально распределённых независимых [одинаково распределённых] случайных величин ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$ с неизвестным средним ${\displaystyle \mu }$ и дисперсией ${\displaystyle \sigma ^{2}}$. Тогда центральную статистику можно получить из функции:

${\displaystyle g(x,X)={\frac {x-{\bar {X}}}{s/{\sqrt {n}}}}}$,

где

${\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

и

${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}$

это несмещённые оценки ${\displaystyle \mu }$ и ${\displaystyle \sigma ^{2}}$ соответственно. Функция ${\displaystyle g(x,X)}$ — это t-статистика Стьюдента^[англ.] для нового значения ${\displaystyle x}$, которое будет взято из той же генеральной совокупности, как и наблюдаемый набор данных ${\displaystyle X}$.

Используя ${\displaystyle x=\mu }$ функция ${\displaystyle g(\mu ,X)}$ становится центральной статистикой, которая распределена по распределению Стьюдента с ${\displaystyle \nu =n-1}$ степеней свободы. Хоть ${\displaystyle \mu }$ является аргументом функции ${\displaystyle g}$, распределение ${\displaystyle g(\mu ,X)}$ не зависит от параметров ${\displaystyle \mu }$ или ${\displaystyle \sigma ^{2}}$ нормального распределения из которого были получены наблюдения ${\displaystyle X_{1},\dots ,X_{n}}$.

Это можно использовать для построения интервала предсказания^[англ.] для следующего наблюдения ${\displaystyle X_{n+1}}$; См. Интервал предсказания $ Нормальное распределение^[англ.].

В более сложных случаях невозможно найти точные центральные статистики, тем не менее наличие приближённых центральных статистик улучшает сходимость к асимптотической нормальности^[англ.].

Предположим, у нас есть выборка размера ${\displaystyle n}$ векторов ${\displaystyle (X_{i},Y_{i})^{\prime }}$, взятая из двумерного нормального распределения с неизвестной корреляцией ${\displaystyle \rho }$.

В качестве оценщика ${\displaystyle \rho }$ можно взять выборочную корреляцию (Пирсона):

${\displaystyle r={\frac {{\frac {1}{n-1}}\sum \limits _{i=1}^{n}(X_{i}-{\bar {X}})(Y_{i}-{\bar {Y}})}{s_{x}s_{y}}}}$,

где ${\displaystyle s_{X}^{2}}$, ${\displaystyle s_{Y}^{2}}$ — выборочная дисперсия ${\displaystyle X}$ и ${\displaystyle Y}$. У выборочной статистики ${\displaystyle r}$ асимптотически нормальное распределение:

${\displaystyle {\sqrt {n}}{\frac {r-\rho }{1-\rho ^{2}}}\Rightarrow N(0,1)}$.

Тем не менее преобразование корреляционного коэффициента, стабилизирующее дисперсию^[англ.],

${\displaystyle z=\tanh ^{-1}r={\frac {1}{2}}\ln {\frac {1+r}{1-r}}}$,

известное как z-преобразование Фишера^[англ.], позволяет сделать распределение ${\displaystyle z}$ асимптотически независимым от неизвестных параметров:

${\displaystyle {\sqrt {n}}(z-\zeta )\Rightarrow N(0,1)}$,

где ${\displaystyle \zeta =\tanh ^{-1}\rho }$ соответствует параметру распределения. Для конечных выборок размером ${\displaystyle n}$ случайная величина ${\displaystyle z}$ будет иметь распределение ближе к нормальному, чем у [распределения] ${\displaystyle r}$. Для получения ещё большей приближённости к стандартному нормальному распределению можно использовать для извлечения дисперсии лучшее приближение: обычно это

${\displaystyle \mathbb {D} (z)\approx {\frac {1}{n-3}}}$.

С точки зрения робастной статистики, центральные статистики робастны относительно изменений в параметрах, в действительности не зависят от параметров, но в целом не робастны к изменениям в модели, поскольку нарушается предположение о нормальности. Это основополагающий момент для критики не-робастной статистики часто выводится из центральных статистик: такие статистики могут быть робастны внутри семейства, но не вне ей.

• Нормализация^[англ.]