T-критерий Стьюдента

t-критерий Стьюдента — общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента. Наиболее частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках.

t-статистика строится обычно по следующему общему принципу: в числителе — случайная величина с нулевым математическим ожиданием (при выполнении нулевой гипотезы), а в знаменателе — выборочное стандартное отклонение этой случайной величины, получаемое как квадратный корень из несмещённой оценки дисперсии.

Данный критерий был разработан Уильямом Госсетом для оценки качества пива в компании Гиннесс. В связи с обязательствами перед компанией по неразглашению коммерческой тайны (руководство Гиннесса считало таковой использование статистического аппарата в своей работе), статья Госсета вышла в 1908 году в журнале «Биометрика» под псевдонимом «Student» (Студент).

Для применения данного критерия необходимо, чтобы выборочные средние имели нормальное распределение. При маленьких выборках это означает требование нормальности исходных значений. В случае применения двухвыборочного критерия для независимых выборок также необходимо соблюдение условия равенства дисперсий. Существуют, однако, альтернативы критерию Стьюдента для ситуации с неравными дисперсиями.

Также не вполне корректно применять t-критерий Стьюдента при наличии в данных значительного числа выбросов. При несоблюдении этих условий при сравнении выборочных средних должны использоваться аналогичные методы непараметрической статистики, среди которых наиболее известными являются U-критерий Манна — Уитни (в качестве двухвыборочного критерия для независимых выборок), а также критерий знаков и критерий Уилкоксона (используются в случаях зависимых выборок).

Применяется для проверки нулевой гипотезы ${\displaystyle H_{0}:E(X)=m}$ о равенстве математического ожидания ${\displaystyle E(X)}$ некоторому известному значению ${\displaystyle m}$.

Очевидно, при выполнении нулевой гипотезы ${\displaystyle E({\overline {X}})=m}$. С учётом предполагаемой независимости наблюдений ${\displaystyle V({\overline {X}})=\sigma ^{2}/n}$. Используя несмещённую оценку дисперсии ${\displaystyle s_{X}^{2}=\sum _{t=1}^{n}(X_{t}-{\overline {X}})^{2}/(n-1)}$ получаем следующую t-статистику:

При нулевой гипотезе распределение этой статистики ${\displaystyle t(n-1)}$. Следовательно, при превышении (в абсолютном измерении) значения статистики критического значения данного распределения (при заданном уровне значимости), нулевая гипотеза отвергается.

Пусть имеются две независимые выборки объёмами ${\displaystyle n_{1}}$, ${\displaystyle n_{2}}$ нормально распределённых случайных величин ${\displaystyle X_{1}}$, ${\displaystyle X_{2}}$. Необходимо проверить по выборочным данным нулевую гипотезу равенства математических ожиданий этих случайных величин ${\displaystyle H_{0}\colon M_{1}=M_{2}}$.

Рассмотрим разность выборочных средних ${\displaystyle \Delta ={\overline {X}}_{1}-{\overline {X}}_{2}}$. Очевидно, если нулевая гипотеза выполнена, ${\displaystyle E(\Delta )=M_{1}-M_{2}=0}$. Исходя из независимости выборок дисперсия этой разности равна ${\displaystyle V(\Delta )={\frac {\sigma _{1}^{2}}{n_{1}}}+{\frac {\sigma _{2}^{2}}{n_{2}}}}$. Тогда, используя несмещённую оценку дисперсии ${\displaystyle s^{2}={\frac {\sum _{t=1}^{n}(X_{t}-{\overline {X}})^{2}}{n-1}}}$, получаем несмещённую оценку дисперсии разности выборочных средних: ${\displaystyle s_{\Delta }^{2}={\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}}{n_{2}}}}$. Следовательно, ${\displaystyle t}$-статистика для проверки нулевой гипотезы равна

${\displaystyle t={\frac {{\overline {X}}_{1}-{\overline {X}}_{2}}{\sqrt {{\dfrac {s_{1}^{2}}{n_{1}}}+{\dfrac {s_{2}^{2}}{n_{2}}}}}}.}$

Эта статистика при справедливости нулевой гипотезы имеет распределение ${\displaystyle t(df)}$, где ${\displaystyle df={\frac {\left({\dfrac {s_{1}^{2}}{n_{1}}}+{\dfrac {s_{2}^{2}}{n_{2}}}\right)^{2}}{{\cfrac {1}{n_{1}-1}}\left({\cfrac {s_{1}^{2}}{n_{1}}}\right)^{2}+{\cfrac {1}{n_{2}-1}}\left({\cfrac {s_{2}^{2}}{n_{2}}}\right)^{2}}}}$.

В случае, если дисперсии выборок предполагаются одинаковыми, то

${\displaystyle V(\Delta )=\sigma ^{2}\left({\frac {1}{n_{1}}}+{\frac {1}{n_{2}}}\right).}$

Тогда ${\displaystyle t}$-статистика равна:

${\displaystyle t={\frac {{\overline {X}}_{1}-{\overline {X}}_{2}}{s_{X}{\sqrt {{\dfrac {1}{n_{1}}}+{\dfrac {1}{n_{2}}}}}}},\quad s_{X}={\sqrt {\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}}}.}$

Эта статистика имеет распределение ${\displaystyle t(n_{1}+n_{2}-2)}$.

Для вычисления эмпирического значения ${\displaystyle t}$-критерия в ситуации проверки гипотезы о различиях между двумя зависимыми выборками (например, двумя пробами одного и того же теста с временным интервалом) применяется следующая формула:

${\displaystyle t={\frac {M_{d}}{s_{d}/{\sqrt {n}}}},}$

где ${\displaystyle M_{d}}$ — средняя разность значений, ${\displaystyle s_{d}}$ — стандартное отклонение разностей, а n — количество наблюдений.

Эта статистика имеет распределение ${\displaystyle t(n-1)}$.

С помощью t-теста можно также проверить произвольное (одно) линейное ограничение на параметры линейной регрессии, оценённой обычным методом наименьших квадратов. Пусть необходимо проверить гипотезу ${\displaystyle H_{0}:c^{T}b=a}$. Очевидно, при выполнении нулевой гипотезы ${\displaystyle E(c^{T}{\hat {b}}-a)=c^{T}E({\hat {b}})-a=0}$. Здесь использовано свойство несмещённости МНК-оценок параметров модели ${\displaystyle E({\hat {b}})=b}$. Кроме того, ${\displaystyle V(c^{T}{\hat {b}}-a)=c^{T}V({\hat {b}})c=\sigma ^{2}c^{T}(X^{T}X)^{-1}c}$. Используя вместо неизвестной дисперсии её несмещённую оценку ${\displaystyle s^{2}=ESS/(n-k)}$, получаем следующую t-статистику:

${\displaystyle t={\frac {c^{T}{\hat {b}}-a}{s{\sqrt {c^{T}(X^{T}X)^{-1}c}}}}.}$

Эта статистика при выполнении нулевой гипотезы имеет распределение ${\displaystyle t(n-k)}$, поэтому если значение статистики выше критического, то нулевая гипотеза о линейном ограничении отклоняется.

Частным случаем линейного ограничения является проверка гипотезы о равенстве коэффициента ${\displaystyle b_{j}}$ регрессии некоторому значению ${\displaystyle a}$. В этом случае соответствующая t-статистика равна:

${\displaystyle t={\frac {{\hat {b}}_{j}-a}{s_{{\hat {b}}_{j}}}},}$

где ${\displaystyle s_{{\hat {b}}_{j}}}$ — стандартная ошибка оценки коэффициента — квадратный корень из соответствующего диагонального элемента ковариационной матрицы оценок коэффициентов.

При справедливости нулевой гипотезы распределение этой статистики — ${\displaystyle t(n-k)}$. Если значение статистики по абсолютной величине выше критического значения, то отличие коэффициента от ${\displaystyle a}$ является статистически значимым (неслучайным), в противном случае — незначимым (случайным, то есть истинный коэффициент вероятно равен или очень близок к предполагаемому значению ${\displaystyle a}$).

Одновыборочный тест для математических ожиданий можно свести к проверке линейного ограничения на параметры линейной регрессии. В одновыборочном тесте это «регрессия» на константу. Поэтому ${\displaystyle s^{2}}$ регрессии и есть выборочная оценка дисперсии изучаемой случайной величины, матрица ${\displaystyle X^{T}X}$ равна ${\displaystyle n}$, а оценка «коэффициента» модели равна выборочному среднему. Отсюда и получаем выражение для t-статистики, приведённое выше для общего случая.

Аналогично можно показать, что двухвыборочный тест при равенстве дисперсий выборок также сводится к проверке линейных ограничений. В двухвыборочном тесте это «регрессия» на константу и фиктивную переменную, идентифицирующую подвыборку в зависимости от значения (0 или 1): ${\displaystyle y=a+bD}$. Гипотеза о равенстве математических ожиданий выборок может быть сформулирована как гипотеза о равенстве коэффициента b этой модели нулю. Можно показать, что соответствующая t-статистика для проверки этой гипотезы равна t-статистике, приведённой для двухвыборочного теста.

Также к проверке линейного ограничения можно свести и в случае разных дисперсий. В этом случае дисперсия ошибок модели принимает два значения. Исходя из этого можно также получить t-статистику, аналогичную приведённой для двухвыборочного теста.

Аналогом двухвыборочного критерия для независимых выборок является U-критерий Манна — Уитни. Для ситуации с зависимыми выборками аналогами являются критерий знаков и T-критерий Вилкоксона.

• F-тест

Student. The probable error of a mean. // Biometrika. 1908. № 6 (1). P. 1-25.

О критериях проверки гипотез об однородности средних на сайте Новосибирского государственного технического университета