Производящая функция вероятностей

В теории вероятностей, производящая функция вероятностей дискретной случайной величины представляет собой степенной ряд функции вероятности случайной величины. Производящие функции вероятностей часто используются для краткого описания их последовательности вероятностей P(X=i) для случайного величины Х, с возможностью применить теорию степенных рядов с неотрицательными коэффициентами.

Если Х является дискретной случайной величиной, принимающей неотрицательные целочисленные значения {0,1, ...}, тогда производящая функция вероятностей от случайной величины Х определяется как

${\displaystyle G(z)=M(z^{X})=\sum _{x=0}^{\infty }p(x)z^{x}}$

где p – это функция вероятности от Х. Заметим, что индексы обозначения G_X и p_X часто используются, чтобы подчеркнуть, что они относятся к конкретной случайной величине Х и ее распределению. Степенной ряд абсолютно сходится, по крайней мере, для всех комплексных чисел z, |z| ≤ 1; во многих примерах радиус сходимости больше.

Если X = (X₁,...,X_d) является дискретной случайной величиной, принимающей значения из d-мерной неотрицательной целочисленной решетки {0,1, ...}^d, тогда производящая функция вероятностей от Х определена как

${\displaystyle G(z)=G(z_{1},...,z_{d})=M(z_{1}^{X_{1}}...z_{d}^{X_{d}})=\sum _{x_{1},...,x_{d}=0}^{\infty }p(x_{1},...,x_{d})z_{1}^{x_{1}}...z_{d}^{x_{d}}}$

где p – это функция вероятности от Х. Степенной ряд абсолютно сходится по крайней мере для всех комплексных векторов z = (z₁,...,z_d ) ∈ ℂ^d с максимумом {|z₁|,...,|z_d |} ≤ 1.)

Производящие функции вероятностей подчиняются всем правилам степенных рядов с неотрицательными коэффициентами. В частности, G(1⁻) = 1, где G(1⁻) = lim_z→1G(z) снизу, поскольку сумма вероятностей должна равняться 1. Таким образом, радиус сходимости любой производящей функции вероятностей должен быть как минимум 1, по теореме Абеля для степенных рядов с неотрицательными коэффициентами.

Следующие свойства позволяют сделать вывод о различных базовых величинах, связанных с ${\displaystyle X}$:

1. Функция вероятности от ${\displaystyle X}$ восстанавливается взятием производной ${\displaystyle G}$

${\displaystyle p(k)=P(X=k)={\frac {G^{(k)}(0)}{k!}}}$

2. Из свойства 1 следует, что если случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ имеют равные производящие функции вероятностей ( ${\displaystyle G_{X}}$ = ${\displaystyle G_{Y}}$), тогда ${\displaystyle p_{X}(k)=p_{Y}(k)}$.То есть, если ${\displaystyle X}$ и ${\displaystyle Y}$ имеют одинаковые производящие функции вероятностей, то они имеют также и одинаковые распределения.

3. Нормализация функции плотности может быть выражена в терминах производящей функции

${\displaystyle M(1)=G(1^{-})=\sum _{i=0}^{\infty }p(i)=1}$

Математическое ожидание X задается как

${\displaystyle M(X)=G'(1^{-})}$

В более общем плане, k-ый факториальный момент,${\displaystyle E(X(X-1)...(X-k+1)))}$ от X задается как

${\displaystyle M\left({\frac {X!}{(X-k)!}}\right)=G^{(k)}(1^{-}),k\geq 0}$

Таким образом, дисперсия Х задается как

${\displaystyle D(X)=G''(1^{-})+G'(1^{-})-[G'(1^{-})]^{2}}$

4. ${\displaystyle G_{X}(e^{t})=M_{X}(t)}$, где ${\displaystyle X}$ – это случайная величина. ${\displaystyle G_{X}(t)}$ - это производящая функция вероятностей и ${\displaystyle M_{X}(t)}$ – это производящая функция моментов.

Производящие функции вероятностей полезны в частности для работы с функциями независимых случайных величин. Например:

• Если X₁, X₂, ..., X_n представляет собой последовательность независимых (и не обязательно одинаково распределенных) случайных величин, и

${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i},}$

где a_i – константы, тогда производящая функция вероятностей определяется как

${\displaystyle G_{S_{n}}(z)=M(z^{S_{n}})=M(z^{\sum _{i=1}^{n}a_{i}X_{i}})=G_{x_{1}}(z^{a_{1}})G_{x_{2}}(z^{a_{2}})...G_{x_{n}}(z^{a_{n}})}$

Например, если

${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i},}$

тогда производящая функция вероятностей, G_Sn(z), определяется как

${\displaystyle G_{S_{n}}(z)=G_{x_{1}}(z)G_{x_{2}}(z)...G_{x_{n}}(z)}$

Из этого также следует, что производящая функция разности двух независимых случайных переменных S = X₁ − X₂ определяется как

${\displaystyle G_{S}(z)=G_{X_{1}}(z)G_{X_{2}}(1/z)}$

• Предположим, что N также является независимой, дискретной случайной величиной, принимающая неотрицательные целочисленные значения, с производящей функцией вероятностей G_N. Если X₁, X₂, ..., X_N независимы и одинаково распределены с общей производящей функцией вероятностей G_X, тогда

${\displaystyle G_{S_{N}}(z)=G_{N}(G_{X}(z))}$

Это можно увидеть, используя закон полного математического ожидания следующим образом:

${\displaystyle G_{S_{N}}(z)=M(z^{S_{N}})=M(z^{\sum _{i=1}^{N}X_{i}})=M(M(z^{\sum _{i=1}^{N}X_{i}}|N))=M((G_{X}(z))^{N})=G_{N}(G_{X}(z))}$

Этот последний факт полезен при изучении процессов Гальтона-Ватсона.

• Пусть снова N также является независимой, дискретной случайной величиной, принимающей неотрицательные целочисленные значения, с производящей функцией вероятностей G_N и плотностью вероятности f_i=P{N=i}. Если X₁, X₂, ..., X_n независимы, но неодинаково распределенные случайные величины, где G_Xi обозначает производящую функцию вероятностей от X_i, тогда

${\displaystyle G_{S_{N}}(z)=\sum _{i\geq 1}{f_{i}}\prod _{k=1}^{i}{G_{X_{i}}(z)}}$

Для одинаково распределенных X_i это упрощает тождественность указанную ранее. В общем случае иногда полезно получить разложение S_N с помощью производящих функций вероятностей.

• Производящая функция вероятностей для постоянной случайной величины принимающей одно значение c (P(X=c) = 1) есть

${\displaystyle G(z)=z^{c}}$

• Производящая функция вероятностей для случайной величины с биномиальным распределением есть

${\displaystyle G(z)=[(1-p)+pz]^{n}}$

Очевидно, что это n-кратное произведение производящих функции случайной величины с распределением Бернулли с параметром p

Таким образом производящая функция случайной величины бросания честной монеты

${\displaystyle G(z)=1/2+z/2}$

• Производящая функция вероятностей для случайной величины с отрицательным биномиальным распределением с вероятностью успеха p, проводимой до r-го успеха

${\displaystyle G(z)={\left({\frac {p}{1-(1-p)z}}\right)}^{r}}$

(Сходится при ${\displaystyle \left|z\right|<{\frac {1}{1-p}}}$ )

Очевидно, что это r-кратное произведение производящих функции случайных величин с геометрическим распределением с параметром (1-p)

• Производящая функция вероятностей для случайной величины с распределением Пуассона с параметром λ есть

${\displaystyle G(z)=e^{\lambda {(z-1)}}}$

• Johnson, N.L.; Kotz, S.; Kemp, A.W. (1993) Univariate Discrete distributions (2nd edition). Wiley. ISBN 0-471-54897-9 (Section 1.B9)