Спільна ентропія

Теорія інформації
Ентропія Диференціальна ентропія Умовна ентропія Спільна ентропія Взаємна інформація Спрямована інформація(інші мови) Умовна взаємна інформація(інші мови) Відносна ентропія Ентропійна швидкість Границя густини дискретних точок(інші мови)
Властивість асимптотичної рівнорозподіленості(інші мови) Швидкість–спотворення(інші мови)
Теорема Шеннона про кодування джерела(інші мови) Пропускна здатність каналу Теорема про кодування для зашумленого каналу(інші мови) Теорема Шеннона — Гартлі Алгоритмічна теорія інформації
п о р

У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Спільна ентропія Шеннона (в бітах) двох змінних ${\displaystyle X}$ та ${\displaystyle Y}$ визначається як

${\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

де ${\displaystyle x}$ та ${\displaystyle y}$ є конкретними значеннями ${\displaystyle X}$ та ${\displaystyle Y}$ відповідно, ${\displaystyle P(x,y)}$ є спільною ймовірністю трапляння цих значень разом, а ${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ визначається як 0, якщо ${\displaystyle P(x,y)=0}$.

Для понад двох змінних ${\displaystyle X_{1},...,X_{n}}$ це визначення розширюється до

${\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

де ${\displaystyle x_{1},...,x_{n}}$ є конкретними значеннями ${\displaystyle X_{1},...,X_{n}}$ відповідно, ${\displaystyle P(x_{1},...,x_{n})}$ є ймовірністю трапляння цих значень разом, а ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ визначається як 0, якщо ${\displaystyle P(x_{1},...,x_{n})=0}$.

Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.

${\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}$

${\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}$

Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом субадитивності^[en]. Ця нерівність є рівністю, якщо і лише якщо ${\displaystyle X}$ та ${\displaystyle Y}$ є статистично незалежними.

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$

${\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}$

Спільна ентропія використовується у визначенні умовної ентропії

${\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}$,

і

${\displaystyle H(X_{1},\dots ,X_{n})=\sum _{k=1}^{N}H(X_{k}|X_{k-1},\dots ,X_{1})}$

Вона також використовується у визначенні взаємної інформації

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}$

У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії^[en].

• Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. с. 613—614. ISBN 0-486-41147-8. (англ.)