Ентропія Реньї

У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї.

Якщо деяка система має дискретну множину доступних станів ${\displaystyle X=\{x_{1},...,x_{n}\}}$, якій відповідає розподіл імовірностей ${\displaystyle p_{i}}$ для ${\displaystyle i=1,...,n}$ (тобто ${\displaystyle p_{i}}$ — ймовірності перебування системи в станах ${\displaystyle x_{i}}$), то ентропія Реньї з параметром ${\displaystyle \alpha }$ (при ${\displaystyle \alpha \geq 0}$ і ${\displaystyle \alpha \neq 1}$) системи визначається як

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={\frac {1}{1-\alpha }}\log {\Big \langle }p^{\alpha -1}{\Big \rangle }}$ ,

де кутовими дужками позначено математичне очікування за розподілом ${\displaystyle p_{i}}$ (${\displaystyle p}$ — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм.

Якщо всі ймовірності ${\displaystyle p_{i}=1/n}$, тоді за будь-якого ${\displaystyle \alpha }$ ентропія Реньї ${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$. Інакше ${\displaystyle \alpha }$-ентропія спадає як функція ${\displaystyle \alpha }$. Причому вищі значення ${\displaystyle \alpha }$ (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок ${\displaystyle \alpha =1}$ у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення ${\displaystyle \alpha }$ (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при ${\displaystyle \alpha =0}$ отримуємо максимально можливу ${\displaystyle \alpha }$-ентропію, рівну ${\displaystyle \log n}$ незалежно від розподілу (тільки аби ${\displaystyle p_{i}\neq 0}$).

Сенс параметра ${\displaystyle \alpha }$ можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше ${\displaystyle \alpha }$, то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження ${\displaystyle \alpha \geq 0}$ полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від ${\displaystyle X}$ монотонного перетворення^[en], відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію.

Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга ${\displaystyle XY}$ ентропію Реньї розраховано в термінах модулярних функцій, що залежать від ${\displaystyle \alpha }$. Вони також призводять до спектру показників фрактальної розмірності.

• при ${\displaystyle \alpha =0}$ ентропія Реньї не залежить від імовірностей станів (вироджений випадок) і дорівнює логарифму числа станів (логарифму потужності множини ${\displaystyle X}$):

${\displaystyle \mathrm {H} _{0}(X)=\log n=\log |X|}$ .

Цю ентропію іноді називають ентропією Гартлі^[en]. Вона використовується, наприклад, у формулюванні принципу Больцмана.

• У границі при ${\displaystyle \alpha \to 1}$, можна показати, використовуючи правило Лопіталя, що ${\displaystyle \mathrm {H} _{\alpha }}$ збігається до ентропії Шеннона. Таким чином, сімейство ентропій Реньї можна довизначити функціоналом

${\displaystyle \mathrm {H} _{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=\mathrm {H} (X)=-\sum _{i=1}^{n}p_{i}\log p_{i}}$ .

• Квадратична ентропія, іноді звана ентропією зіткнень, — це ентропія Реньї з параметром ${\displaystyle \alpha =2}$:

${\displaystyle \mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operatorname {Prob} \{x=y\}}$ ,

де ${\displaystyle x}$ і ${\displaystyle y}$ — незалежні випадкові величини, однаково розподілені на множині ${\displaystyle X}$ з імовірністю ${\displaystyle p_{i}}$ (${\displaystyle i=1,...,n}$). Квадратична ентропія використовується у фізиці, обробці сигналів, економіці.

• Існує границя

${\displaystyle \mathrm {H} _{\infty }(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }\mathrm {H} _{\alpha }(X)=-\log \sup _{i}p_{i}}$ ,

яку називають min-ентропією^[en], тому що це найменше значення ${\displaystyle \mathrm {H} _{\alpha }}$. Ця ентропія також є виродженим випадком, оскільки її значення визначається тільки найбільш імовірним станом.

Два останніх випадки пов'язані співвідношенням ${\displaystyle \mathrm {H} _{\infty }<\mathrm {H} _{2}<2\mathrm {H} _{\infty }}$. З іншого боку, ентропія Шеннона ${\displaystyle \mathrm {H} _{1}(X)}$ може бути як завгодно високою для розподілу X із фіксованою min-ентропією.

${\displaystyle \mathrm {H} _{2}<2\mathrm {H} _{\infty }}$ тому що ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\log \sup _{i}p_{i}}$ .

${\displaystyle \mathrm {H} _{\infty }<\mathrm {H} _{2}}$, тому що ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}}$ .

${\displaystyle \mathrm {H} _{1}\geq \mathrm {H} _{2}}$ відповідно до нерівності Єнсена ${\displaystyle \sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{i}^{2}}}$ .

Крім сімейства ентропій, Реньї також визначив спектр мір розходжень (дивергенцій), які узагальнюють розходження Кульбака — Лейблера. Формули цього розділу записано в загальному вигляді — через логарифм за довільною основою. Тому потрібно розуміти, що кожна наведена формула являє собою сімейство еквівалентних функціоналів, визначених з точністю до сталого (додатного) множника.

Розходження Реньї з параметром ${\displaystyle \alpha }$, де ${\displaystyle \alpha >0}$ і ${\displaystyle \alpha \neq 1}$, розподілу ${\displaystyle Q}$ відносно розподілу ${\displaystyle P}$ (або «відстань від ${\displaystyle P}$ до ${\displaystyle Q}$») визначається як

${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle }(p/q)^{\alpha -1}::P{\Big \rangle }}$

або (формально, без урахування нормування ймовірностей)

${\displaystyle D_{\alpha }(P\|Q)=-\mathrm {H} _{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}}$ ,

${\displaystyle \mathrm {H} _{\alpha }(P)=-\left.D_{\alpha }(P\|Q)\right|_{q=1}}$.

Як і розходження Кульбака — Лейблера, розходження Реньї є невід'ємним для ${\displaystyle \alpha >0}$.

• При ${\displaystyle \alpha =0}$ дивергенція Реньї не визначена, однак сімейство дивергенцій можна довизначити елементом

${\displaystyle D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\|Q)=-\log \sum _{i=1}^{n}q_{i}\operatorname {sgn} p_{i}}$ : мінус логарифм від суми ймовірностей ${\displaystyle q}$, таких що відповідні ${\displaystyle p>0}$.

• ${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$ : відстань Бгаттачар'я (мінус логарифм від коефіцієнта Бгаттачар'я, несуттєвим множником ${\displaystyle 2}$ нехтуємо). Це розходження, з точністю до монотонного перетворення^[en], еквівалентне відстані Геллінгера^[en] та сферичній відстані Бгаттачар'я — Рао^[ru], проте на відміну від них не задовольняє нерівності трикутника, а тому не є метрикою в просторі розподілів.

• ${\displaystyle D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\|Q)=D_{KL}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={\Big \langle }\log {\frac {p}{q}}::P{\Big \rangle }}$ : розходження Кульбака — Лейблера (дорівнює математичному сподіванню відносно розподілу ${\displaystyle P}$ логарифма відношення ймовірностей ${\displaystyle p/q}$).

• ${\displaystyle D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\log {\Big \langle }{\frac {p}{q}}::P{\Big \rangle }}$ : логарифм математичного сподівання за розподілом ${\displaystyle P}$ відношення ймовірностей ${\displaystyle p/q}$. Це розходження з точністю до монотонного перетворення еквівалентне розходженню хі-квадрат^[en] ${\displaystyle D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2}}{q_{i}}}}$ .

• ${\displaystyle D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }D_{\alpha }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$ : Логарифм найбільшого відношення ймовірностей ${\displaystyle p/q}$.

Значення ${\displaystyle \alpha =1}$, яке відповідає ентропії Шеннона і розходженню Кульбака — Лейблера, є особливим, тому що тільки в цьому випадку можна виділити змінні A і X зі спільного розподілу ймовірностей, такі що виконується

${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{p(a)}\{\mathrm {H} (X|a)\}}$

для ентропії, і

${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))}$ -

для дивергенції.

Останнє означає, що якщо ми шукатимемо розподіл ${\displaystyle p(x,a)}$, який зводить до мінімуму розходження деяких основоположних мір ${\displaystyle m(x,a)}$, і отримаємо нову інформацію, яка впливає тільки на розподіл ${\displaystyle a}$, то розподіл ${\displaystyle p(x|a)}$ не буде залежати від змін ${\displaystyle m(x|a)}$.

У загальному випадку розходження Реньї з довільними значеннями ${\displaystyle \alpha }$ задовольняють умовам незаперечності, неперервності та інваріантності відносно перетворення координат випадкових величин. Важливою властивістю будь-яких ентропії і дивергенції Реньї є адитивність: коли ${\displaystyle A}$ і ${\displaystyle X}$ незалежні, з ${\displaystyle p(A,X)=p(A)p(X)}$ випливає

${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)}$

і

${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X))}$ .

Найсильніші властивості випадку ${\displaystyle \alpha =1}$, які передбачають визначення умовної інформації і взаємної інформації з теорії зв'язку, можуть бути дуже важливими в інших застосуваннях або зовсім не важливими, залежно від вимог цих застосувань.

Перехресна ентропія ${\displaystyle \mathrm {H} _{\alpha }(P,Q)}$ від двох розподілів з імовірностями ${\displaystyle p_{i}}$ і ${\displaystyle q_{i}}$ (${\displaystyle i=1,...,n}$) в загальному випадку може визначатися по-різному (залежно від застосування), але має задовольняти умові ${\displaystyle \mathrm {H} _{\alpha }(P,P)=\mathrm {H} _{\alpha }(P)}$. Один з варіантів визначення (аналогічну властивість має перехресна ентропія Шеннона):

${\displaystyle \mathrm {H} _{\alpha }(P,Q)=\mathrm {H} _{\alpha }(P)+D_{\alpha }(P,Q)}$ .

Інше визначення, запропоноване А. Реньї, можна отримати з таких міркувань. Визначимо ефективне число станів системи як середнє геометричне зважене від величин ${\displaystyle 1/q_{i}}$ з вагами ${\displaystyle p_{i}}$:

${\displaystyle {\overline {n}}=\prod _{i=1}^{n}(1/q_{i})^{p_{i}}}$ .

Звідси випливає вираз для перехресної ентропії Шеннона

${\displaystyle \mathrm {H} (P,Q)=\log {\overline {n}}=-\sum _{i=1}^{n}p_{i}\log q_{i}}$ .

Міркуючи аналогічно, визначимо ефективне число станів системи як середнє степеневе зважене від величин ${\displaystyle 1/q_{i}}$ з вагами ${\displaystyle p_{i}}$ і параметром ${\displaystyle 1-\alpha }$:

${\displaystyle {\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{\frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alpha }}}$.

Таким чином, перехресна ентропія Реньї має вигляд

${\displaystyle \mathrm {H} _{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{\Big \rangle }}$ .

• Легко бачити, що в разі, якщо розподіли ймовірностей ${\displaystyle p}$ і ${\displaystyle q}$ збігаються, перехресна ентропія Реньї збігається з ентропією Реньї.
• Також при ${\displaystyle \alpha \to 1}$ перехресна ентропія Реньї збігається до перехресної ентропії Шеннона.
• властивість ${\displaystyle \mathrm {H} (P,Q)=\mathrm {H} (P)+D_{KL}(P\|Q)\geq \mathrm {H} (P)}$, істинна для перехресної ентропії Шеннона, в загальному випадку не має місця. Перехресна ентропія Реньї може бути як більшою, так і меншою від ентропії Реньї.

Для формального узагальнення ентропії Шеннона на випадок неперервного розподілу служить поняття диференціальна ентропія. Цілком аналогічно визначається диференційна ентропія Реньї:

${\displaystyle \mathrm {H} _{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha }(x)}dx}$ .

Розходження (дивергенція) Реньї в неперервному випадку також є узагальненням розходження Кульбака — Лейблера і має вигляд

${\displaystyle D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x)f^{1-\alpha }(x)}dx}$ .

Визначення перехресної ентропії, запропоноване А. Реньї, в неперервному випадку має вигляд

${\displaystyle \mathrm {H} _{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx}$ .

У наведених формулах ${\displaystyle f(x)}$ і ${\displaystyle g(x)}$ — деякі функції густини розподілу ймовірностей, визначені на інтервалі ${\displaystyle X\subseteq R}$, і покладається ${\displaystyle \alpha >0}$, ${\displaystyle \alpha \neq 1}$ .

• https://web.archive.org/web/20130517085559/http://digitalassets.lib.berkeley.edu/math/ucb/text/math_s4_v1_article-27.pdf (PDF). Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960. 1961. с. 547—561. Архів оригіналу (PDF) за 17 травня 2013. Процитовано 14 травня 2021. {{cite conference}}: Пропущений або порожній |title= (довідка)
• A. O. Hero, O.Michael and J. Gorman. Alpha-divergences for Classification, Indexing and Retrieval. — 2002. — 30 May. Архівовано з джерела 11 лютого 2012. Процитовано 14 травня 2021.
• F. Nielsen and S. Boltz. The Burbea-Rao and Bhattacharyya centroids. — 2010. — 30 May. Архівовано з джерела 21 лютого 2022. Процитовано 14 травня 2021.
• OA Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163—182
• Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]