Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis)^[1] в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Пусть ${\displaystyle P}$ — распределение вероятностей и ${\displaystyle \mu }$ — любая мера на ${\displaystyle X}$, для которой существует абсолютно непрерывная относительно ${\displaystyle \mu }$ функция ${\displaystyle p={\frac {dP}{d\mu }}}$. Тогда энтропия Цаллиса определяется как

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

В частности, для дискретной системы, находящейся в одном из ${\displaystyle N}$ доступных состояний с распределением вероятностей ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\}}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)}$.

В случае лебеговой меры ${\displaystyle \mu =x}$, т.е. когда ${\displaystyle P}$ — непрерывное распределение с плотностью ${\displaystyle p(x)}$, заданной на множестве ${\displaystyle X}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)}$.

В этих формулах ${\displaystyle k}$ — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают ${\displaystyle k=1}$.

Параметр ${\displaystyle q}$ — безразмерная величина (${\displaystyle q\in R}$), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при ${\displaystyle q\to 1}$, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При ${\displaystyle q>0}$ энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При ${\displaystyle q<0}$ функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при ${\displaystyle q>0}$ энтропию Цаллиса нужно максимизировать, а при ${\displaystyle q<0}$ — минимизировать^[2]. Значение параметра ${\displaystyle q=0}$ — это вырожденный случай энтропии Цаллиса, когда она не зависит от ${\displaystyle P}$, а зависит лишь от ${\displaystyle \mu (X)}$, т.е. от размера системы (от ${\displaystyle N}$ в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины ${\displaystyle X}$ был безразмерным^[3]. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при ${\displaystyle k={q-1 \over 1-2^{1-q}}}$) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát)^[4] в 1967 г. Вместе с тем при ${\displaystyle q>0}$ энтропия Цаллиса является частным случаем f-энтропии^[5] (при ${\displaystyle q<0}$ f-энтропией является величина, противоположная энтропии Цаллиса).

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции ${\displaystyle \ln x}$ на функцию

${\displaystyle \ln _{q}x={x^{q-1}-1 \over q-1}}$

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при ${\displaystyle q\to 1}$ совпадающий с логарифмом)^[6]. К. Цаллис использовал^[7] несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра ${\displaystyle q}$ на ${\displaystyle 2-q}$.

Ещё один способ^[7] получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

${\displaystyle S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt}}\sum _{i=1}^{N}p_{i}^{t}}$.

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\sum _{i=1}^{N}p_{i}^{t}}$.

Аналогично для непрерывного случая:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\int \limits _{X}^{}{p^{t}(x)}dx}$.

Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака ${\displaystyle q}$, а также из-за того, что при ${\displaystyle q<0}$ не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия^[8], являющаяся частным случаем f-энтропии:

${\displaystyle S_{q}(P)={k \over q(q-1)}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

α-энтропия в пределе при ${\displaystyle q\rightarrow 0}$ с точностью до несущественного слагаемого эквивалентна энтропии Берга

${\displaystyle S_{0}(P)=k\int \limits _{X}^{}{\ln p\,d\mu }.}$

Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения ${\displaystyle k}$, кроме случая ${\displaystyle q=0}$.

Пусть имеются две независимых системы ${\displaystyle A}$ и ${\displaystyle B}$, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний ${\displaystyle a\in A}$ и ${\displaystyle b\in B}$ в этих системах равна произведению соответствующих вероятностей:

${\displaystyle \operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)}$,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

${\displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)}$,

где ${\displaystyle x\in X}$, ${\displaystyle y\in Y}$ — области значений случайной величины в системах ${\displaystyle A}$ и ${\displaystyle B}$ соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо^[7]

${\displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)}$.

Поскольку условие аддитивности для энтропии имеет вид

${\displaystyle S(AB)=S(A)+S(B)}$,

отклонение параметра ${\displaystyle q}$ от ${\displaystyle 1}$ характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при ${\displaystyle q=1}$.

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$, дивергенция Цаллиса определяется как^[9]

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)}$.

В непрерывном случае, если распределения ${\displaystyle A}$ и ${\displaystyle B}$ заданы плотностями ${\displaystyle a(x)}$ и ${\displaystyle b(x)}$ соответственно, где ${\displaystyle x\in X}$,

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)}$.

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при ${\displaystyle q>0}$. Несущественная положительная константа ${\displaystyle k}$ в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной ${\displaystyle 1}$). Дивергенция Цаллиса является частным случаем α-дивергенции^[10] (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех ${\displaystyle q>0}$. Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все ${\displaystyle q\in R}$.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции ${\displaystyle \ln x}$. В пределе при ${\displaystyle q\to 1}$ дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Энтропия Реньи и энтропия Цаллиса эквивалентны^[9][11] с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы ${\displaystyle P}$ с дискретным набором состояний ${\displaystyle \{p_{i}|i=1,2,...,N\}}$:

${\displaystyle {\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}}$, ${\displaystyle q\geq 0}$.

Дивергенция Реньи для дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$:

${\displaystyle {\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}}$, ${\displaystyle q>0}$.

В этих формулах положительная константа ${\displaystyle {\widetilde {k}}}$ имеет тот же смысл, что и ${\displaystyle k}$ в формализме Цаллиса.

Нетрудно видеть, что

${\displaystyle S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))}$,

${\displaystyle D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))}$,

где функция

${\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}}$

определена на всей числовой оси и непрерывно возрастает по ${\displaystyle x}$ (при ${\displaystyle q=1}$ полагаем ${\displaystyle T_{q}(x)={k \over {\widetilde {k}}}x}$). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех ${\displaystyle q}$ (при ${\displaystyle q\leq 0}$ подразумевается обобщённое выражение для энтропии Реньи);
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме ${\displaystyle q=0}$), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством^[12].