Взаимная информация

Теория информации
Собственная информация Информационная энтропия Дифференциальная энтропия Условная энтропия Энтропия объединения Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Избыточность информации Скорость передачи информации Пропускная способность канала
Теорема Шеннона для канала без шума Теорема Шеннона для канала с шумом Теорема Шеннона — Хартли

Взаимная информация — количество информации, содержащееся в ${\displaystyle i}$-ом значении одной случайной величины (${\displaystyle i}$-ой точке одного дискретного пространства) относительно ${\displaystyle k}$-го значения другой случайной величины (${\displaystyle k}$-ой точке другого дискретного пространства)^[1][2]. Это позволяет интерпретировать взаимную информацию как меру статистической связи между значениями двух случайных величин^[2].

Средняя взаимная информация или взаимная энтропия^[3] — математическое ожидание взаимной информации^[4][5]. Представляет собой статистическую функцию двух случайных величин, описывающая среднее количество информации одной случайной величины, содержащейся в другой случайной величине (среднее количество информации об одной случайной величине, получаемое при определении значения другой случайной величины)^[6].

При передачи информации по каналу связи средняя взаимная информация представляет собой среднее количество информации, полученной о переданном сообщении после его получения^[7].

Количество информации, содержащееся в ${\displaystyle i}$-ом значении случайной величины ${\displaystyle B}$ (событии ${\displaystyle b_{i}}$) относительно ${\displaystyle k}$-го значения случайной величины ${\displaystyle A}$ (события ${\displaystyle a_{k}}$) называется взаимной информацией между событиями ${\displaystyle b_{i}}$ и ${\displaystyle a_{k}}$ и определяется по формуле^[1][8]:

${\displaystyle I(a_{k},b_{i})=\log _{2}{\frac {p(a_{k}|b_{i})}{p(a_{k})}}=\log _{2}{\frac {p(b_{i}|a_{k})}{p(b_{i})}},}$

где ${\displaystyle p(a_{k})}$ — вероятность события ${\displaystyle a_{k}}$, ${\displaystyle p(b_{i})}$ — вероятность события ${\displaystyle b_{i}}$, ${\displaystyle p(a_{k}|b_{i})}$ — вероятность события ${\displaystyle a_{k}}$ при условии выполнения события ${\displaystyle b_{i}}$, ${\displaystyle p(b_{i}|a_{k})}$ — вероятность события ${\displaystyle b_{i}}$ при условии выполнения события ${\displaystyle a_{k}}$.

Использование в выражении ${\displaystyle I(a_{k},b_{i})}$ в качестве разделителя запятой означает, что эту величину следует отличать от собственной информации, содержащейся в произведении (паре) значений ${\displaystyle a_{k}}$ и ${\displaystyle b_{i}}$^[9].

Основание логарифма определяет величину единицы измерения информации. Наиболее часто используется основание 2 и единицей информации является бит. Также в качестве основания логарифма используются e, 3, 10^[1].

Взаимная информация между событиями ${\displaystyle b_{i}}$ и ${\displaystyle a_{k}}$ может быть выражена в виде^[9]:

${\displaystyle I(a_{k},b_{i})=I(a_{k})-I(a_{k}|b_{i})=I(b_{i})-I(b_{i}|a_{k}),}$

где

${\displaystyle I(a_{k})=-\log _{2}p(a_{k})}$ — количество собственной информации, содержащейся в ${\displaystyle a_{k}}$,

${\displaystyle I(b_{i})=-\log _{2}p(b_{i})}$ — количество собственной информации, содержащейся в ${\displaystyle b_{i}}$,

${\displaystyle I(a_{k}|b_{i})=-\log _{2}p(a_{k}|b_{i})}$ — условная собственная информация, содержащаяся в ${\displaystyle a_{k}}$, при условии выполнения события ${\displaystyle b_{i}}$,

${\displaystyle I(b_{i}|a_{k})=-\log _{2}p(b_{i}|a_{k})}$ — условная собственная информация, содержащаяся в ${\displaystyle b_{i}}$, при условии выполнения события ${\displaystyle a_{k}}$^[10].

На основании такой записи взаимная информация ${\displaystyle I(a_{k},b_{i})}$ может быть интерпретирована как разность между количеством информации, требуемой для идентификации ${\displaystyle a_{k}}$ до и после того как становится известным ${\displaystyle b_{i}}$. Она же равна разности между количеством информации, требуемой для идентификации ${\displaystyle b_{i}}$ до и после того как становится известным ${\displaystyle a_{k}}$^[9].

Средняя взаимная информация определяется через энтропию и условную энтропию двух случайных величин как^[5][11]:

${\displaystyle I(A,B)=I(A)-I(A\mid B)=I(B)-I(B\mid A),}$

где ${\displaystyle I(A)=H(A)}$ — энтропия случайной величины ${\displaystyle A}$, то есть среднее значение собственной информации, ${\displaystyle I(A\mid B)=H(A\mid B)}$ — среднее значение условной собственной информации^[12] или

${\displaystyle I(A,B)=H(A)-H(A\mid B)=H(B)-H(B\mid A)=H(A)+H(B)-H(AB),}$

где

${\displaystyle H(A)=-\sum _{k}p(a_{k})\log _{2}p(a_{k}),}$

${\displaystyle H(A\mid B)=-\sum _{k}\sum _{i}p(a_{k},b_{i})\log _{2}p(a_{k}\mid b_{i}),}$

${\displaystyle H(AB)=-\sum _{k}\sum _{i}p(a_{k},b_{i})\log _{2}p(a_{k},b_{i}).}$

Тогда средняя взаимная информация определяется по формуле^[3][13][5]:

${\displaystyle I(A,B)=\sum _{k}\sum _{i}p(a_{k},b_{i})\log _{2}{\frac {p(a_{k}|b_{i})}{p(a_{k})}}.}$

Свойства взаимной информации^[14]:

• Взаимная информация является симметричной функцией случайных величин:

${\displaystyle I(a_{k},b_{i})=I(b_{i},a_{k}),}$

• Для независимых значений ${\displaystyle a_{k}}$ и ${\displaystyle b_{i}}$ взаимная информация равна нулю:

${\displaystyle I(a_{k},b_{i})=0,}$

• Взаимная информация может принимать как положительные, так и отрицательные значения. Если условная вероятность больше безусловной, то взаимная информация положительна, если наоборот, то отрицательна^[2].

Свойства средней взаимной информации^[15]:

• Взаимная информация является симметричной функцией случайных величин:

${\displaystyle I(A,B)=I(B,A),}$

• Взаимная информация неотрицательна и не превосходит энтропию аргументов:

${\displaystyle 0\leq I(A,B)\leq \min\{H(A),H(B)\},}$

• Для независимых случайных величин взаимная информация равна нулю:

${\displaystyle I(A,B)=H(A)-H(A\mid B)=H(A)-H(A)=0,}$

• Когда одна случайная величина (например, ${\displaystyle A}$) является детерминированной функцией другой случайной величины (${\displaystyle B}$), взаимная информация равна энтропии^[16]:

${\displaystyle I(A,B)=H(A)-H(A\mid B)=H(A)-0=H(A).}$

Условная взаимная информация — статистическая функция, описывающая количество информации, содержащееся в одном значении случайной величины относительно значения другой случайной величины, при условии заданного значения третьей случайной величины^[2]:

${\displaystyle I(a_{k},b_{i}\mid c_{j})=\log _{2}{\frac {p(a_{k}|b_{i}c_{j})}{p(a_{k}|c_{j})}}=\log _{2}{\frac {p(a_{k},b_{i}|c_{j})}{p(a_{k}|c_{j})p(b_{i}|c_{j})}}.}$

Средняя условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины^[17]:

${\displaystyle I(A,B\mid C)=\sum _{k}\sum _{i}\sum _{j}p(a_{k},b_{i},c_{j})\log _{2}{\frac {p(a_{k}|b_{i}c_{j})}{p(a_{k}|c_{j})}}.}$

Среднюю условную взаимную информацию можно представить в виде^[17]:

${\displaystyle I(A,B\mid C)=H(A\mid C)-H(A\mid B,C).}$

Пусть передаче подлежит сообщение ${\displaystyle A}$, состоящее из последовательности символов ${\displaystyle a_{0},a_{1},\dots ,a_{N}}$. На приемном конце после демодуляции получается сообщение ${\displaystyle B}$, состоящее из последовательности символов ${\displaystyle b_{0},b_{1},\dots ,b_{N}}$. На приёмном конце переданные символы заранее неизвестны, известны только вероятности их передачи.

Скоростью передачи информации по дискретному каналу связи (между входом модулятора передатчика и выходом демодулятора приёмника) называется величина^[18]:

${\displaystyle R={\frac {I(A,B)}{T_{s}}}=H'(A)-H'(A|B),}$

где

${\displaystyle T_{s}}$ — среднее время, затрачиваемое на передачу одного символа,

${\displaystyle I(A,B)=H(A)-H(A|B)}$ — средняя взаимная информация,

${\displaystyle H'(A)={\frac {1}{T_{s}}}H(A)}$ — производительность источника сообщений, ${\displaystyle H(A)}$ — энтропия источника сообщений, являющаяся степенью неопределенности передачи того или иного символа^[18].

Величина

${\displaystyle H'(A|B)={\frac {1}{T_{s}}}H(A|B)}$

называется ненадежностью, отнесённой к единице времени, ${\displaystyle H(A|B)}$ является условной энтропией и называется ненадежностью, то есть средним количеством информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символа^[18][19].

Отличие скорости ${\displaystyle R}$ от скорости ${\displaystyle R_{b}=1/T_{b}=\log _{2}(M)/T_{s}}$ при равномерном кодировании символов сообщения состоит в том, что ${\displaystyle R}$ является действительной скоростью передачи информации, а ${\displaystyle R_{b}}$ — скоростью создания информации (технической скоростью передачи информации (битов)), где ${\displaystyle T_{b}}$ — длительность бита^[19].

В случае, когда в канале связи отсутствует шум, выходные символы ${\displaystyle b_{k}}$ являются детерминированной функцией входных символов ${\displaystyle a_{k}}$. Поэтому после получения символов ${\displaystyle b_{k}}$, неопределенность в знании значений символов ${\displaystyle a_{k}}$ полностью пропадёт (символы будут известны абсолютно точно). Поэтому ненадежность ${\displaystyle H(A|B)}$ станет равной нулю. Следовательно, средняя взаимная информация между переданными и полученными символами станет равной энтропии источника сообщений и скорость передачи информации будет максимальна.

В случае, когда в канале связи присутствует шум, выходные символы канала ${\displaystyle b_{k}}$ не являются детерминированной функцией входных символов канала ${\displaystyle a_{k}}$. Поэтому после получения символов ${\displaystyle b_{k}}$, возникнет неопределенность в знании значений символов ${\displaystyle a_{k}}$ (символы не будут известны абсолютно точно). Поэтому ненадежность ${\displaystyle H(A|B)}$ станет больше нуля. Следовательно, средняя взаимная информация между переданными и полученными символами уменьшится по сравнению со случаем отсутствия шума. При слишком большом шуме выходные символы ${\displaystyle b_{k}}$ станут статистически независимыми от входных символов ${\displaystyle a_{k}}$, то есть неопределенность в знании значений символов ${\displaystyle a_{k}}$ будет совпадать с энтропией источника сообщений ${\displaystyle H(A)}$, то есть взаимная информация между переданными и принятыми символами станет равной нулю, и скорость передачи информации тоже станет равной нулю. В двоичном канале (входные символы канала являются битами), когда вероятность ошибочного приёма символов равна ${\displaystyle p_{\text{ош}}=1/2}$, скорость передачи информации равна нулю, так как примерно половина символов окажутся принятыми неправильно, то есть никакой действительной передачи информации не будет происходить, при этом скорость создания информации останется неизменной^[19].

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3