Поточкова взаємна інформація

Ця стаття надає недостатньо контекстної інформації для не обізнаних із її предметом. Будь ласка, допоможіть удосконалити цю статтю, додавши зрозумілу контекстну інформацію. (травень 2017)

Пото́чкова взає́мна інформа́ція (ПВІ, англ. pointwise mutual information, PMI),^[1] або то́чкова взає́мна інформа́ція (англ. point mutual information) — це міра пов'язаності, що використовується в теорії інформації та статистиці. На відміну від взаємної інформації (ВІ), що будується на ПВІ, вона стосується одиничних подій, тоді як ВІ стосується усереднення всіх можливих подій.

ПВІ пари результатів x та y, що належать дискретним випадковим змінним X та Y, дає кількісну оцінку розбіжності між імовірністю їхнього збігу за заданого їхнього спільного розподілу, та їхніми особистими розподілами за умови їхньої незалежності. Математично:

${\displaystyle \operatorname {pmi} (x;y)\equiv \log {\frac {p(x,y)}{p(x)p(y)}}=\log {\frac {p(x|y)}{p(x)}}=\log {\frac {p(y|x)}{p(y)}}.}$

Взаємна інформація (ВІ) випадкових змінних X та Y є математичним сподіванням значення ПВІ над усіма можливими результатами (по відношенню до спільного розподілу ${\displaystyle p(x,y)}$).

Ця міра є симетричною (${\displaystyle \operatorname {pmi} (x;y)=\operatorname {pmi} (y;x)}$). Вона може набувати додатних та від'ємних значень, але є нульовою, якщо X та Y є незалежними. Зауважте, що хоча ПВІ й може бути додатною або від'ємною, її математичне сподівання над усіма спільними подіями (ВІ) є додатним. ПВІ досягає максимуму тоді, коли X та Y є цілком пов'язаними (тобто, ${\displaystyle p(x|y)}$ або ${\displaystyle p(y|x)=1}$), даючи наступні межі:

${\displaystyle -\infty \leq \operatorname {pmi} (x;y)\leq \min \left[-\log p(x),-\log p(y)\right].}$

Нарешті, ${\displaystyle \operatorname {pmi} (x;y)}$ збільшуватиметься за незмінної ${\displaystyle p(x|y)}$, але зменшуваної ${\displaystyle p(x)}$.

Ось приклад для ілюстрації:

Використовуючи цю таблицю, ми можемо здійснити відособлювання, щоби отримати наступну додаткову таблицю для особистих розподілів:

У цьому прикладі ми можемо обчислити чотири значення ${\displaystyle pmi(x;y)}$. Із застосуванням логарифмів за основою 2:

(Для довідки, взаємною інформацією ${\displaystyle \operatorname {I} (X;Y)}$ тоді буде 0.2141709)

Поточкова взаємна інформація має багато відношень, однакових зі взаємною інформацією. Зокрема,

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)&=&h(x)+h(y)-h(x,y)\\&=&h(x)-h(x|y)\\&=&h(y)-h(y|x)\end{aligned}}}$

де ${\displaystyle h(x)}$ є власною інформацією, або ${\displaystyle -\log _{2}p(X=x)}$.

Поточкову взаємну інформацію може бути нормалізовано в проміжку [-1,+1], що дає в результаті -1 (у границі) для спільної появи ніколи, 0 — для незалежності та +1 — для цілковито спільної появи^[en].^[2]

${\displaystyle \operatorname {npmi} (x;y)={\frac {\operatorname {pmi} (x;y)}{h(x,y)}}}$

На додачу до наведеної вище НПВІ, ПВІ має багато інших цікавих варіантів. Порівняльне дослідження цих варіантів можна знайти в ^[3]

Як і взаємна інформація,^[4] поточкова взаємна інформація слідує ланцюговому правилу, тобто,

${\displaystyle \operatorname {pmi} (x;yz)=\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z|y)}$

Це може бути легко доведено як

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z|y)&{}=\log {\frac {p(x,y)}{p(x)p(y)}}+\log {\frac {p(x,z|y)}{p(x|y)p(z|y)}}\\&{}=\log \left[{\frac {p(x,y)}{p(x)p(y)}}{\frac {p(x,z|y)}{p(x|y)p(z|y)}}\right]\\&{}=\log {\frac {p(x|y)p(y)p(x,z|y)}{p(x)p(y)p(x|y)p(z|y)}}\\&{}=\log {\frac {p(x,yz)}{p(x)p(yz)}}\\&{}=\operatorname {pmi} (x;yz)\end{aligned}}}$

В математичній лінгвістиці ПВІ використовували для знаходження сполучень та пов'язаності слів. Наприклад, підрахунок^[en] появ та спільних появ^[en] слів у корпусі текстів можна використовувати для наближення ймовірностей ${\displaystyle p(x)}$ та ${\displaystyle p(x,y)}$ відповідно. Наступна таблиця показує кількості пар слів, що отримали найвищі та найнижчі рівні ПВІ у перших 50 мільйонах слів англомовної Вікіпедії (дамп від жовтня 2015 року), відфільтрованих за 1 000 чи більше спільних появ. Частоту кожної з кількостей можна отримати діленням її значення на 50 000 952. (Зауваження: в цьому прикладі для обчислення значень ПВІ використано натуральний логарифм замість логарифму за основою 2)

Добре сполучені пари мають високу ПВІ, оскільки ймовірність спільної появи є лише трошки нижчою за ймовірності появи кожного зі слів. З іншого боку, пара слів, ймовірності появи яких є значно вищими за ймовірність їхньої спільної появи, отримує низький рівень ПВІ.

• Fano, R M (1961). chapter 2. Transmission of Information: A Statistical Theory of Communications. MIT Press, Cambridge, MA. ISBN 978-0262561693. (англ.)

• Демонстрація на сервері MSR Rensselaer (значення ПВІ нормалізовано, щоби вони були в проміжку між 0 та 1) (англ.)