Перехресна ентропія

Теорія інформації
Ентропія Диференціальна ентропія Умовна ентропія Спільна ентропія Взаємна інформація Спрямована інформація(інші мови) Умовна взаємна інформація(інші мови) Відносна ентропія Ентропійна швидкість Границя густини дискретних точок(інші мови)
Властивість асимптотичної рівнорозподіленості(інші мови) Швидкість–спотворення(інші мови)
Теорема Шеннона про кодування джерела(інші мови) Пропускна здатність каналу Теорема про кодування для зашумленого каналу(інші мови) Теорема Шеннона — Гартлі Алгоритмічна теорія інформації
п о р

У теорії інформації перехресна ентропія між двома розподілами ймовірності ${\displaystyle p}$ та ${\displaystyle q}$ над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей ${\displaystyle q}$, замість «істинного» розподілу ${\displaystyle p}$.

Перехресна ентропія двох розподілів ${\displaystyle p}$ і ${\displaystyle q}$ на тому самому ймовірнісному просторі визначається наступним чином:

${\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]}$.

Вираз можна переформулювати за допомогою ${\displaystyle D_{\mathrm {KL} }(p||q)}$ — дивергенції Кульбака — Лейблера від ${\displaystyle q}$ до ${\displaystyle p}$ (також відома як відносна ентропія ${\displaystyle p}$ відносно ${\displaystyle q}$)

${\displaystyle \mathrm {H} (p,q)=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!}$,

де ${\displaystyle H(p)}$ — ентропія ${\displaystyle p}$.

Для дискретного випадку ${\displaystyle p}$ і ${\displaystyle q}$ над одним і тим же носієм^[en] ${\displaystyle {\mathcal {X}}}$ це значить, що

Для неперервного розподілу аналогічна ситуація. Ми припускаємо, що ${\displaystyle p}$ та ${\displaystyle q}$ абсолютно неперервні відносно деякої міри ${\displaystyle r}$ (зазвичай ${\displaystyle r}$ є мірою Лебега на борелевій σ-алгебрі). Нехай ${\displaystyle P}$ та ${\displaystyle Q}$ будуть функціями густини ймовірностей ${\displaystyle p}$ та ${\displaystyle q}$ відносно ${\displaystyle r}$. Тоді

NB: Запис ${\displaystyle \mathrm {H} (p,q)}$ іноді використовується як для перехресної ентропії, так і для спільної ентропії ${\displaystyle p}$ і ${\displaystyle q}$.

Мінімізація перехресної ентропії часто використовується під час оптимізації та для оцінки імовірностей рідкісних випадків.

У контексті машинного навчання перехресна ентропія  — це міра похибки для задачі багатокласової класифікації^[en]. Зазвичай «істинний» розподіл (той, якому намагається відповідати алгоритм машинного навчання) виражається в термінах унітарного кодування.

Наприклад, припустимо, що для конкретного навчального екземпляра справжньою міткою є B з можливих міток A, B і C. Таким чином, унітарний розподіл для цього навчального екземпляра буде:

Ми можемо інтерпретувати наведений вище істинний розподіл так, що навчальний екземпляр має 0% ймовірності бути класом A, 100% ймовірності бути класом B і 0% ймовірністю бути класом C.

Тепер припустимо, що алгоритм машинного навчання прогнозує такий розподіл ймовірностей:

Наскільки близький прогнозований розподіл до справжнього? Саме це визначає перехресна ентропія, якщо її обрано як функцію втрати. Застосуємо формулу (Рів. 1):

${\displaystyle H(p,q)=-(0.0*\ln(0.1)+1.0*\ln(0.7)+0.0*\ln(0.2))=-\ln(0.7)\approx 0.36}$

• Метод перехресної ентропії
• Інформаційна ентропія
• Умовна ентропія
• Метод максимальної правдоподібності
• Взаємна інформація

Ця стаття не містить посилань на джерела. Ви можете допомогти поліпшити цю статтю, додавши посилання на надійні (авторитетні) джерела. Матеріал без джерел може бути піддано сумніву та вилучено. (січень 2017)

В іншому мовному розділі є повніша стаття Cross entropy(англ.). Ви можете допомогти, розширивши поточну статтю за допомогою перекладу з англійської. (січень 2017) Дивитись автоперекладену версію статті з мови «англійська». Перекладач повинен розуміти, що відповідальність за кінцевий вміст статті у Вікіпедії несе саме автор редагувань. Онлайн-переклад надається лише як корисний інструмент перегляду вмісту зрозумілою мовою. Не використовуйте невичитаний і невідкоригований машинний переклад у статтях української Вікіпедії! Машинний переклад Google є корисною відправною точкою для перекладу, але перекладачам необхідно виправляти помилки та підтверджувати точність перекладу, а не просто скопіювати машинний переклад до української Вікіпедії. Не перекладайте текст, який видається недостовірним або неякісним. Якщо можливо, перевірте текст за посиланнями, поданими в іншомовній статті. Докладні рекомендації: див. Вікіпедія:Переклад.

Це незавершена стаття з інформатики. Ви можете допомогти проєкту, виправивши або дописавши її.