쿨백-라이블러 발산

쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다. 정보이론에서는 상대 엔트로피, 기계학습의 결정 트리에서는 정보 획득량을 주로 사용한다.

쿨백-라이블러 발산은 비대칭으로, 두 값의 위치를 바꾸면 함수값도 달라진다. 따라서 이 함수는 거리 함수는 아니다.

두 확률변수에 대한 확률분포 ${\displaystyle P,Q}$가 있을 때, 두 분포의 쿨백-라이블러 발산은 다음과 같이 정의된다.

• 이산확률변수의 경우: ${\displaystyle D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\log {\frac {P(i)}{Q(i)}}}$
• 연속확률변수의 경우: ${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\log {\frac {p(x)}{q(x)}}dx}$, 여기에서 ${\displaystyle p,q}$는 두 확률분포의 확률 밀도 함수를 의미한다.

또는, 측도를 사용하여 더 일반적으로 표현할 수도 있다. 두 확률측도 ${\displaystyle P,Q}$가 있고 ${\displaystyle Q}$는 ${\displaystyle P}$에 대해 절대수렴할 경우, 두 분포의 쿨백-라이블러 발산은 다음과 같이 정의된다.

${\displaystyle D_{\mathrm {KL} }(P\|Q)=-\int _{X}\log {\frac {dQ}{dP}}dP}$

여기에서 ${\displaystyle {\frac {dQ}{dP}}}$는 라돈-니코딤 도함수(Radon–Nikodym derivative)이다.

쿨백-라이블러 발산은 어떠한 확률분포 ${\displaystyle P}$가 있을 때, 샘플링 과정에서 그 분포를 근사적으로 표현하는 확률분포 ${\displaystyle Q}$를 ${\displaystyle P}$ 대신 사용할 경우 엔트로피 변화를 의미한다. 따라서, 원래의 분포가 가지는 엔트로피 ${\displaystyle H(P)}$와 ${\displaystyle P}$ 대신 ${\displaystyle Q}$를 사용할 때의 교차 엔트로피(cross entropy) ${\displaystyle H(P,Q)}$의 차이를 구하면,

${\displaystyle D_{\mathrm {KL} }(P\|Q)=H(P,Q)-H(P)}$

${\displaystyle =(-\sum _{x}p(x)\log q(x))-(-\sum _{x}p(x)\log p(x))}$

로, 원래 정의했던 식과 같은 결과가 나온다.

• 교차 엔트로피
• 정보 이론 및 측정 이론