KL-Divergence Loss

KL-Divergence (KLD)는 쉽게 말해, 정답(ground-truth) 분포와 예측(prediction) 분포가 얼마나 유사한지/다른지를 측정하는 방법이다.

KLD의 값이 낮을수록 두 분포가 유사함을 의미한다.

$P(x)$를 실제 분포, $Q(x)$를 예측 분포라고 할 때, KLD loss는 다음 수식으로 나타낼 수 있다.

$$KLD = \displaystyle\sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \displaystyle\sum_{x} P(x) \log P(x) - \displaystyle\sum_{x} P(x) \log Q(x)$$

추가적으로, 우항에서 $\displaystyle\sum_{x} P(x) \log P(x)$는 $-Entropy$ 이고, $- \displaystyle\sum_{x} P(x) \log Q(x)$는 $Cross Entropy$이기 때문에, 다음의 사실을 알 수 있다.
$$KLD = - Entropy + Cross Entropy$$

• 참고 링크: https://hwiyong.tistory.com/408