AI
KL-Divergence Loss
체봄
2023. 12. 23. 19:13
KL-Divergence (KLD)는 쉽게 말해, 정답(ground-truth) 분포와 예측(prediction) 분포가 얼마나 유사한지/다른지를 측정하는 방법이다.
KLD의 값이 낮을수록 두 분포가 유사함을 의미한다.
$P(x)$를 실제 분포, $Q(x)$를 예측 분포라고 할 때, KLD loss는 다음 수식으로 나타낼 수 있다.
$$ KLD = \displaystyle\sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \displaystyle\sum_{x} P(x) \log P(x) - \displaystyle\sum_{x} P(x) \log Q(x) $$
추가적으로, 우항에서 $\displaystyle\sum_{x} P(x) \log P(x)$는 $-Entropy$ 이고, $- \displaystyle\sum_{x} P(x) \log Q(x)$는 $Cross Entropy$이기 때문에, 다음의 사실을 알 수 있다.
$$KLD = - Entropy + Cross Entropy$$
반응형