Blog 356/365：【學新知】學習訊息論中的「交叉熵」概念

🤔為什麼要寫這篇小記？

吳軍在這篇文章中提到了交叉熵的概念，以下為重點：
  • KL散度（庫爾貝勒交叉熵）：根據這個公式，當如果預測跟實際狀況是完全反方向的時候，代價函數值為無窮大
  • 如果猜測跟實際狀況有落差，就一定會產生代價
  • 過度謹慎、過度大意都會讓代價函數被放大
  • 再怎麼小機率的事件，都要做出少許的資源準備，否則產生的代價可能更大