KL-散度又叫相對(duì)熵 KL-散度在機(jī)器學(xué)習(xí)中,P用來(lái)表示樣本的真實(shí)分布,比如[1,0,0]表示當(dāng)前樣本屬于第一類(lèi)。Q用來(lái)表示模型所預(yù)測(cè)的分布,比如[0.7,0.2,0.1] KL-散度直觀的理解就是如果用P來(lái)描述樣本,那么就非常完美。而用Q來(lái)描述樣本,雖然可以大致描述,但是不是那么的完美,信息量不足,需要額外的一些“信息增量”...
www.dbjr.com.cn/article/1816...htm 2025-6-8