在信息論中,熵是接收的每條消息中包含的信息的平均量,又被稱為信息熵、信源熵、平均自信息量。這里,消息代表來自分布或數(shù)據(jù)流中的事件、樣本或特征。(熵最好理解為不確定性的量度而不是確定性的量度,因為越隨機(jī)的信源的熵越大。)來自信源的另一個特征是樣本的概率分布。這里的想法是,比較不可能發(fā)生的事情,當(dāng)它發(fā)生了,會提供更多的信息。由于一些其他的原因(下面會有解釋),把信息(熵)定義為概率分布的對數(shù)的相反數(shù)是有道理的。事件的概率分布和每個事件的信息量構(gòu)成了一個隨機(jī)變量,這個隨機(jī)變量的均值(即期望)就是這個分布產(chǎn)生的信息量的平均值(即熵)。熵的單位通常為比特,但也用Sh、nat、Hart計量,取決于定義用到對數(shù)的底。
采用概率分布的對數(shù)作為信息的量度的原因是其可加性。例如,投擲一次硬幣提供了1 Sh的信息,而擲m次就為m位。更一般地,你需要用log2(n)位來表示一個可以取n個值的變量。
在1948年,克勞德·艾爾...