亚洲国产区中文,国产精品91高清,亚洲精品中文字幕久久久久,亚洲欧美另类久久久精品能播放

                  詞條

                  (信息論)

                  在信息論中,是接收的每條消息中包含的信息的平均量,又被稱為信息熵信源熵、平均自信息量。這里,消息代表來自分布或數(shù)據(jù)流中的事件、樣本或特征。(熵最好理解為不確定性的量度而不是確定性的量度,因為越隨機(jī)的信源的熵越大。)來自信源的另一個特征是樣本的概率分布。這里的想法是,比較不可能發(fā)生的事情,當(dāng)它發(fā)生了,會提供更多的信息。由于一些其他的原因(下面會有解釋),把信息(熵)定義為概率分布的對數(shù)的相反數(shù)是有道理的。事件的概率分布和每個事件的信息量構(gòu)成了一個隨機(jī)變量,這個隨機(jī)變量的均值(即期望)就是這個分布產(chǎn)生的信息量的平均值(即熵)。熵的單位通常為比特,但也用Sh、nat、Hart計量,取決于定義用到對數(shù)的底。

                  采用概率分布的對數(shù)作為信息的量度的原因是其可加性。例如,投擲一次硬幣提供了1 Sh的信息,而擲m次就為m位。更一般地,你需要用log2(n)位來表示一個可以取n個值的變量。

                  在1948年,克勞德·艾爾...

                  熵相關(guān)文獻(xiàn)
                  熵的熱力學(xué)定義魯?shù)婪颉た藙谛匏埂钤缣岢觥办亍边@個概念的物理學(xué)家熵的概念是由德國物理學(xué)家克勞修斯于1865年所提出。克氏定義一個熱力學(xué)系統(tǒng)中熵的增減:在一個可逆過程里,被用在恒溫的熱的總數(shù)(σσ-->Q{\displaystyle\sigmaQ}),并可以公式表示為:克勞修斯對S予以“熵”(希臘語:εντροπια,entropia,德語:Entropie,英語:entropy)一名,希臘語源意為“內(nèi)向”,亦即“一個系統(tǒng)不受外部干擾時往內(nèi)部最穩(wěn)定狀態(tài)發(fā)展的特性”。與熵相反的概念為“反熵”(希臘語:εκτροπια,ektropia,源意“外向性”;德語:Ektropie;英語ectropy)。1923年,德國科學(xué)家普朗克來中國講學(xué)用到entropy這個詞,胡剛復(fù)教授翻譯時靈機(jī)一動,把“商”字加火旁來意譯“entropy”這個字,創(chuàng)造了“熵”字,(音讀:商),因為熵是Q除以T(溫度)的商數(shù)...
                  查看全文
                  熵力
                  熵力,實(shí)例布朗運(yùn)動布朗運(yùn)動的熵方法最初是被RM紐曼提出的。.疏水力水珠在疏水性的草表面。熵力的另一個例子是疏水力。在室溫下,當(dāng)它們與溶解物質(zhì)分子相互作用時,它部分地起源是由水分子的三維網(wǎng)絡(luò)中熵的損失。
                  查看全文
                  簡介熵的概念最早起源于物理學(xué),用于度量一個熱力學(xué)系統(tǒng)的無序程度。在信息論里面,熵是對不確定性的測量。但是在信息世界,熵越高,則能傳輸越多的信息,熵越低,則意味著傳輸?shù)男畔⒃缴佟S⒄Z文本數(shù)據(jù)流的熵比較低,因為英語很容易讀懂,也就是說很容易被預(yù)測。即便我們不知道下一段英語文字是什么內(nèi)容,但是我們能很容易地預(yù)測,比如,字母e總是比字母z多,或者qu字母組合的可能性總是超過q與任何其它字母的組合。如果未經(jīng)壓縮,一段英文文本的每個字母需要8個比特來編碼,但是實(shí)際上英文文本的熵大概只有4.7比特。如果壓縮是無損的,即通過解壓縮可以百分之百地恢復(fù)初始的消息內(nèi)容,那么壓縮后的消息攜帶的信息和未壓縮的原始消息是一樣的多。而壓縮后的消息可以通過較少的比特傳遞,因此壓縮消息的每個比特能攜帶更多的信息,也就是說壓縮信息的熵更加高。熵更高意味著比較難于預(yù)測壓縮消息攜帶的信息,原因在于壓縮消息里面沒有冗余,即每個比特...
                  查看全文
                  余熵
                  歷史美國化學(xué)家萊納斯·鮑林是第一個以余熵這一概念來描述水所結(jié)成冰塊的人,特別是六方晶系的冰。在水狀態(tài)下,每一個氧原子與兩個氫原子結(jié)合在一起。但是當(dāng)水結(jié)成冰時則會變成四方結(jié)構(gòu),每一個氧原子周圍會有四個氫原子(因為周圍會有相鄰的水分子)。氧原子周圍的氫原子也有一定范圍的自由活動空間,只要每一個氧原子“附近”保持有兩個氫原子,那么就仍然保持有其傳統(tǒng)的水分子構(gòu)成H2O。但事實(shí)證明,在這類有大量水分子的情況下,氫原子很有可能會遵循一種兩進(jìn)兩出的原則(每一個氧原子必須有兩個氫原子在其“附近”,另外兩個氫原子距其較“遠(yuǎn)”)。氫原子的這種自由活動只存在于絕對零度下,因此以前也被視為絕無僅有的一種情況。存在有多種這樣的匹配情況來滿足絕對零度時的無序性,換言之,即滿足絕對零度時的熵。水所結(jié)成的冰是第一個用來說明余熵概念的例子,然而一般情況下很難提取純凈且毫無缺陷的冰晶來進(jìn)行研究。因此有大量研究都試圖通過其他熱...
                  查看全文
                  混合熵
                  參看吉布斯悖論熵
                  查看全文
                  熵相關(guān)標(biāo)簽
                  信息論
                  信息學(xué)熵