亚洲国产区中文,国产精品91高清,亚洲精品中文字幕久久久久,亚洲欧美另类久久久精品能播放

介紹

馬爾可夫鏈?zhǔn)菨M足馬爾可夫性質(zhì)的隨機(jī)過(guò)程。

形式化定義

馬爾可夫鏈?zhǔn)菨M足馬爾可夫性質(zhì)的隨機(jī)變量序列 X 1 , X 2 , X 3 , ...，即給出當(dāng)前狀態(tài)，將來(lái)狀態(tài)和過(guò)去狀態(tài)是相互獨(dú)立的。從形式上看，

X i 的可能值構(gòu)成的可數(shù)集 S 叫做該鏈的“狀態(tài)空間”。

通常用一系列有向圖來(lái)描述馬爾可夫鏈，其中圖 n 的邊用從時(shí)刻 n 的狀態(tài)到時(shí)刻 n+1 的狀態(tài)的概率 Pr ( X n + 1 = x ∣ ∣ --> X n = x n ) {\displaystyle \Pr(X_{n+1}=x\mid X_{n}=x_{n})} 來(lái)標(biāo)記。也可以用從時(shí)刻 n 到時(shí)刻 n+1 的轉(zhuǎn)移矩陣表示信息的信息。但是，馬氏鏈常常被假定為時(shí)齊的（見(jiàn)下文的變種），在這種情況下，圖和矩陣與 n 無(wú)關(guān)，因此也不表現(xiàn)為序列。

這些描述強(qiáng)調(diào)了馬爾可夫鏈與初始分布 Pr ( X 1 = x 1 ) {\displaystyle \Pr(X_{1}=x_{1})} 無(wú)關(guān)這一結(jié)構(gòu)。當(dāng)時(shí)齊的時(shí)候，可以認(rèn)為馬氏鏈?zhǔn)欠峙鋸囊粋€(gè)頂點(diǎn)或狀態(tài)跳變到相鄰一個(gè)的概率的狀態(tài)機(jī)?？梢园褭C(jī)器狀態(tài)的概率 Pr ( X n = x | X 1 = x 1 ) {\displaystyle \Pr(X_{n}=x|X_{1}=x_{1})} 作為僅有元素 x 1 {\displaystyle x_{1}} 的狀態(tài)空間為輸入的機(jī)器的統(tǒng)計(jì)行為分析，或作為初始分布為 Pr ( X 1 = y ) = [ x 1 = y ] {\displaystyle \Pr(X_{1}=y)=[x_{1}=y]} 狀態(tài)為輸入的機(jī)器行為，其中 [ P ] {\displaystyle [P]} 是艾佛森括號(hào)。

一些狀態(tài)序列可能會(huì)有零概率的事件，對(duì)應(yīng)多 連通 （ 英語(yǔ) ： Connected component (graph theory) ） 的圖，而我們禁止轉(zhuǎn)移概率為0的邊。例如，若 a 到 b 的概率非零，但 a 到 x 位于圖的不同連通分量，那么 Pr ( X n + 1 = b | X n = a ) {\displaystyle \Pr(X_{n+1}=b|X_{n}=a)} 有意義，而 Pr ( X n + 1 = b | X 1 = x , . . . , X n = a ) {\displaystyle \Pr(X_{n+1}=b|X_{1}=x,...,X_{n}=a)} 無(wú)意義。

變種

連續(xù)時(shí)間馬爾可夫過(guò)程 （ 英語(yǔ) ： Continuous-time Markov process ） 具有連續(xù)索引。

時(shí)齊馬爾可夫鏈 （或 靜態(tài)馬爾可夫鏈 ）是對(duì)于所有 n

m 階馬爾可夫鏈 （或記憶為 m 的馬爾可夫鏈），其中 m 有限，為滿足

瞬態(tài)演變

用 n 步從狀態(tài) i 到狀態(tài) j 的概率為

而單步轉(zhuǎn)移是

對(duì)于一個(gè)時(shí)齊馬爾可夫鏈來(lái)說(shuō)：

而且

n 步轉(zhuǎn)移概率滿足Chapman-Kolmogorov等式，對(duì)任意 k 使得0 k n，

其中 S 為此馬爾可夫鏈的狀態(tài)空間。

邊緣分布Pr( X n = x )為第 n 次狀態(tài)的分布。初始分布為Pr( X 0 = x )。用一步轉(zhuǎn)移把過(guò)程演變描述為

注意：上標(biāo)（ n ）是索引而非指數(shù)。

性質(zhì)

可還原性

馬爾可夫鏈?zhǔn)怯梢粋€(gè)條件分布來(lái)表示的

這被稱為是隨機(jī)過(guò)程中的“轉(zhuǎn)移概率”。這有時(shí)也被稱作是“一步轉(zhuǎn)移概率”。二、三，以及更多步的轉(zhuǎn)移概率可以導(dǎo)自一步轉(zhuǎn)移概率和馬爾可夫性質(zhì)：

同樣，

這些式子可以通過(guò)乘以轉(zhuǎn)移概率并求 k ? ? --> 1 {\displaystyle k-1}積分次積分來(lái)一般化到任意的將來(lái)時(shí)間 n + k {\displaystyle n+k} 。

周期性

邊緣分布 P ( X n ) {\displaystyle P(X_{n})} 是在時(shí)間為 n {\displaystyle n} 時(shí)的狀態(tài)的分布。初始分布為 P ( X 0 ) {\displaystyle P(X_{0})} 。該過(guò)程的變化可以用以下的一個(gè)時(shí)間步幅來(lái)描述：

這是Frobenius-Perron equation的一個(gè)版本。這時(shí)可能存在一個(gè)或多個(gè)狀態(tài)分布 π π --> {\displaystyle \pi } 滿足

其中 Y {\displaystyle Y} 只是為了便于對(duì)變量積分的一個(gè)名義。這樣的分布 π π --> {\displaystyle \pi } 被稱作是“平穩(wěn)分布”（Stationary Distribution）或者“穩(wěn)態(tài)分布”（Steady-state Distribution）。一個(gè)平穩(wěn)分布是一個(gè)對(duì)應(yīng)于特征值為 1 {\displaystyle 1} 的條件分布函數(shù)的特征方程。

平穩(wěn)分布是否存在，以及如果存在是否唯一，這是由過(guò)程的特定性質(zhì)決定的?！安豢杉s”是指每一個(gè)狀態(tài)都可來(lái)自任意的其它狀態(tài)。當(dāng)存在至少一個(gè)狀態(tài)經(jīng)過(guò)一個(gè)固定的時(shí)間段后連續(xù)返回，則這個(gè)過(guò)程被稱為是“周期的”。

重現(xiàn)性

各態(tài)歷遍性

具有重現(xiàn)性而不具有周期性叫做遍歷的。重現(xiàn)性包括局部重現(xiàn)性。

律動(dòng)性

平穩(wěn)狀態(tài)分析和極限分布

平穩(wěn)狀態(tài)分析和時(shí)齊馬爾可夫鏈

有限狀態(tài)空間

若狀態(tài)空間是有限的，則轉(zhuǎn)移概率分布可以矩陣表示，該矩陣稱為轉(zhuǎn)移矩陣，記為 P 。其中處于 ( i , j ) {\displaystyle (i,j)} 的元素等于

由于 P 的每一行各元素之和為1，且 P 中所有的元素都是非負(fù)的，因此 P 是一個(gè)右隨機(jī)矩陣。

穩(wěn)定分布與特征向量和單純形的關(guān)系

穩(wěn)定分布 π 是一個(gè)（行）向量，它的元素都非負(fù)且和為1，不隨施加 P 操作而改變，定義為

通過(guò)將這個(gè)定義與特征向量進(jìn)行比較，我們看到，這兩個(gè)概念是相關(guān)的，并且

是由（ ∑ ∑ --> i π π --> i = 1 {\displaystyle \textstyle \sum _{i}\pi _{i}=1} ）歸一化的轉(zhuǎn)移矩陣 P 的左特征向量 e 的倍數(shù)，其特征值為1。如果有多個(gè)單位特征向量那么相應(yīng)穩(wěn)態(tài)的加權(quán)和也是穩(wěn)態(tài)。但對(duì)于馬爾可夫鏈來(lái)說(shuō)，我們更關(guān)心的是作為一些對(duì)初始分布的序列分布的極限的穩(wěn)態(tài)。

穩(wěn)定分布 π π --> i {\displaystyle \textstyle \pi _{i}} 的值與狀態(tài)空間 P 有關(guān)，它的特征向量保留各自的相對(duì)比例。因?yàn)?π 的成分為正且滿足約束條件 ∑ ∑ --> i 1 ? ? --> π π --> i = 1 {\displaystyle \textstyle \sum _{i}1\cdot \pi _{i}=1} ，我們發(fā)現(xiàn) π 與一個(gè)成分全為1的向量的點(diǎn)積是統(tǒng)一單純形 π 位于一個(gè)單純形上。

有限狀態(tài)空間內(nèi)的時(shí)齊馬爾可夫鏈

對(duì)于一個(gè)離散狀態(tài)空間， k {\displaystyle k} 步轉(zhuǎn)移概率的積分即為求和，可以對(duì)轉(zhuǎn)移矩陣求 k {\displaystyle k} 次冪來(lái)求得。就是說(shuō)，如果 P {\displaystyle \mathbf {P} } 是一步轉(zhuǎn)移矩陣， P k {\displaystyle \mathbf {P} ^{k}} 就是 k {\displaystyle k} 步轉(zhuǎn)移后的轉(zhuǎn)移矩陣。

如果轉(zhuǎn)移矩陣 P {\displaystyle \mathbf {P} } 不可約，并且是非周期的，則 P k {\displaystyle \mathbf {P} ^{k}} 收斂到一個(gè)每一列都是不同的平穩(wěn)分布 π π --> ? ? --> {\displaystyle \pi ^{*}} ，并且，

獨(dú)立于初始分布 π π --> {\displaystyle \pi } 。這是由Perron-Frobenius theorem所指出的。

正的轉(zhuǎn)移矩陣（即矩陣的每一個(gè)元素都是正的）是不可約和非周期的。矩陣被稱為是一個(gè)隨機(jī)矩陣，當(dāng)且僅當(dāng)這是某個(gè)馬爾可夫鏈中轉(zhuǎn)移概率的矩陣。

注意：在上面的定式化中，元素 ( i , j ) {\displaystyle (i,j)} 是由j轉(zhuǎn)移到i的概率。有時(shí)候一個(gè)由元素 ( i , j ) {\displaystyle (i,j)} 給出的等價(jià)的定式化等于由i轉(zhuǎn)移到j(luò)的概率。在此情況下，轉(zhuǎn)移矩陣僅是這里所給出的轉(zhuǎn)移矩陣的轉(zhuǎn)置。另外，一個(gè)系統(tǒng)的平穩(wěn)分布是由該轉(zhuǎn)移矩陣（每列的和為1）的右特征向量給出的，而不是左特征向量。

轉(zhuǎn)移概率獨(dú)立于過(guò)去的特殊況為熟知的Bernoulli scheme。僅有兩個(gè)可能狀態(tài)的Bernoulli scheme被熟知為伯努利過(guò)程

趨向穩(wěn)定分布的收斂速度

可反轉(zhuǎn)馬爾可夫鏈

可反轉(zhuǎn)馬爾可夫鏈類似于應(yīng)用貝葉斯定理來(lái)反轉(zhuǎn)一個(gè)條件概率：

以上就是反轉(zhuǎn)的馬爾可夫鏈。因而，如果存在一個(gè) π ，使得：

那么這個(gè)馬爾可夫鏈就是可反轉(zhuǎn)的。

這個(gè)條件也被稱為細(xì)致平衡（detailed balance）條件。

對(duì)于所有的 i 求和：

所以，對(duì)于可反轉(zhuǎn)馬爾可夫鏈， π 總是一個(gè)平穩(wěn)分布。

伯努利方案

伯努利方案是馬爾可夫鏈的一種特殊情形，其轉(zhuǎn)移概率矩陣有相同的行，即下一狀態(tài)均勻獨(dú)立于當(dāng)前狀態(tài)（除了獨(dú)立于過(guò)往狀態(tài)以外）。 僅有兩個(gè)可能狀態(tài)的伯努利方案是伯努利過(guò)程。

一般的狀態(tài)空間

對(duì)于一般狀態(tài)空間上的馬爾可夫鏈的概述，詳見(jiàn)文章?tīng)顟B(tài)空間可測(cè)的馬爾可夫鏈。

Harris鏈

局部交互的馬爾可夫鏈

應(yīng)用

物理

馬爾可夫系統(tǒng)廣泛出現(xiàn)在熱力學(xué)和統(tǒng)計(jì)力學(xué)中，

化學(xué)

測(cè)試

語(yǔ)音識(shí)別

信息科學(xué)

排隊(duì)理論

互聯(lián)網(wǎng)應(yīng)用

谷歌所使用的網(wǎng)頁(yè)排序算法（PageRank）就是由馬爾可夫鏈定義的。馬爾可夫模型也被應(yīng)用于分析用戶瀏覽網(wǎng)頁(yè)的行為。一階或者二階的馬爾可夫模型可以用于對(duì)一個(gè)用戶從某一網(wǎng)絡(luò)鏈接轉(zhuǎn)移到另一鏈接的行為進(jìn)行建模，然后這些模型可以用于對(duì)用戶之后的瀏覽行為進(jìn)行預(yù)測(cè)。

統(tǒng)計(jì)

經(jīng)濟(jì)和金融

社會(huì)科學(xué)

生物數(shù)學(xué)

馬爾可夫鏈也有眾多的生物學(xué)應(yīng)用，特別是增殖過(guò)程，可以幫助模擬生物增殖過(guò)程的建模。隱蔽馬爾可夫模型還被用于生物信息學(xué)，用以編碼區(qū)域或基因預(yù)測(cè)（見(jiàn)哈代-溫伯格定律。）

遺傳學(xué)

游戲

音樂(lè)

棒球

馬爾可夫文本生成器

馬爾可夫過(guò)程，能為給定樣品文本，生成粗略，但看似真實(shí)的文本：他們被用于眾多供消遣的“模仿生成器”軟件。馬爾可夫鏈還被用于譜曲。

Fitting

歷史

俄國(guó)數(shù)學(xué)家安德雷·安德耶維齊·馬爾可夫.

馬爾可夫在1906年首先做出了這類過(guò)程。而將此一般化到可數(shù)無(wú)限狀態(tài)空間是由俄國(guó)數(shù)學(xué)家柯?tīng)柲宸颍ǘ碚Z(yǔ)： Андре?й Никола?евич Колмого?ров ）在1936年給出的。馬爾可夫鏈與布朗運(yùn)動(dòng)以及遍歷假說(shuō)這兩個(gè)二十世紀(jì)初期物理學(xué)重要課題是相聯(lián)系的，但馬爾可夫?qū)で蟮乃坪醪粌H于數(shù)學(xué)動(dòng)機(jī)，名義上是對(duì)于縱屬事件大數(shù)法則的擴(kuò)張。

隱馬爾可夫模型

語(yǔ)音辨識(shí)

參看

馬爾可夫性質(zhì)

馬爾可夫

隱馬爾可夫模型

馬爾科夫蒙特卡洛

參考文獻(xiàn)

A.A. Markov. "Rasprostranenie zakona bol"shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete , 2-ya seriya, tom 15, pp 135-156, 1906.

A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains . John Wiley and Sons, 1971.

Leo Breiman. Probability . Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 978-0-89871-296-4. （See Chapter 7.）

J.L. Doob. Stochastic Processes . New York: John Wiley and Sons, 1953. ISBN 978-0-471-52369-7.

外部鏈接

免費(fèi)的《概率論入門(mén)》書(shū)中有關(guān)馬爾可夫鏈的章節(jié)

世界上最大的矩陣計(jì)算 （Google"s PageRank as the stationary distribution of a random walk through the Web.）

Disassociated PressinEmacsapproximates a Markov process

[1]Markov chains used to produce semi-coherent English.

有關(guān)馬爾可夫鏈的資源列表

免責(zé)聲明：以上內(nèi)容版權(quán)歸原作者所有，如有侵犯您的原創(chuàng)版權(quán)請(qǐng)告知，我們將盡快刪除相關(guān)內(nèi)容。感謝每一位辛勤著寫(xiě)的作者，感謝每一位的分享。