貝葉斯概率
貝葉斯概率的歷史
貝葉斯理論和貝葉斯概率以托馬斯·貝葉斯(1702-1761)命名,他證明了現(xiàn)在稱為貝葉斯定理的一個(gè)特例。術(shù)語貝葉斯卻是在1950年左右開始使用,很難說貝葉斯本人是否會(huì)支持這個(gè)以他命名的概率非常廣義的解釋。拉普拉斯證明了貝葉斯定理的一個(gè)更普遍的版本,并將之用于解決天體力學(xué)、醫(yī)學(xué)統(tǒng)計(jì)中的問題,在有些情況下,甚至用于法理學(xué)。但是拉普拉斯并不認(rèn)為該定理對(duì)于概率論很重要。他還是堅(jiān)持使用了概率的經(jīng)典解釋。
弗蘭克·普倫普頓·拉姆齊在《數(shù)學(xué)基礎(chǔ)》(1931年)中首次建議將主觀置信度作為概率的一種解釋。Ramsey視這種解釋為概率的頻率解釋的一個(gè)補(bǔ)充,而頻率解釋在當(dāng)時(shí)更為廣泛接受。統(tǒng)計(jì)學(xué)家Bruno de Finetti于1937年采納了Ramsey的觀點(diǎn),將之作為概率的頻率解釋的一種可能的代替。L. J. Savage在《統(tǒng)計(jì)學(xué)基礎(chǔ)》(1954年)中拓展了這個(gè)思想。
有人試圖將“置信度”的直觀概念進(jìn)行形式化的定義和應(yīng)用。最普通的應(yīng)用是基于打賭:置信度反映在行為主體愿意在命題上下注的意愿上。
當(dāng)信任有程度的時(shí)候,概率計(jì)算的定理測(cè)量信任的理性程度,就像一階邏輯的定理測(cè)量信任的理性程度一樣。很多人將置信度視為經(jīng)典的真值(真或假)的一種擴(kuò)展。
Harold Jeffreys, Richard T. Cox, Edwin Jaynes和I. J. Good研探了貝葉斯理論。其他著名貝葉斯理論的支持者包括John Maynard Keynes和B.O. Koopman。
貝葉斯概率的變種
術(shù)語主觀概率, 個(gè)人概率, 認(rèn)知概率和邏輯概率描述了通常成為貝葉斯學(xué)派的思想中的一些。這些概念互相重疊,但有不同的側(cè)重。這里提到的一些人物不會(huì)自稱是貝葉斯學(xué)派的。
貝葉斯概率應(yīng)該測(cè)量某一個(gè)體對(duì)于一個(gè)不確定命題的置信程度,因此在這個(gè)意義下是主觀的。有些自稱貝葉斯學(xué)派的人并不接受這種主觀性??陀^主義學(xué)派的主要代表是Edwin Thompson Jaynes和Harold Jeffreys。也許現(xiàn)在還在世的主要客觀貝葉斯學(xué)派人物是杜克大學(xué)的James Berger。Jose Bernardo和其他一些人接受一定程度的主觀性,但相信在很多實(shí)際情況中有使用"先驗(yàn)參照(reference priors)"的需要。
邏輯(或者說,客觀認(rèn)知)概率的推崇者,例如Harold Jeffreys, Rudolf Carnap, Richard Threlkeld Cox和Edwin Jaynes, 希望將能夠在兩個(gè)有相同關(guān)于某個(gè)不確定命題的真實(shí)性相關(guān)的信息的人計(jì)算出同樣的概率的技術(shù)規(guī)律化。這種概率不和個(gè)人相關(guān),而只和認(rèn)知情況相關(guān),因此位于主觀和客觀之間。但是,他們推薦的方法有爭(zhēng)議。批評(píng)者對(duì)這個(gè)聲稱發(fā)起挑戰(zhàn),在關(guān)于相關(guān)事實(shí)的信息缺乏的時(shí)候,更偏好某一個(gè)置信度是有現(xiàn)實(shí)依據(jù)的。另一個(gè)問題是迄今為止的技術(shù)對(duì)于處理實(shí)際問題還是不夠的。
貝葉斯概率和頻率概率
貝葉斯概率和統(tǒng)計(jì)概率相對(duì),它從確定的分布中觀測(cè)到的頻率或者在樣本空間中的比例來導(dǎo)出概率。
采用統(tǒng)計(jì)概率的統(tǒng)計(jì)和概率的理論由R.A. Fisher, Egon Pearson和Jerzy Neyman在20世紀(jì)上半葉發(fā)展起來。A. N. Kolmogorov也采用頻率概率來通過勒貝格積分為測(cè)度論中的概率奠定數(shù)學(xué)基礎(chǔ)(《概率論基礎(chǔ)》(1933年))。Savage, Koopman, Abraham Wald和其他一些學(xué)者自1950年以來發(fā)展了貝葉斯概率。
貝葉斯學(xué)派和頻率學(xué)派在概率解釋上的分歧在統(tǒng)計(jì)學(xué)實(shí)踐上有重要的結(jié)果。例如,在用同樣的數(shù)據(jù)比較兩個(gè)假設(shè)的時(shí)候,假設(shè)測(cè)試?yán)碚摶诟怕实念l率解釋,它允許基于錯(cuò)誤推出數(shù)據(jù)更支持另外那個(gè)模型/假設(shè)的概率來否定或接受一個(gè)模型/假設(shè)(零假設(shè))。出現(xiàn)這種錯(cuò)誤的概率稱為一類誤差,它要求考慮從同樣的數(shù)據(jù)源導(dǎo)出的假想的數(shù)據(jù)集合要比實(shí)際觀測(cè)到的數(shù)據(jù)更為極端。這個(gè)方法允許論斷"或者兩個(gè)假設(shè)不同或者觀測(cè)到的數(shù)據(jù)是誤導(dǎo)性的集合"。 相對(duì)應(yīng)的是,貝葉斯方法基于實(shí)際觀測(cè)到的數(shù)據(jù),因此能夠?qū)τ谌魏螖?shù)量的假設(shè)直接賦予后驗(yàn)概率。對(duì)于代表每個(gè)假設(shè)的模型的參數(shù)必須賦予概率的要求是這種直接方法的代價(jià)。
貝葉斯概率的應(yīng)用
自1950年代以來,貝葉斯理論和貝葉斯概率通過考克斯定理, Jaynes的最大熵原理以及荷蘭書論證得到了廣泛的應(yīng)用。在很多應(yīng)用中,貝葉斯方法更為普適,也似乎較頻率概率能得出更好的結(jié)果。貝葉斯因子也和奧卡姆剃刀一起使用。數(shù)學(xué)應(yīng)用請(qǐng)參看貝葉斯推論和貝葉斯定理。
有些人將貝葉斯推論視為科學(xué)方法的一種應(yīng)用,因?yàn)橥ㄟ^貝葉斯推論來更新概率要求從對(duì)于不同假設(shè)的初始信任度出發(fā),采集新的信息(例如通過做試驗(yàn)),然后根據(jù)新的信息調(diào)整原有的信念。調(diào)整原有的信念可以意味著(更加接近)接受或者推翻初始的假設(shè)。
貝葉斯技術(shù)最近被應(yīng)用于垃圾郵件的過濾上。貝葉斯垃圾郵件過濾器采用電子郵件的一個(gè)參考集合來定義什么最初被認(rèn)為是垃圾郵件。定義了參考之后,過濾器使用參考中的特點(diǎn)來將新的郵件判定為垃圾郵件或有效郵件。新電子郵件作為新的信息出現(xiàn),并且如果用戶在垃圾郵件和有效郵件的判定中發(fā)現(xiàn)錯(cuò)誤,這個(gè)新的信息會(huì)更新初始參考集合中的信息,以期將來的判定可以更為精確。參看貝葉斯推斷和貝葉斯過濾。
概率之概率
對(duì)于貝葉斯概率解釋曾有過的一個(gè)批評(píng)是一個(gè)單獨(dú)的概率賦值不能給出信念的真實(shí)性——也即,它有多少科學(xué)實(shí)證??紤]如下的這些情況:
你有一個(gè)裝了白球和黑球的盒子,但是不知道它們的數(shù)量
你有一個(gè)盒子,你從中取了n個(gè)球,一半黑,一半白
你有一個(gè)盒子,你知道有同樣數(shù)量的黑球和白球
下一個(gè)取出的球是黑球的貝葉斯概率對(duì)于所有三種情況都是0.5。Keynes稱這為“證據(jù)的權(quán)重”問題。一個(gè)反映這些證據(jù)支持的區(qū)別的方法是對(duì)于這些概率本身賦予概率(所謂的“元概率”)如下:
其它貝葉斯概率論者辯解說概率不一定要是精確的數(shù)字。
因?yàn)轭l率解釋中沒有元概率的容身之地,頻率論者必須用其它方式表達(dá)證據(jù)支持。Cedric Smith和Arthur Dempster分別發(fā)展了上下極限。Glenn Shafer進(jìn)一步發(fā)展了Dempster的理論,現(xiàn)在它被稱為Dempster-Shafer理論。
爭(zhēng)議
頻率概率論者對(duì)屬于可能有很多不同的解釋。在這些解釋中,什么是可能的不依賴于觀察者的喜好,而是將事件作為可以應(yīng)用統(tǒng)計(jì)分析的工具的某個(gè)聚合的成員。
雖然沒有理由不在不同的上下文中使用一個(gè)詞的不同解釋(意義)
參看
概率解釋
頻率概率
不確定性
推理
貝葉斯推理
末日論證,貝葉斯推理的有爭(zhēng)議的一個(gè)應(yīng)用
最大熵?zé)崃W(xué) - 貝葉斯觀點(diǎn)的熱力學(xué)
數(shù)學(xué)哲學(xué)
外部鏈接及參考
On-line textbook: Information Theory, Inference, and Learning Algorithms, by David MacKay, has many chapters on Bayesian methods, including introductory examples; arguments in favour of Bayesian methods (in the style of Edwin Jaynes); state-of-the-art Monte Carlo methods, message-passing methods, and variational methods; and examples illustrating the intimate connections between Bayesian inference and data compression.
A nice on-line introductory tutorial to Bayesian probabilityfrom Queen Mary University of London
Jaynes, E.T. (1998)Probability Theory : The Logic of Science.
Bretthorst, G. Larry, 1988,Bayesian Spectrum Analysis and Parameter Estimationin Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
David Howie: Interpreting Probability, Controversies and Developments in the Early Twentieth Century, Cambridge University Press, 2002, ISBN 0-521-81251-8
Colin Howson and Peter Urbach: Scientific Reasoning: The Bayesian Approach, Open Court Publishing, 2nd edition, 1993, ISBN 0-8126-9235-7, focuses on the philosophical underpinnings of Bayesian and frequentist statistics. Argues for the subjective interpretation of probability.
Wing-Ho Shum, Kwong-Sak Leung, and Man-Leung Wong. Learning functional dependency networks based on genetic programming. In ICDM05, Proceedings of IEEE International Conference on Data Mining, pages 232-230, 2005.
Luc Bovens and Stephan Hartmann: Bayesian Epistemology. Oxford: Oxford University Press 2003. Extends the Bayesian program to more complex decision scenarios (e.g. dependent and partially reliable witnesses and measurement instruments) using Bayesian Network models. The book also proofs an impossibility theorem for coherence orderings over information sets and offers a measure that induces a partial coherence ordering.
Jeff Miller"Earliest Known Uses of Some of the Words of Mathematics (B)"
James FranklinThe Science of Conjecture: Evidence and Probability Before Pascal, history from a Bayesian point of view.
Paul Graham"Bayesian spam filtering"
novomind AG"Outlook categorizing tool based on Bayesian filtering"
Howard Raiffa Decision Analysis: Introductory Lectures on Choices under Uncertainty. McGraw Hill, College Custom Series. (1997) ISBN 0-07-052579-X
Devender Sivia, Data Analysis: A Bayesian Tutorial. Oxford: Clarendon Press (1996), pp. 7-8. ISBN 0-19-851889-7
Henk Tijms: Understanding Probability, Cambridge University Press, 2004
Is the portrait of Thomas Bayes authentic?Who Is this gentleman? When and where was he born?The IMS Bulletin, Vol. 17 (1988), No. 3, pp. 276-278
BayesianSpam FilterforMicrosoft Outlook
免責(zé)聲明:以上內(nèi)容版權(quán)歸原作者所有,如有侵犯您的原創(chuàng)版權(quán)請(qǐng)告知,我們將盡快刪除相關(guān)內(nèi)容。感謝每一位辛勤著寫的作者,感謝每一位的分享。
- 有價(jià)值
- 一般般
- 沒價(jià)值
{{item.userName}} 舉報(bào)
{{item.time}} {{item.replyListShow ? '收起' : '展開'}}評(píng)論 {{curReplyId == item.id ? '取消回復(fù)' : '回復(fù)'}}
{{_reply.userName}} 舉報(bào)
{{_reply.time}}