2 貝氏定理
衛生局至某大學檢驗學生是否罹患某疾病。為了國民健康，再加上有業績壓力，衛生局大力鼓吹學生前來受檢，強調檢驗迅速、無害，且免費。檢驗的後續處理為何？有學生問。這樣大費周章，總不至於檢驗完就算了。衛生局指出，檢驗結果有正及負兩種反應，若呈正反應，表示很可能有病，須至醫院接受進一步的檢查；若呈負反應，表應沒病，可以安心了。有病宜及早發現並治療是沒錯，但學生多半怕麻煩，若特地到醫院，被折騰一番後，卻告訴你沒病，未免虧大了。衛生局說明檢驗可靠度為90%，誤判機率不大。有學生想了解可靠度90%的意思。若有病，則有0.9的機率檢驗呈正反應；若無病，則有0.9的機率檢驗呈負反應，衛生局坦白答覆。一個人會有病的機率是多少？發問的學生顯然是個行家。每5,000人裡，差不多有1人罹病，衛生局查出過去的資料。
該不該去檢驗？一群實事求是的學生，就教於某統計研究所的學生。統計入世，有學以致用的機會得把握住。這位研究生，遂以淺顯的方式，提出下述分析，供眾人參考。
依衛生局的資料，不妨假設每人有病的機率為1/5,000=0.0002，且學生就剛好有5,000人。則其中平均1人有病。由於誤判的機率為0.1，則那平均的4,999位無病者中，平均將有
4,999×0.1=499.9(人)
檢驗呈正反應；至於平均的那1位有病者，平均將有
1×0.9=0.9(人)
驗檢呈正反應。故共有
499.9+0.9=500.8(人)
檢驗呈正反應。其中平均只有0.9人真正有病(有病那人有0.1的機率，檢驗呈負反應，如此便不在500.8個呈正反應的人裡)。因此，平均而言，任一位檢驗呈正反應者，有病的機率為
0.9/500.8≈0.001797，
不到1/500。看到這麼小的機率值，可能有不少學生想打退堂鼓，不接受檢驗了。
說什麼誤判機率不大，怎會差這麼多？不是宣稱檢驗有90%的可靠度？何以卻如此不可靠？學生很不解。要知檢驗的可靠度雖不算低，但關鍵在平均每5,000人，才1人有病，此乃一罕見疾病。而看起來不算大的10%誤判率，卻造成5,000人中，約有500個正反應(實際平均有500.8個)。這約500位被懷疑有病者，其中才約1位(實際平均有0.9位)真正有病。因此在呈正反應下，有病的機率值約為1/500(實際為0.9/500.8)，比大部分的人，以為有病機率該是0.9，確實小太多。
由於有這類事先宣稱儀器的正確率，與檢驗後正確的有病率，差異可能很大的現象，不少人認為醫生都該懂些機率。而且對於罕見疾病，診斷須更加謹慎，否則極易誤判。明白這其中的奧妙，就不難理解，何以不時有被醫生宣判已無妙手可回春的病人，後來卻痊癒出院，且長久活得好好的。不過對這種判斷錯誤，醫生並不擔心醫術被質疑，他們只要歸之於奇蹟出現就好了。家屬高興都來不及，豈會去怪醫生?
我們再來看，若檢驗呈負反應會如何？仿上述討論重做一遍。每5,000人中，平均有4,999人無病。而平均有
1×0.1+4,999×0.9=0.1+4,499.1=4,499.2(人)
檢驗呈負反應。其中平均有4,499.1人無病。因此，在檢驗呈負反應下，無病的機率為
4,499.1/4.499.2≈0.999977773，
相當接近1。只是這並不太稀奇，因在檢驗前，任一人無病的機率便已高達
4,999/5,000≈0.9998，
而當檢驗呈負反應後，無病的機率，只不過略高些而已。
附帶一提，當檢驗呈正反應時，無病的機率為
499.9/500.8≈0.9982，
比檢驗前無病的機率0.9998略低些，但仍很接近1；而當檢驗呈負反應時，有病的機率為
0.1/4,499.2≈0.00002223，
比檢驗前，有病的機率0.0002低，即更接近0。另外，即使檢驗可靠度提高到99%，即誤判機率僅有1%，則在檢驗呈正反應下，有病的機率為
0.99/50.98≈0.0194，
約1/50，依然不大。關鍵仍然是有病的機率0.0002著實太小了。我們再看若更改有病的機率，會有什麼改變。先將有病的機率提高為0.002，則在檢驗可靠度90%下，當檢驗呈正反應下，有病的機率為
0.9/50.8≈0.0177，
還是很低。即使有病的機率提高至0.2，則在檢驗可靠度90%下，當檢驗呈正反應下，有病的機率為
0.9/1.3≈0.692，
仍比宣稱的檢驗可靠度90%小不少。
既然儀器並非完全可靠，那檢驗是否沒啥大用？並非如此。每人身體狀況其實大不相同，在檢驗前，由於沒有其他資訊，遂只好假設每人有病的機率相等，即都是0.0002。此稱為事前機率，或先驗機率(prior probability)。檢驗後，若呈正反應，則有病的機率改變了，成為0.9/500.8≈0.001797，此稱為事後機率，或後驗機率(posterior probability)。事後機率，升高到約為原先的9倍，顯然不能說檢驗沒用。
在上述討論中，我們看到機率值會變，這是機率的特性。當有新的資訊，或者說給定某條件，機率往往隨之而變，這便是所謂條件機率(conditional probability)。對二事件(event)A，B，且P(B)≠0，在給定B之下，A的條件機率P(A|B)之定義為
(1) P(A|B)=P(A∩B)/P(B)，
其中符號“∩”表交集。要注意P(A|B)與P(B|A)意義不同，且通常也不相等。後者當P(A)≠0時，定義為
(2) P(B|A)=P(A∩B)/P(A)。
由(1)及(2)兩式，得
(3) P(A∩B)=P(A|B)P(B)=P(B|A)P(A)。
在前述檢驗的例子，衛生局提供的資訊，是下述二條件機率：
P(正反應|有病)=0.9，及P(負反應|無病)=0.9，
但我們較有興趣的，卻是底下之條件機率：
P(有病|正反應)，及P(無病|負反應)。
不一樣的條件機率，當然不能自動以為仍皆是0.9。
底下來看，除了之前直觀的方式外，如何以較數學，亦即較簡潔且較一般的方式，來推導出事後機率。首先，如同在教科書裡常見的，對一隨機試驗，我們以Ω表樣本空間(sample space)，Ω即為所有可能觀測到的結果之集合。我們常提到事件，事件又是什麼？Ω的一子集合，便稱為一事件。對一事件B，其餘集(complement)以Bc表之，即在Ω中，但不在B中的元素之集合。顯然B與Bc的交集為空集合(通常以符號∅表之)，而這樣的兩個集合，稱為互斥(disjoint)。又B∪Bc=Ω。其中符號“∪”表聯集。利用機率函數的性質，及(3)式，我們有
(4) P(A)=P(A∩B)+P(A∩Bc)=P(A|B)P(B)+P(A|Bc)P(Bc)。
(2)式及(4)式，便導致
(5) P(B|A)=P(A∩B)/P(A)=P(A|B)P(B)/[P(A|B)P(B)+P(A|Bc)P(Bc)]。
從P(A|B)，如何得到P(B|A)？實務上常有此需求。由(5)式知，除了P(A|B)外，尚要知道P(A|Bc)，及P(B)才行。至於P(Bc)，一旦有了P(B)，立即可得P(Bc)=1-P(B)。
在前述檢驗的例子裡，以A，B二事件，分別表正反應，及有病。則事件Ac便是負反應，事件Bc便是無病。由於例中假設P(A|B)=P(Ac|Bc)，不妨以p表之。又以q表P(B)，則P(Bc)=1-q，且P(A|Bc)=1-p。如此(5)式導致
(6) P(B|A)=pq/[pq+(1-p)(1-q)]。
底下便以著名的典故“曾參殺人”，來看(6)式之一應用。首先，在“戰國策”“秦策二”中記載：
昔者曾子處費，費人有與曾子同名族者而殺人。人告曾子母曰“曾參殺人。”曾子之母曰“吾子不殺人。”織自若。有頃焉，人又曰“曾參殺人。”其母尚織自若也。頃之，一人又告之曰“曾參殺人。”其母懼，投杼逾牆而走。
曾參(西元前505-435年)比孔子(西元前551-479年)小46歲。假設跟孔子一樣，曾參“十有五而志於學”，且隨即拜入孔子門下，則那時孔子便已61歲了。即曾參是孔子晚年才收的弟子。曾參律己很嚴，“論語”“學而篇”裡，那句“吾日三省吾身”，就是他講的。他被稱為“曾子”，又有“宗聖”之稱，因孔子有關文化道統的思想，大部分是靠他傳承下來。曾參事母至孝，“二十四孝”中，有一則“齧指痛心”，便是關於他的孝順故事。這樣的人品，其母當然對他相當有信心。正在織布的曾母，聽到有人跑來告訴她兒子殺人，謠言止於智者，一點都不相信，神色自若地繼續織布，並回說“我兒子不會殺人”。過一會兒，又有人來告訴她兒子殺人，曾母仍神色自若地繼續織布，但沒說話了。再沒多久，第三人來說她兒子殺人，曾母便害怕地丟下織布的梭子，跳過圍牆逃走，信心崩潰了。
現以A，B分別表事件“通報殺人”，及“曾參殺人”。且設P(A|B)=P(Ac|Bc)=p，P(B)=q。則由(6)式，得
(7) P(曾參殺人|通報殺人)=pq/[pq+(1-p)(1-q)]。
曾參生長在春秋時代，是後世史學家所稱的亂世。為了自衛等原因，誰都無法絕不可能殺人。但他一向品德高尚，不會惹事生非，殺人的機率應很低。不妨就假設q=0.001，這是事前機率。另一方面，會來跟曾母通風報信的，應多半是鄉親熟人，沒什麼必要騙她，因此他們的通報，可信度應不低。但說不定看錯人，或由於輾轉誤傳，通報並非必然百分之百正確。假設p=0.9。即
P(通報殺人|曾參殺人)=P(通報未殺人|曾參未殺人)=0.9。
將p=0.9，及q=0.001代入(7)式，便得曾母於獲得“曾參殺人”的通報後，認為兒子會殺人的機率(事後機率)
q1=0.0009/(0.0009+0.0999)=1/112≈0.00893。
雖從0.001提高了不少倍，只是仍不到百分之1。這麼小的機率，曾母自然不太在乎。待第二人來通報後，前述q1成為新的曾母以為“曾參殺人”的事前機率，至於p仍是0.9。將p=0.9，及q1=1/112代入(7)式中的p，q，便得新的曾母認為兒子會殺人的機率(新的事後機率)
q2=3/40=0.075。
機率仍不算太大，但再度提高了好幾倍。所以曾母雖然繼續織布，但“我兒不殺人”的大話，就閉口不說了。待第三人來通報曾參殺人後，曾母認為兒子會殺人的機率(更新的事後機率)，增至
q3=27/64=0.421875。
此時發生的機率，可一點都不能說小了。曾母遂覺得大事不妙，於是三十六計，走為上策。我們再來看，假若曾母未逃，且還有第四人，前來通報“曾參殺人”，那會如何？可得
q4=243/280=0.868，
這麼大的機率，曾母鐵定更要嚇壞了。
一旦講到條件機率，便不能不介紹著名的“貝氏定理”(Bayes' theorem)，這是(5)式的推廣。此定理一般歸之於英國牧師貝氏(Thomas Bayes，1702-1761)最先提出。但貝氏其實並未明確地給出此定理，只討論若干與它相關的問題，著名的天文學家及數學家，有法國牛頓之稱的拉普拉斯(Pierre-Simon，Marquis de Laplace，1749-1827)，才是第一位完整給出此定理之敘述者。
假設事件B1，B2，…，為樣本空間Ω之一分割(partition)。即B1，B2，…，兩兩交集為∅(即彼此為互斥事件)，且B1，B2，…全部的聯集為Ω。則對任一事件A，
(8) P(A)=Σ∞i=1 P(A|Bi)P(Bi)，
此為(4)式的推廣。且對任一Bj，
(9) P(Bj|A)= P(A|Bj)P(Bj)/P(A)，
其中分母P(A)可以(8)式代入。分割也可只有有限多個，如B與Bc，便構成Ω之一分割。若Ω有n個分割，其中n≥2，設為B1，B2，…，Bn，則得
(10) P(A)=Σni=1 P(A|Bi)P(Bi)。
