贝叶斯推断

贝叶斯推断（英語：Bayesian inference）是推論統計的一种方法。这种方法使用贝叶斯定理，在有更多證據及信息時，更新特定假设的概率。贝叶斯推断是统计学（特別是数理统计学）中很重要的技巧之一。贝叶斯更新（Bayesian updating）在序列分析中格外的重要。贝叶斯推断應用在許多的領域中，包括科學、工程學、哲學、醫學、體育運動、法律等。在决策论的哲學中，贝叶斯推断和主觀概率有密切關係，常常稱為贝叶斯概率。

贝叶斯定理是由統計學家托馬斯·貝葉斯（Thomas Bayes）根據許多特例推導而成，後來被許多研究者推廣為一普遍的定理^[1]。

貝叶斯定理的簡介

正式的介绍贝叶斯推断

贝叶斯推断將后验概率（考慮相關證據或數據後，某一事件的條件機率）作为先验概率（考慮相關證據或數據前，某一事件不確定性的機率）和似然函数（由观测数据的统计模型（概率模型）推導而得）这两个前因导出的結果。贝叶斯推断根據贝叶斯定理計算后验概率：

P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}

其中

$\textstyle \mid$ 表示将某事件成立作为条件（因此 $\textstyle (A\mid B)$ 表示「假定 B 事件成立下，A 事件發生」）
$\textstyle H$ 表示假說，其機率可能會受實驗數據（以下會稱為證據）影響。一般來說會有許多互相矛盾的假說，任務是要確認哪一個假說可能性最高。
$\textstyle E$ 表示證據。证据对应新的數據，也就是還沒用來計算先验概率的數據。
$\textstyle P(H)$ ，先验概率，是觀察到數據 $\textstyle E$ （目前證據）之前，假說 $\textstyle H$ 的機率。
$\textstyle P(H\mid E)$ ，后验概率，是在給定證據 $\textstyle E$ 之後，假說 $\textstyle H$ 的機率，是希望求得的資訊，也就是在有目前證據時，假說 $\textstyle H$ 的機率。
$\textstyle P(E\mid H)$ 是假定 $\textstyle H$ 成立時，觀察到 $\textstyle E$ 的機率。在 $\textstyle H$ 不變時，這是 $\textstyle E$ 的函數，也是似然函数，指出在給定假設下假說和證據的相容程度。似然函数是證據 $\textstyle E$ 的函數，而后验概率是假說 $\textstyle H$ 的函數。
$\textstyle P(E)$ 有時會稱為邊緣似然率（英语：marginal likelihood）。此係數對所有可能的假說都是定值，因此在判斷不同假說的相對機率時，不會用到這個係數中。

針對不同的 $\textstyle H$ 數值，只有 $\textstyle P(H)$ 和 $\textstyle P(E\mid H)$ （都在分子）會影響 $\textstyle P(H\mid E)$ 的數值。假說的后验概率和其先验概率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。

贝叶斯定理也可以寫成下式：

P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)

其中係數 $\textstyle {\frac {P(E\mid H)}{P(E)}}$ 可以解釋成 $E$ 對 $H$ 機率的影響。

非正式的介绍贝叶斯推断

贝叶斯推断最關鍵的點是可以利用贝叶斯定理結合新的證據及以前的先驗機率，來得到新的機率（這和频率学派推断相反，頻率論推論只考慮證據，不考慮先驗機率）。

而且贝叶斯推断可以迭代使用：在觀察一些證據後得到的後設機率可以當作新的先驗機率，再根據新的證據得到新的後設機率。因此贝叶斯定理可以應用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程序稱為贝叶斯更新（Bayesian updating）。