大數法則

統計學名詞

數學統計學中,大數法則(英語:Law of large numbers)又稱大數定律大數律,是描述相當多次數重複實驗的結果的法則。根據這個法則知道,樣本數量越多,則其算術平均值就有越高的概率接近期望值

以特定擲單個骰子的過程來展示大數法則。隨着投擲次數的增加,所有結果的均值趨於3.5(骰子點數的期望值)。不同時候做的這個實驗會在投擲次數較小的時候(左部)會表現出不同的形狀,當次數變得很大(右部)的時候,它們將會非常相似。

大數法則很重要,因為它「說明」了一些隨機事件的均值的長期穩定性。人們發現,在重複試驗中,隨着試驗次數的增加,事件發生的頻率趨於一個穩定值;人們同時也發現,在對物理量的測量實踐中,測定值的算術平均也具有穩定性。比如,我們向上拋一枚硬幣,硬幣落下後哪一面朝上是偶然的,但當我們上拋硬幣的次數足夠多後,達到上萬次甚至幾十萬幾百萬次以後,我們就會發現,硬幣每一面向上的次數約佔總次數的二分之一,亦即偶然之中包含着必然。

上述現象是柴比雪夫不等式的一個特殊應用情況,辛欽定理伯努利大數法則也都概括了這一現象,它們統稱為大數法則。

舉例

例如,拋擲一顆均勻的6面的骰子,1,2,3,4,5,6應等概率出現,所以每次扔出骰子後,出現點數的期望值是

 

根據大數定理,如果多次拋擲骰子,隨着拋擲次數的增加,平均值(樣本平均值)應該接近3.5,根據大數定理,在多次伯努利實驗中,實驗頻率最後收斂於理論推斷的概率值,對於伯努利隨機變量,理論推斷的成功概率就是期望值,而若對n個相互獨立的隨機變量的平均值,頻率越多則相對越精準。

例如硬幣投擲即伯努利實驗,當投擲一枚均勻的硬幣,理論上得出的正面向上的概率應是1/2。因此,根據大數定理,正面朝上的比例在相對「大」的數字下,「理應」接近為1/2,尤其是正面朝上的頻率在n次實驗(n接近無限大時)後應幾近收斂到1/2。

即使正面朝上(或背面朝上)的比例接近1/2,幾乎很自然的正面與負面朝上的絕對差值(absolute difference差值範圍)應該相應隨着拋擲次數的增加而增加。換句話說,絕對差值的概率應該是會隨着拋擲次數而接近於0。直觀的來看,絕對差值的期望值會增加,只是慢於拋擲次數增加的速度。

表現形式

大數法則主要有兩種表現形式:弱大數法則強大數法則。法則的兩種形式都肯定無疑地表明,樣本均值

 

收斂於真值

 

其中  ,  , ... 是獨立同分佈、期望值  且皆勒貝格可積的隨機變量構成的無窮序列。 的勒貝格可積性意味着期望值  存在且有限。

方差 有限的假設是非必要的。很大或者無窮大的方差會使其收斂得緩慢一些,但大數法則仍然成立。通常採用這個假設來使證明更加簡潔。

強和弱之間的差別在所斷言的收斂的方式。對於這些方式的解釋,參見隨機變量的收斂

弱大數法則

弱大數法則(WLLN) 也稱為辛欽定理,陳述為:樣本均值依概率收斂於期望值。[1]

 

也就是說對於任意正數 ε,

 

強大數法則

強大數法則(SLLN)指出,樣本均值以概率1收斂於期望值。

 

 

柴比雪夫定理的特殊情況

  為相互獨立的隨機變量,其數學期望值為: 方差為: 

則序列 依概率收斂 (即收斂於此數列的數學期望值 )。

換言之,在定理條件下,當 無限變大時, 個隨機變量的算術平均將變成一個常數。

伯努利大數法則

設在 次獨立重複伯努利試驗中,事件 發生的次數為 ,事件 在每次試驗中發生的總體概率為  代表樣本發生事件 的頻率。

則對任意正數 ,伯努利大數法則表明:

 

換言之,事件發生的頻率依概率收斂於事件的總體概率。該定理以嚴格的數學形式表達了頻率的穩定性,也就是說當 很大時,事件發生的頻率與總體概率有較大偏差的可能性很小。

參見

參考文獻

  1. ^ Rick Durrett. Probability: Theory and Examples. Cambridge University Press. 2010: 61 [2013-11-18]. ISBN 978-0-521-76539-8 (英語). 

外部連結