大數法則 law of large numbers

sample mean 是指平均值﹐不是distribution 分佈

大數法則其實是說對任意一個分佈﹐當抽樣的次數越多時﹐這些數據的平均值就會趨於這個分佈的期望值

S_n 是 random varfiable, 所以 S_n 有一個 distribution.
但 S_n 不是 distribution!

2012-11-05 16:31:13 補充：
簡單的強大數法則說:
若 X1,...,Xn,... 是一個 i.i.d. 的隨機變數序列,
其共同分布(distribution)有期望值(平均數) μ,
則 (X1+...+Xn)/n → μ with probability 1.

簡單的弱大數法則說:
若 X1,...,Xn,... 是一個 i.i.d. 的隨機變數序列,
其共同分布(distribution)有期望值(平均數) μ,
則 (X1+...+Xn)/n → μ in probability.

2012-11-05 16:34:47 補充：
說 SLLN 或 WLLN 那是就結論是 "機率 1 收斂"
或 "機率收斂" 而言. 當然, 就一般的 LLN 而言,
兩者所需條件不同.

至於 Sn=(X1+...+Xn)/n 的分布如果收斂到一個
機率分布 F, 則稱 Sn converges in distribution
to F (或 to 具有 F 之分布的某個 r.v.)

若 F 是 degenerate to a single point 的分布,
則 converges in distribution 與 converges in
probability 等價.

2012-11-05 22:42:32 補充：
outcome space 是 sample space.

(real) random variable 是定義在 sample space 上 的 extended real
number valued 函數, 其值落在 ±∞ 的機率為 0. 通常機率論課程談
的是 real random variable; 但在機率理論及應用上也有考慮 complex
random variable.

在初級課程說: (real) random variable 是定義在 sample space 上
的 real-valued function.

2012-11-08 18:26:35 補充：
real random number 的對應域當然是 extended real numbers,
只是 P[X=real] = 1. 要允許 X 的值可定義為 ±∞ 才是完整的,
否則將導致 sample space 上某些 outcomes 無法定義 X 的值
---假設 X 是所要的 random variable.

樓上請再去翻翻書吧!

請問Copestone ：

關於您所說的
強法則是指先取極限，再算機率；弱法則是先算機率，才取極限。

想請教，S_n 趨近 µ ，是否表示 S_n 這個distribution，
幾乎所有mass都集中在µ，意即此 density function 會長得很像一根柱子而已？

謝謝！

2012-11-05 23:11:02 補充：
感謝您們的解釋，我想我知道我卡在哪了，謝謝！

令 X_1, X_2, ... 為一 i.i.d. (identiacally independent distribution) 無窮序列。

Sample mean 即是 S_n = (X_1 + ... + X_n)/n，它當然是一個 distribution。

Law of Large Number 分強弱兩種，指的是 S_n 以不同的方式趨近 µ，這個 µ 你要看成是常函數。強法則是指先取極限，再算機率〔你看明白定理，難道沒疑問，不是分配怎算機率？〕；弱法則是先算機率，才取極限。

2012-11-05 14:05:16 補充：
固定 n 時, S_n 當然是一個 probability distribution,不然你怎樣求 probability?

給定機率空間,給定了 n, 又令 outcome space 為實數域, (real) random variable, probability distribution 只是把數學中的 function 另起一個名字。

至於 statistics, 如果指的是 {S_n} 這序列,那應該是叫 random process, 可不是叫 random variable。

叫什麼其不重要,寫出來就一目瞭然。

2012-11-05 20:15:58 補充：
弄了個語言上的大烏誌。更正一下：

probability distribution 或 probability measure 是背的的機率分配，是一個在 event space 上的（有數）可加函數，任何 event 的值都在 0 與 1 之間，整個空間的值為 1。

random varaible 則是原來空間映到 outcome space 的的函數，如果 outcome space 為實數域，那就叫 real random varaible。

2012-11-06 05:38:10 補充：
令 (Ω, F, p) 為一機率空間。

我習慣把 Ω叫 state space，一般可能是不可觀察的。也就是統計上的 sample space。

我說的 outcome，是可觀察的部份。或者叫 observation space 更好，免得跟一些統計學家的用法混淆了。

Random varaible 就是一個函數 f:Ω→X。

這個 X 當然也需要一些數學結構，但不需要是實數或複數域，任何 Banach space 都行〔甚至只要是 metrizable space 再加上少許如 separable 的條件即可〕。

關於 convergence，事實上是選 topology 的問題。

2012-11-06 05:56:09 補充：
至於 Law of Large Number，只在變量序列時成立，換為一個隨時間變動的 i.i.d.，就不行。提這是因為在很多重要的期刊上有大量這種錯誤的文章。

定理不成立主要是因為 sigma-algebra 中的事件太少了，這時要考慮一種叫 Fubini extension 的結構，而不是傳統上的 Komolov extension。

2012-11-06 19:24:56 補充：
關於意見 13 中提到的定義是錯的。

real random variable 就是 real-valued function on the sample space,沒有什麼 extended real numbers 一說,你可能是記錯了 measure theory 中的 measure 為方便可容許無窮值。這兒這樣做只是增加麻煩,extended real numbers 中的 Borel sets 是什麼?你不能只談落在正負無窮這兩點的機率,continuous distribution 在任何單點的機率都為 0 呢。

2012-11-22 19:45:12 補充：
我說的有點過了，有些作者的確會定義 extended real random variable。

不過 real random variable 當然是指 real-valued function。

為什麼要定義 extended r.r.v，最主要是作為一種記號而已，當談到 real random varaible 的序列時，像 limsup, liminf 等就會有可能出現無窮值。這與其說是一種定義，不如說是一種處理手法。

無窮點是一種極限，可不是一個數字，你真正寫起來，仍然是一堆極限，不定義 e.r.r.v.，影響的是表達方式。P(X=real) = 1 是結果，不是定義出來的。