淺談機率上的幾個極限定理 (第 3 頁)

　1│2│3│4│5│6　

淺談機率上的幾個極限定理（第 3 頁）

洋洋

首頁 | 搜尋

．原載於數學傳播九卷三期

‧註釋
‧對外搜尋關鍵字

2.大數法則

假設隨機變數 X₁,X₂,X₃,… 是 i.i.d，即彼此獨立而且有相同的分佈函數。若期望值 $\mu=\mbox{E}X_1$ 存在，且 $S_n=\sum\limits^n_{k=1}X_k$ 是 X_k 的部分和，則

a. (弱大數法則) $\frac{S_n}{n}$ converges in probability 到 μ，對任意 $\varepsilon>0$ ，

$\begin{displaymath}P(\vert\frac{S_n}{n}-\mu\vert>\varepsilon)\stackrel{n}{\rightarrow}0 \eqno{(2.1)}\end{displaymath}$

b. (強大數法則) $\frac{S_n}{n}$ converges almost surely 到 μ，即

$\begin{displaymath}P(\frac{S_n}{n}\stackrel{n}{\rightarrow}\mu)=1 \eqno{(2.2)}\end{displaymath}$

由強弱的命名即知(1.1)是可由(1.2)導出。底下我們將用一些例子說明大數法則。

例2.1假設在一個很大的賭場裡同時有許多賭局各自在進行。每一賭局的甲、乙兩方不停地投擲一公正的銅板，每次銅板出現正面時甲方即贏乙方1元，否則甲方付給乙方1元。換句話說，若X_k表示(固定一賭局)甲方在第k次投擲銅板銅板的所得，則X_k, $k=1,2,\cdots,$ 是 i.i.d.，且 $P(X_k=\pm1)=\frac{1}{2}$ , $\mbox{E}X_k=0$ 。於是

$\begin{displaymath}\frac{S_n}{n}=\frac{\sum\limits^n_{k=1}X_k}{n}\end{displaymath}$

代表甲方在 n 次投擲後的平均所得。根據極限的定義，若取 $\varepsilon=0.01$ ，(2.1)式告訴我們存在一正數 N 使得 $n\geq N$ 時

$\begin{displaymath}P(\vert\frac{S_n}{n}-0\vert>0.01)\leq0.01\end{displaymath}$

換句話說，平均來說在100個賭局中，至多有一個賭局裡的甲方在n次投擲後的平均所得超出0.01元。但是這個可能存在的例外1局一般而言，會隨著n變動。

(2.2)式則表示(幾乎)在每一賭局裡，甲方的平均所得會漸趨於0：

$\begin{displaymath}P\{w:\frac{S_n(w)}{n}\rightarrow0\}=1\end{displaymath}$

或者

$\begin{displaymath}P(w:\mbox{ {\fontfamily{cwM0}\fontseries{m}\selectfont \char ... ...s0.1pt{\fontfamily{cwM2}\fontseries{m}\selectfont \char 13}})=1\end{displaymath}$

注意：N是w的函數。說的更清楚一點，若取 ε =0.01，則在第一賭局時保證平均所得不超過0.01所需的投擲次數n與第二賭局裡相對應的投擲次數 N 不一定會相同。

例 2.2柏努利試驗(Bernoulli trial) 假設某甲以擲銅板的方式與某乙賭博，每次擲銅板前，某甲付賭資 a 元，若銅板出現正面則某甲可以獲得1元，否則某甲得不到錢。假設銅板出現正面的概率是 p，就一個賭徒來說，某甲最關心的事可能是這種賭博方法是否公平，並且在 n 次賭博後，他可能淨贏多少錢？

上述問題可用數學符號表示如下：令X_k代表某甲在第k次賭博中的所得，則

$\begin{eqnarray*} & P(X_k=1)=p & \\ & P(X_k=0)=1-p & \\ & k=1,2,\cdots\cdots & \end{eqnarray*}$

即 X_k, $k\geq1$ 有相同的分佈函數。由於銅板投擲與其前及其後的投擲無關，我們可以假設 X_k, $k\geq1$ ，是彼此獨立的。令

$\begin{displaymath}S_n=\sum\limits^n_{k=1}X_k\end{displaymath}$

則n次賭博後某甲所淨贏的錢數可表成S_n-na。若一個賭法是公平，那麼最低程度我們期望賭博的平均所得與每次所付賭博資應相等，換句話說，我們期望 $\frac{S_n}{n}\approx a$ 。因為

$\begin{displaymath}\mbox{E}X_1=1\cdot P(X_1=1)+0\cdot P(X_1=0)=p\end{displaymath}$

由(2.2)式

$\begin{displaymath}P(\lim_n\frac{S_n-na}{n}=p-a)=1\end{displaymath}$

故唯有 a=p 時才可能是公平賭博，此時根據極限之定義可知，幾乎在所有的賭局中，若賭博的次數 n 很大時，某甲所能淨贏的錢數 S_n-na 介於 $-n\varepsilon$ 與 $n\varepsilon$ 之間。

例2.3正規數(normal number) 在這個例子我們將確切表出 Ω，同時希望讀者能比較了解 almost surely 的意義。

設 x 是 [0,1] 中的一實數，且令

$\begin{displaymath}x=0.a_1 a_2 a_3\cdots\cdots\end{displaymath}$

是它的十進位小數展開，其中每一 a_i 都是 0,1,… 到 9 的一數位。如果我們採用無窮多個9來表有限小數 ( $\frac{a}{10^n}$ 的形式，a是整數)，則此種展開對每一 $0\leq x<1$ 是唯一的。譬如x=0.12的小數展開是x=0.11999 …。

令 $\Omega=\{x:0\leq x<1\}$ ，F 是由所有區間 (a,b)， $0\leq a<b<1$ ，所生成的 σ 區(我們不在此處詳細說明)，機率函數就是一般的長度函數

$\begin{displaymath}P\{x:x\in(a,b)\}=b-a\end{displaymath}$

$\begin{displaymath}0\leq a<b<1\end{displaymath}$

定義：

$\begin{displaymath}X_k(x)=\left\{ \begin{array}{ll} 1 & \mbox{, {\fontfamily{c... ...ar 117}}\hskip 1.2pt plus0.4pt minus0.2pt0 \end{array} \right.\end{displaymath}$

則不難證明 X_k, $k\geq1$ 是 Ω 上的隨機變數，且他仍是i.i.d.，

$\begin{eqnarray*} P(X_k=1) &=& 0.1 \\ P(X_k=0) &=& 0.9 \\ \mbox{E}X_1 &=& 0.1 \end{eqnarray*}$

於是 $\frac{S_n(x)}{n}$ 代表在 x 的小數展開的前 n 位裡位數 0 出現的頻率。根據強大數法則(2.2)

$\begin{displaymath}P\{x:\lim\frac{S_n(x)}{n}=0.1\}=1 \eqno{(2.3)}\end{displaymath}$

換句話說觀察自 [0,1) 任意排取的一實數 x 的小數展開時，我們「幾乎」都會發現到數位 0 出現的頻率是 $\frac{1}{10}$ 。

下面的事實不難證明：

$\begin{displaymath}\mbox{{\fontfamily{cwM2}\fontseries{m}\selectfont \char 74}}P... ...\fontseries{m}\selectfont \char 134}}P\bigcap\limits^9_1(A_i)=1\end{displaymath}$

若令 $A_i=\{x:\mbox{ {\fontfamily{cwM1}\fontseries{m}\selectfont \char 98}\hskip 0.0p... ...us0.2pt minus0.1pt{\fontfamily{cwM1}\fontseries{m}\selectfont \char 117}} 0.1\}$ ，而且定義實數 x 是正規數，如果在它的小數展開中每一數位出現的頻率是 $\frac{1}{10}$ ，則我們可結論。幾乎所有介於 0 到 1 的實數都是正規數。

同樣的方法加上一點小技巧可以證明

$\begin{displaymath}P\{x\in[0,1):\mbox{{\fontfamily{cwM1}\fontseries{m}\selectfon... ...series{m}\selectfont \char 117}}\frac{1}{10^2}\}=1 \eqno{(2.4)}\end{displaymath}$

$\begin{displaymath}P\{x\in[0,1]:\mbox{{\fontfamily{cwM1}\fontseries{m}\selectfon... ...series{m}\selectfont \char 117}}\frac{1}{10^4}\}=1 \eqno{(2.5)}\end{displaymath}$

等等。譬如說，令

$\begin{displaymath}X_k=\left\{\begin{array}{ll} 1 & \mbox{{\fontfamily{cwM0}\fo... ...{cwM1}\fontseries{m}\selectfont \char 36}} \end{array} \right.\end{displaymath}$

則易見 X_k 是有相同的分佈函數，

$\begin{displaymath}P(X_k=1)=\frac{1}{10^2},EX_k=\frac{1}{10^2}\end{displaymath}$

雖然 X_k, $k\geq1$ 不再是彼此獨立，但 $\{X_{2k},k\geq1\}$ 是彼此獨立， $\{X_{2k-1},k\geq1\}$ 也是彼此獨立。根據強大數法則「幾乎」所有的 $x\in[0,1]$ 都滿足

$\begin{eqnarray*} \lim_n \frac{\sum\limits^n_{k=1}X_{2k}}{n} &=& \frac{1}{10^2} \\ \lim_n \frac{\sum\limits^n_{k=1}X_{2k-1}}{n} &=& \frac{1}{10^2} \end{eqnarray*}$

兩者相加即可得證(2.4)

$\begin{displaymath}\lim_n\frac{\sum\limits^n_{k=1}X_k}{n}=\frac{1}{10^2}\end{displaymath}$

上面的結果很明顯地不限於十進位小數展開。讓我們看看：另一個類似問題。假設打字機鍵盤上所有符號，包含 26 個字母，阿拉伯數字，空白鍵，標點符號， $\cdots\cdots$ 等等共 50 個。假設許多猴子各自坐在打字機前不停地隨意敲打鍵盤，每次敲出任一符號的機會都是 $\frac{1}{50}$ ，莎士比亞的全集雖然很長，畢竟是由有限個符號(包含空白符號在內)，假設是 M 個所組成，於是由強大數法則

$\begin{displaymath}P\{\mbox{{\fontfamily{cwM8}\fontseries{m}\selectfont \char 10... ...tfamily{cwM1}\fontseries{m}\selectfont \char 117}}(50)^{-M}=1\}\end{displaymath}$

因此「幾乎」每一隻猴子都一定可敲出莎士比亞全集(如果猴子有耐性而且活得長的話)！

在(2.3)-(2.5)的解釋裡我們一再用到「幾乎」兩個字，這表示(2.3)-(2.5)並非對所有 $x\in[0,1)$ 成立。譬如說，所有有限小數都不滿足(2.3)-(2.5)，因為它們的十進位展開差不多都是數位 9。如果我們進一步要求正規數滿足所有類似(2.4)、(2.5)的公式，那麼任何一個有理數都不是正規數，由此可推論

$\begin{displaymath}P\{x\in[0,1]:x\mbox{{\fontfamily{cwM1}\fontseries{m}\selectfo... ...0.1pt{\fontfamily{cwM1}\fontseries{m}\selectfont \char 98}}\}=0\end{displaymath}$

這個事實也不難理解，如果我們事先知道

$Q=\{\mbox{{\fontfamily{cwM1}\fontseries{m}\selectfont \char 127}\hskip 0.0pt pl... ...pt plus0.2pt minus0.1pt{\fontfamily{cwM1}\fontseries{m}\selectfont \char 98}}\}$ 是可數，即Q與正整數集合 $\{1,2,\ldots\}$ 有一一對應的關係。
若集合A_i是可數，則 $\bigcup\limits^\infty_1A_i$ 亦是可數
$\{x:0\leq x<1\}$ 是不可數。

根據可數之定義不難證明2.。至於3.，可用對角化的程序來證明，我仍不在此討論。

雖然幾乎所有的數都是正規數，到目前為正尚無人能夠證明一些常見的無理數如 $\sqrt{2}$ 、 $\sqrt{3}$ 、π、e等是否為正規數。

例2.4科學測量：科學上經常要做一些測量，譬如測量長度、溫度等等。由於環境的微小變異，儀器的靈敏度、操作的程序總總因素，每次測所得數值或多或少有一些誤差。消除這些誤差的一個常用方式是多做幾次測量：假設 $Y_1,Y_2,\ldots,Y_n$ 是n次測量(某物體溫度) 所得值。然後取這些數值的平均值 $\frac{1}{n}\sum^n_{k=1}Y_k$ 來做為該物體的溫度。這種作法的可行性其實是用到大數法則。每次測量數值Y_k可分成兩部分

$\begin{displaymath}Y_k=\theta+X_k\end{displaymath}$

其中 θ 是物體的真正溫度，X_k 則是誤差。由於前後測量之不相關及 X_k 為正為負的可能性均等，我們不妨假設 $X_k,k\geq1$ 是 i.i.d. 隨機變數且 EX_k=0。因此由(2.2)，almost surely

$\begin{displaymath}\lim\frac{1}{n}\sum\limits^n_1X_k=0\end{displaymath}$

於是

$\begin{displaymath}\frac{1}{n}\sum\limits^n_1Y_k=\theta+\frac{1}{n}\sum\limits^n_1X_k\approx \theta\end{displaymath}$

當 n 相當大時。

例2.5 Stone-Weirstrass 定理：這是分析上一個很有名的定理。它告訴我們連續函數可用多項式來逼近。說的更清楚一點，若f是定義在[0,1] 閉區間上的一個連續函數，則對任意 $\varepsilon>0$ 我們可以找到一多項式P(x)(P(x) 當然與 f 及 ε 有關)使得

$\begin{displaymath}\max_{x\in[0,1]}\vert P(x)-f(x)\vert<\varepsilon\end{displaymath}$

大數法則的一個廣為人知的應用就是為上述定理提供了一個建設性的證明(Constructive proof)：定義 Bernstein 多項式如下：

$\begin{displaymath}p_n(x)=\sum\limits^n_{k=0}f(\frac{k}{n}){n\choose k}x^k(1-x)^k\end{displaymath}$

則

$\begin{displaymath}\lim_n(\max_{x\in[0,1]}\vert P_n(x)-f(x)\vert)=0 \eqno{(2.6)}\end{displaymath}$

上式之證明大致如下：首先固定 $x\in[0,1]$ ，令 $X_k,k\geq1$ ，是 i.i.d. 隨機變數，且

P(X₁=1)=x

P(X₁=0)=1-x

於是

$\begin{eqnarray*} \mbox{E}\{f(\frac{S_n}{n})\} &=&\sum\limits^n_{k=0}f(\frac{k}... ...ts^n_{k=0}f(\frac{k}{n}){n\choose k}x^k(1-x)^{n-k}\\ &=&p_n(x) \end{eqnarray*}$

根據(2.2)， $P(\frac{S_n}{n}\stackrel{n}{\rightarrow} EX_1=x)=1$ ，由於f是連續 $P(f(\frac{S_n}{n})\stackrel{n}{\rightarrow}f(x))=1$ ，於是不難相信(可用測度論的有界收斂定理) 逐點收斂成立

$\begin{displaymath}p_n(x)=E\{f(\frac{S_n}{n})\}\rightarrow f(x)\end{displaymath}$

至於代表均勻收斂的(2.6)還需一點工夫才能證明。我們不再討論。有興趣的讀者可參考[1][2]及[4]。

　1│2│3│4│5│6　


	（若有指正、疑問……，可以在此留言或寫信給我們。）

EpisteMath (c) 2000 中央研究院數學所、台大數學系
各網頁文章內容之著作權為原著作人所有

編輯：趙竑鈞 ∕ 校對：黃怡碧

最後修改日期：4/26/2002