已在第一頁 1234 次頁

 



首頁 | 搜尋

.原載於數學傳播第二卷第三期
.作者當時任職於中研院數學所

註釋
 

機率與訊息

劉豐哲

 
 


一、從彩燈談起

我們知道彩燈是由好幾個燈泡串起來的。要是其中有一個燈泡是壞的,則整串的燈泡就都不會亮了。如果手邊的這串彩燈不亮了,我們該怎麼樣才能儘快的找出壞的來呢?為了簡化討論,我們假定彩燈堣@共有 m 個燈泡,而其中只有一個是壞的。通常的檢驗辦法是把測儀的兩根引線接到彩燈線路中的兩點,以斷定壞燈是不是在這兩點之間。在這樣的做法下,讀者不難看出,用測儀檢驗 m 次便足以找出壞燈。(依次的把測儀接在每一盞燈的兩邊)。很自然的,我們要問,至少要檢測幾次才能保證找到壞燈。

如果 m=2kk 為一非負的整數,則我們可以證明:至少需要測 k 次,而且有方法在 k 次內找出壞燈。 (只要想一下 k=0, 1 的情況,然後用歸納法處理一下即可。即使一時想不出來,請不要流連其中!)

如果我們認為這個結果不錯,而自覺滿意的話,容我們提醒自己:在文明的進展中,重要的突破常常是歸功於那些能從簡單的事理中跨出一步的人;而這正是一般人懶得舉足的一步

讓我們看看,我們所得到的簡單結論,到底說明了什麼。k=0時,只有一個燈,這時無需測,壞的就是這一個;這是確定的情況。k=1 時,只需測其中一個燈的兩端,就知道壞的是哪一個;在未測之前,每個燈都有壞的可能性,機率各為 $\frac{1}{2}$。當 k 增大時,在未測之前,每個燈壞的可能性變小,要找出壞燈就變難了。用機率論的術語來說則是:當 k 增大時,壞燈所在的位置的隨機性也隨著增大。

各位不覺得上文中的「隨機性」使用得太含糊了嗎?戴著瓜皮帽的秀才爺爺會說,「含糊不要緊,能會意就行,就行。」但是,有點數學訓練的人就會追問:隨機性能不能量?

至少,在上面的例子中,隨機性是可以量的。我們知道,當 m=2k 時,找出壞燈至少需要檢測 k 次才行;因此用 k 來表示,壞燈所在位置的隨機性是極為自然的:把每次的檢測想成是我們所得到的一個訊息,(或「一拍」訊息,更為傳神!),則總共需要 k 拍訊息才能定出壞燈的位置。

把這種論法推廣到比較一般的隨機性問題,就是訊息理論的內容。它是美國數學家兼工程師顯農氏 (Claude Shannon) 在1947∼1948年間提出的。顯農氏提出訊息理論的目的是解決訊號傳遞問題上的一些困難;近年來訊息論已成功地應用到許多科學的分枝;特別是它的主要概念──試驗的熵數 (Entropy of Experiements) 1 ──經蘇聯數學家 A.N. Kolmogoroff 的修訂之後在數學上有了極為突出的貢獻。

本文的目的有二:一來淺介訊息理論,二來藉訊息理論之介紹說明機率論的方法。

首先,我們回憶一下機率的基本概念。

 
對外搜尋關鍵字:
Shannon
Kolmogoroff

已在第一頁 1234 次頁

回頁首
 
(若有指正、疑問……,可以在此 留言寫信 給我們。)
EpisteMath

EpisteMath (c) 2000 中央研究院數學所、台大數學系
各網頁文章內容之著作權為原著作人所有


編輯:黃信元 最後修改日期:4/26/2002