最小乘方法

翁秉仁

 



首頁 | 搜尋

.作者任教於台大數學系
.本文節錄改寫自作者《微積分講義》
 

對於資料 (a1,b1), (a2,b2),…, (an,bn), 以前我們 曾經考慮應用插值法去構造滿足這些資料的函數. 但是如果這些是未經過整理 的實驗數據, 冒然使用插值法, 會得許多不合理的結果:

(左圖) 如果這些資料「雜亂無章」, 可能根本自變數與應變數毫不相 干.
(中圖) 這些資料很可能本來滿足一線性關係(虛線), 但是從實驗 誤差, 硬造出一五次多項式, 這種結論非常「失真」.

(右圖) 重複實驗, 同一自變數可能對應兩個應變數值(因為誤差), 插 值法根本不可能使用.



因此, 我們現在考慮的是另一種方法; 假設由理論或經驗得知, 某實驗曲 線應該是一直線時, 我們的問題是如何去找到一條最佳直線, 使得它與實驗數 據的「誤差」越小越好. 假設

\begin{eqnarray*}
\mbox{{\McQ\char 146}\hskip 0.0pt plus0.2pt minus0.1pt{\MbQ\ch...
...\MbQ\char 132}\hskip 0.0pt plus0.2pt minus0.1pt{\MaQ\char 236}}.
\end{eqnarray*}


最小乘方法考慮的誤差形如

\begin{displaymath}E(m,k)=\sum_{i=1}^n (b_i-(ma_i+k))^2\end{displaymath}

即考慮理論值與實驗值差的平方和。我們希望 E(m,k) 越小越好, 所以要求 E(m,k) 的 極小值,

\begin{eqnarray*}
\frac{\partial E}{\partial m}&=&\sum_{i=1}^n (2(b_i-(ma_i+k))\...
...ial E}{\partial k}&=&\sum_{i=1}^n (2(b_i-(ma_i+k))
\cdot (-1))=0
\end{eqnarray*}



\begin{displaymath}\begin{array}{l}
(\sum a_i^2)m+(\sum a_i)k=(\sum a_ib_i)\\
(\sum a_i)m+nk=(\sum b_i)
\end{array}\end{displaymath}

引入平均的符號, $\bar a=\frac{\sum a_i}{n}$, $\overline{ab}=\frac{\sum a_ib_i}{n} \cdots$, $\overline{a^2}=\frac{\sum a_i^2 }{n} \cdots$ 等. 則原式變成

\begin{displaymath}
\left\{\begin{array}{l}
\overline{a^2}\; m+\bar a\;k=\overli...
...\overline{a^2}}\\
k^*=\bar b-\bar a m^{*}
\end{array} \right.\end{displaymath}

此即所求. (為什麼 E(m*,k*) 一定是最小值?)

習題: 利用二階測試, 說明 E(m*,k*) 必為極小值.

例. 用最小乘方法求「滿足」(1,1), (1,2), (2,2), (3,2), (4,3) 之最佳曲線.


\begin{displaymath}\begin{array}{lccccc}
&a &b &a^2 &ab &\\
\hline
&1 &1 &1 &1 ...
...MaQ\char 204}} &{{11}\over 5} &2 &{{31}\over 5} &5&
\end{array}\end{displaymath}

所以 $m^{*}=\frac{15}{34}$, $k^{*}=\frac{35}{34}$, 直線

\begin{displaymath}y=\frac{15}{34}x+\frac{35}{34} \end{displaymath}

即所求.



習題: 用最小乘方法求滿足下列資料之最佳曲線.

  1. (0,5),(1,4),(1,3),(1,2),(2,2),(3,2),(3,1),(4,1)
  2. (0,0),(1,1),(2,2),(3,3),(4,4),(5,5),(6,6),(7,4)
  3. (1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3)

習題: 用最小乘方法的原則, 求滿足下列資料之最佳二次多項式 $\alpha x^2+\beta x+10$.

(1,1),(1,3),(2,0),(2,1),(3,3),(4,10)

習題: 資料同上題, 用最小乘方法的原則, 求滿足這些資料之最佳二次多項式 $\alpha x^2 + \beta x + \gamma$.

   

回頁首

(若有指正、疑問……,可以在此 留言寫信 給我們。)

EpisteMath

EpisteMath (c) 2000 中央研究院數學所、台大數學系
各網頁文章內容之著作權為原著作人所有


最後修改日期:9/30/2001