最小乘方法

翁秉仁

首頁 | 搜尋

．作者任教於台大數學系
．本文節錄改寫自作者《微積分講義》

對於資料 (a₁,b₁), (a₂,b₂),…, (a_n,b_n), 以前我們曾經考慮應用插值法去構造滿足這些資料的函數. 但是如果這些是未經過整理的實驗數據, 冒然使用插值法, 會得許多不合理的結果:

: (左圖) 如果這些資料「雜亂無章」, 可能根本自變數與應變數毫不相干.
: (中圖) 這些資料很可能本來滿足一線性關係(虛線), 但是從實驗誤差, 硬造出一五次多項式, 這種結論非常「失真」.
: (右圖) 重複實驗, 同一自變數可能對應兩個應變數值(因為誤差), 插值法根本不可能使用.

因此, 我們現在考慮的是另一種方法; 假設由理論或經驗得知, 某實驗曲線應該是一直線時, 我們的問題是如何去找到一條最佳直線, 使得它與實驗數據的「誤差」越小越好. 假設

$\begin{eqnarray*} \mbox{{\McQ\char 146}\hskip 0.0pt plus0.2pt minus0.1pt{\MbQ\ch... ...\MbQ\char 132}\hskip 0.0pt plus0.2pt minus0.1pt{\MaQ\char 236}}. \end{eqnarray*}$

最小乘方法考慮的誤差形如

$\begin{displaymath}E(m,k)=\sum_{i=1}^n (b_i-(ma_i+k))^2\end{displaymath}$

即考慮理論值與實驗值差的平方和。我們希望 E(m,k) 越小越好, 所以要求 E(m,k) 的極小值,

$\begin{eqnarray*} \frac{\partial E}{\partial m}&=&\sum_{i=1}^n (2(b_i-(ma_i+k))\... ...ial E}{\partial k}&=&\sum_{i=1}^n (2(b_i-(ma_i+k)) \cdot (-1))=0 \end{eqnarray*}$

則

$\begin{displaymath}\begin{array}{l} (\sum a_i^2)m+(\sum a_i)k=(\sum a_ib_i)\\ (\sum a_i)m+nk=(\sum b_i) \end{array}\end{displaymath}$

引入平均的符號, $\bar a=\frac{\sum a_i}{n}$ , $\overline{ab}=\frac{\sum a_ib_i}{n} \cdots$ , $\overline{a^2}=\frac{\sum a_i^2 }{n} \cdots$ 等. 則原式變成

$\begin{displaymath} \left\{\begin{array}{l} \overline{a^2}\; m+\bar a\;k=\overli... ...\overline{a^2}}\\ k^*=\bar b-\bar a m^{*} \end{array} \right.\end{displaymath}$

此即所求. (為什麼 E(m^*,k^*) 一定是最小值?)

習題：利用二階測試, 說明 E(m^*,k^*) 必為極小值.

例. 用最小乘方法求「滿足」(1,1), (1,2), (2,2), (3,2), (4,3) 之最佳曲線.

$\begin{displaymath}\begin{array}{lccccc} &a &b &a^2 &ab &\\ \hline &1 &1 &1 &1 ... ...MaQ\char 204}} &{{11}\over 5} &2 &{{31}\over 5} &5& \end{array}\end{displaymath}$