Chapter 2
簡單迴歸模型
1
簡單迴歸模型的定義
• y = β0 + β1x + u，它代表變數 x 及 y 之間的
關連，因此也可將它稱為“兩變數線性迴歸
模型”或 “二元線性迴歸模型”。
• 在方程式中，變數 y 及x 常常交替使用幾種
不同的名稱。
2
簡單迴歸的術語
y
應變數
被解釋變數
反應變數
被預測變數
被迴歸項
x
自變數
解釋變數
控制變數
預測變數
迴歸項
3
簡單迴歸模型的定義
• 在計量經濟中“應變數”與“自變數”是很常
用的。不過要注意自變數的英文“independent”
在這裡並不是代表隨機變數間獨立性的統計概
念。
4
簡單迴歸模型的定義
• 變數u 稱為誤差項(error term) 或干擾項
(disturbance)，它代表除了x 之外其他會影響y
的因素。簡單迴歸分析將除了x 以外所有影響y
的因素都視為不可觀察。你可以把u 想成代表
“不可觀察項”。
5
簡單迴歸模型的定義
• (2.1)式同時也指出了y 和x 之函數關係的議題
。若在u之中的其他因素固定不變，因此u 的
變動為0，Δu=0，則x 對y有一線性效果：
• 因此y 的變動就只是β1 乘x的變動。這代表在
其他因素u 固定不變下，y及x之關係的斜率參
數(slope parameter) 為 β1 ；它是應用經濟中我
們最感興趣的部分。截距參數(intercept
parameter) β0 ，有時也被稱為常數項(constant
term) ，亦有其作用，不過它在分析之中並不
是最重要的。
6
簡單迴歸模型的定義
• 假設不可觀察的 u 和解釋變數 x 的關係下，才
能得到隨機樣本中 β0 和 β1之可靠估計式。若沒
有這種假設，我們就不能估計其他條件不變的
效果， β1。由於 u 及x為隨機變數，我們需要機
率中的概念。
• 陳述 x 和 u 如何相關連的假設之前，有一個關
於u 的假設是我們永遠可以做的。只要截距項
β0 包含在方程式中，假設u 的母體平均值為 0
總是可以的。
7
簡單迴歸模型的定義
• 回到 u 和 x 如何相關連之重要假設上。一個
對兩個隨機變數之關係的衡量方式即為相關
係數(correlation coefficient)。
• 由於 u 和 x 是隨機變數，我們可以定義在任
何x 的值之下 u 的條件分配。特別是，就任
何 x，我們可以得到 u 的期望值(或平均值)。
重要的假設即為 u 的平均值並不取決於 x 的
值。
• 其中第二個等式即為(2.5)式。(2.6)式中第一
個等式為一新的假設，我們稱為條件平均為
0 的假設(zero conditional mean assumption)。
8
簡單迴歸模型的定義
• 將(2.1) 在 x 的條件下取條件期望值，並且利用
可得
• (2.8)式顯示母體迴歸函數 (population regression
function, PRF)，
，是 x 的線性函數。
9
10
推導普通最小平方估計
• 迴歸的基本概念就是從樣本中估計母體參數。
• 令{(xi, yi): i =1,…,n} 代表一由母體中所得之大小
為n 的隨機樣本。由於這些資料來自(2.1)式，我
們可以對每一個 i 寫出
• 由於ui 包含除了xi之外所有影響的yi因素，因此
它為觀察值 i 之誤差項。
11
推導普通最小平方估計
• 在母體中，u 之平均數為0且和x 無相關。因此
，看到u 之期望值為0 且x 和u 之共變異數為0：
• 使用可觀察的變數 x 和 y及未知參數β0和β1，
(2.10) 和(2.11)式可被寫為
12
13
推導普通最小平方估計
在某一個資料樣本中，我們選擇
(2.12) 和(2.13)式之樣本對應
和
以解
此為估計之動差法(method of moments) 。
14
推導普通最小平方估計
利用相加因子之基本特性，(2.14)式可重寫成
其中
為 yi 之樣本平均，而 之
定義亦類似於 。此方程式使我們得以將
用
來表示：
推導普通最小平方估計
將(2.15) 式之n-1 剔除(由於它並不影響結果)，
以及將(2.17) 式代入(2.15) 式中得到
移項重組之後，可得
再利用相加因子之基本特性
推導普通最小平方估計
因此，在以下的條件成立下
估計的斜率為
推導普通最小平方估計
• 斜率估計為 x 和 y 之樣本共變異數除以x 之
樣本變異數
• 若 x 和 y 正相關，則斜率為正
• 若 x 和 y 負相關，則斜率為負
• 我們只要求 x 在樣本中必須有變化
18
推導普通最小平方估計
• 在(2.17) 和(2.19)式之估計稱為β0和 β1的普通最小
平方(ordinary least squares, OLS) 估計。
• 任何 和 ，定義一個當x=xi之y 的配適值(fitted
value) 如
• 真正的yi及其配適值之差異即為觀察值i 之殘差
(residual)：
19
推導普通最小平方估計
• 假設我們選擇 和
squared residuals)
使得殘差平方和(sum of
極小化
• 決定了OLS 估計之截距和斜率，我們就可得出
OLS 迴歸線(OLS regression line)：
20
21
推導普通最小平方估計
• 由於它是母體迴歸函數
的估計
版。 (2.23)式亦被稱為樣本迴歸函數(sample
regression function, SRF)，我們應該記住PRF是在
母體中固定且未知的。
• 大多數情況下的斜率估計可被寫為
• 它告訴我們當x 變動一單位時
變動的數量。
• 所以在x 任意變動之下(無論正或負)，我們可以計
算y 的預測變動。
22
23
OLS 統計量的代數特性
• 對OLS 估計和它們相關的統計量有一些有用的代
數特性，我們現在提出三個最重要的。
(1) OLS 殘差之總和以及樣本平均為0。數學上
(2) 自變數和OLS 殘差之樣本共變異數為0。此特
性是從(2.15) 式之一階條件而來，它可用殘差來
表示
24
OLS 統計量的代數特性
(3)
永遠會在OLS 迴歸線上。換句話說
，如果我們把 在(2.23)中替換 x，則OLS
預測值為 。
25
OLS 統計量的代數特性
• 將總平方和(total sum of squares, SST)、被解釋平
方和(explained sum of squares, SSE)、殘差平方和
(residual sum of squares, SSR) 定義如下：
26
OLS 統計量的代數特性
• 異性可被表示為被解釋變異性SSE 和不可被解釋
變異性SSR 之加總。故
• 我們可證明(2.37)式，則(2.36)式即可成立
27
配適度
• 假定總平方和SST 不等於0 (除了所有yi 的值都相
等之外此必定成立)。我們可以將(2.36) 除以SST
以得到1 = SSE/SST + SSR/SST。則迴歸之R2
有時稱為判定係數(coefficient of determination)，
其定義為
• 由於SSE 不會大於SST 所以R2 必定在0 和1 之間
，在解釋R2時，我們通常將它乘100 以將其轉換
成百分比：100．R2為y 之樣本變異可被 x 解釋的
百分比。
28
配適度
• 如何衡量我們的樣本迴歸線配適樣本資料
之好壞？
• 可計算總平方和 (SST) 可被模型解釋之比
例，我們稱此為迴歸的R2
• R2 ≡ SSE/SST = 1 – SSR/SST
29
表2.3 有對數的函數形式之總結
模型
應變數 自變數 β1的解釋
Level-level
y
x
Δy=β1Δx
Level-log
y
log(x)
Δy=(β1/100)%Δx
Log-level
log(y)
x
%Δy=(100β1) Δx
Log-log
log(y)
log(x)
%Δy=β1%Δx
30
假設SLR.1 參數線性
在母體模型中，應變數y和自變數x 相關連，
且誤差項(或干擾項)u為
在母體模型中，應變數y 和自變數x 相關連，
且誤差項(或干擾項)
u為
其中β0 和β1 為母體之截距和斜率參數。
31
假設SLR.2 隨機抽樣
由(2.47) 式母體模型中可得一大小為n 的
隨機樣本{(xi, yi): i =1,2,...,n}。
32
假設SLR.3 解釋變數的樣本變異性
x 的樣本結果，{xi, i= 1, ..., n}，其值不全
部相同。
33
34
假設SLR.4 條件平均為0
在任意既定的解釋變數值之下，誤差項 u
的期望值為0。換句話說，
35
OLS 的不偏性
 x  x y  x  x    x  u  
 x  x    x  x  x
   x  x u 
  x  x     x  x x
   x  x u
i
i
i
0
i
0
i
i
1 i
i
1 i
i
i
i
0
1
i
i
i
36
OLS 的不偏性
 x  x   0,
 x  x x   x  x 
i
2
i
i
i
因此，我們可將分子寫為
1s x2    xi  x ui , 所以
ˆ1  1
x  x u


i
s
i
2
x
37
OLS 的不偏性
令 d i   xi  x , 故
 1 
ˆ
 i  1   2   d i u i , 則
 sx 
 
 1 
ˆ
E 1  1   2  d i E ui   1
 sx 
38
定理 2.1 OLS之不偏性
• 利用假設SLR.1 至SLR.4，對任何β0 和β1 而
言
• 換句話說， 為β0 之不偏估計式，以及
β1 之不偏估計式。
是
39
假設SLR.5 同質變異性
• 在任意既定的解釋變數任意值之下，誤差
項u 有相同的變異數。換句話說，
40
OLS估計式之變異數
• 現在我們知道估計的抽樣分配是集中於真
實參數的
• 要了解該分配的分散程度
• 需要另一假設
• 假設 Var(u|x) = σ2 (同質變異性)
41
OLS估計式之變異數
• Var(u|x) = E(u2|x)-[E(u|x)]2
• E(u|x) = 0，所以σ2 = E(u2|x) = E(u2) =
Var(u)
• 故 σ2 亦為非條件變異數，稱為誤差變異數
(error variance)或干擾項變異數
• σ 為誤差變異數的平方根，稱為誤差標準差
42
OLS估計式之變異數
 


 1 
ˆ
Var 1  Var  1  

2   d i ui 

 sx 


2
 1 
 1 

2  Var  d i ui   
2
s
s
x 
x 


 1 

2
 sx 
2
2
2
d
 i Var ui 
 1 
 d     sx2 
2
i
2
2
2
2
2
d
 i 
 
 1  2 2
ˆ
 
2  sx 
2  Var 1
sx
 sx 
2
43
OLS估計式之變異數
• 我們可用y 的條件平均和條件變異數的形式寫假
設SLR.4 和SLR.5
• 當
取決於x 誤差項，即存在異質變異性
(heteroskedasticity)或是非常數的變異數，由於
，每當
為x 的函數時
，異質變異性就會存在。
44
45
46
估計誤差變異數
• 因為我們無法觀察到ui，因此我們不知道
誤差變異數2 的值
• 我們只能觀察到殘差ûi
• 我們可以使用殘差來估計誤差變異數
47
估計誤差變異數
uˆi  yi  ˆ0  ˆ1 xi
  0  1 xi  ui   ˆ0  ˆ1 xi
 u  ˆ    ˆ  

i
0
0
 
1
1

故  的不偏估計式為
2
1
2
ˆ
ˆ 
u

i  SSR / n  2 
n  2
2
48
估計誤差變異數
稱為迴歸的標準誤(standard error of the
regression, SER)
由於
之一個自然的估計式為
此稱為 之標準誤(standard error of
)
49
通過原點的迴歸
• 選擇一個斜率估計式稱為 ，且其迴歸線的形式
為
• 其中在
和 之上的符號是用來區別斜率和截
距同時存在的估計式。由於(2.63)式通過 x = 0 和
， ，稱之為通過原點的迴歸(regression
through the origin)。
50
通過原點的迴歸
要獲得(2.63)式之斜率估計，可利用普通最小平
方的方法，即殘差平方和極小化
利用微積分可證明
由此可解
必須是一階條件的解：
在不是所有xi 為0 之下：
51