PHẦN II. ĐÁNH GIÁ MÔ HÌNH
(XÁC ĐỊNH CÁC KHUYẾT TẬT VÀ BIỆN PHÁP KHẮC PHỤC)
CHƯƠNG 5. ĐA CỘNG TUYẾN
CHƯƠNG 6. PHƯƠNG SAI CỦA SAI SỐ THAY
ĐỔI
CHƯƠNG 7. TỰ TƯƠNG QUAN
CHƯƠNG 8. ĐỊNH DẠNG MÔ HÌNH
CHƯƠNG 5. ĐA CỘNG TUYẾN
I. Khái niệm, nguyên nhân và hậu quả
II. Phương pháp phát hiện sự tồn tại đa cộng tuyến
III. Biện pháp khắc phục
IV.Ví dụ
I. KHÁI NIỆM, NGUYÊN NHÂN VÀ HẬU QUẢ
1. Khái niệm
Xét hàm hồi quy: Yi = β1 + β2X2i +... + βkXki + Ui
• Trường hợp lý tưởng là các biến X j trong môi trường hồi quy
không có tương quan với nhau.
• Trường hợp khác là xảy ra hiện tượng ĐCT
+ Đa cộng tuyến hoàn hảo
+ Đa cộng tuyến không hoàn hảo
Các dạng đa
cộng tuyến
Đa cộng tuyến
hoàn hảo
Đa cộng tuyến
không hoàn hảo
Xảy ra khi một biến độc lập được
biểu diễn dưới dạng tổ hợp
tuyến tính của các biến độc lập
khác.
Xảy ra khi tổ hợp tuyến tính của
tất cả các biến độc lập (k véc tơ)
gần với véc tơ 0.
λj  0 : λ1 X1  λ2 X2  ... λk Xk  0
λj  0 : λ1X1  λ2 X2 ... λk Xk V  0
Xj là véc tơ cột chứa các số liệu của n quan sát ứng với biến Xj
X1 là véc tơ với tất cả các thành phần bằng 1 (tương ứng với hệ
số tự do β1).
Ví dụ:
Với hàm hồi quy có dạng Y = β1 + β2X2 + β3X3 + U
 Vậy 3 véc tơ trên là phụ thuộc tuyến tính; giữa các biến
độc lập có hiện tượng đa cộng tuyến hoàn hảo.
Với hàm hồi quy có dạng Y = β1 + β2X + β3X2 + β4X3 + U – không
tồn tại hiện tượng đa cộng tuyến vì không tồn tại dạng biểu
diễn tuyến tính giữa các biến độc lập
2. Nguyên nhân
• Do chủ quan người lập mô hình đưa vào mô hình các
biến số có quan hệ cộng tuyến với nhau.
• Do điều tra, thu thập và xử lý số liệu không ngẫu nhiên
hoặc số liệu hạn chế trong một phạm vi nhỏ…
• Với mô hình có chuỗi thời gian, các biến độc lập có thể có
sự biến động theo xu thế thời gian
Ví dụ: nếu trong mô hình có 3 biến độc lập: EX: xuất khẩu;
IM: nhập khẩu; NX: xuất khẩu ròng
 Ta có quan hệ cộng tuyến với nhau theo định nghĩa:
NXi = EXi – IMi
3.Hậu quả
a. Khi có ĐCT hoàn hảo
§ Không ước lượng được mô hình - các hệ số hồi quy là
không xác định, còn các sai số tiêu chuẩn là vô hạn.
 Khi có đa cộng tuyến hoàn hảo thì không thể tìm được lời
giải duy nhất cho các hệ số hồi quy riêng mà chỉ tìm được lời
giải duy nhất cho tổ hợp tuyến tính của các hệ số này. Đồng
thời, phương sai và độ lệch chuẩn của chúng là vô hạn
b. Khi có ĐCT không hoàn hảo
§ Ước lượng được mô hình nhưng không đo lường được ảnh
hưởng của riêng từng biến độc lập đến biến phụ thuộc.
§ Phương sai của các ước lượng OLS lớn nên sai số chuẩn lớn,
dẫn đến khoảng tin cậy của các ước lượng rộng hơn và tỷ
số t mấy ý nghĩa.
§ Các ước lượng OLS và các sai số tiêu chuẩn của chúng trở
nên rất nhạy đối với những thay đổi nhỏ trong số liệu.
§ Khi thêm vào hay bớt đi các biến cộng tuyến với các biến
khác, mô hình sẽ thay đổi về độ lớn của các ước lượng hoặc
dấu của chúng.
§ Dấu các ước lượng của hệ số hồi quy có thể sai.
II. PHƯƠNG PHÁP PHÁT HIỆN SỰ TỒN TẠI ĐA CỘNG TUYẾN
1. So sánh kiểm định T và kiểm định F
2. Sử dụng các hồi quy phụ
3. Dùng độ đo khác (ví dụ độ đo Theil)
1. So sánh thông tin về kiểm định T và kiểm định F
Khi có mâu thuẫn giữa hai kiểm định này – có thể có ĐCT
Trường hợp 1: Nếu kiểm định T trong cặp giả thuyết chính
H0: βj = 0; H1: βj ≠ 0 (j = 2÷k) đều nhận H1 (tỷ số t cao – “T-ratio”
cao, P-value các kiểm định T nhỏ) và R2 < 0,8 thì có thể nói
rằng tồn tại hiện tượng đa cộng tuyến.
Trường hợp 2: Nếu tồn tại ít nhất một kiểm định T trong
cặp giả thuyết chính H0: βj = 0; H1: βj ≠ 0 (j = 2÷k) nhận H0 (tỷ
số t thấp – “T-ratio” thấp, P-value các kiểm định T lớn) và R2
≥ 0,8 thì có thể nói rằng tồn tại hiện tượng đa cộng tuyến.
1. So sánh thông tin về kiểm định T và kiểm định F
Kiểm định T
R2
Kết luận
Nhiều T có ý nghĩa
R2 thấp (<0.8)
Có thể có đa cộng
tuyến nhẹ
Nhiều T không có ý
nghĩa
R2 cao (≥0.8)
Có đa cộng tuyến
mạnh
2. Sử dụng hồi quy phụ
Hồi quy phụ là hồi quy mỗi một biến độc lập Xj nào đó theo
các biến còn lại:
Xji = α1 + α2X2i + ... + αj-1Xj-1,i + αj+1Xj+1,i + … + αkXki + Vi
Ký hiệu �2� là hệ số xác định trong hồi quy phụ
Dựa vào kết quả tính các giá trị �2� mà đánh giá mức độ đa
cộng tuyến:
- Nếu �2� ≥ 0.8 thì có thể nói Xj liên hệ tuyến tính chặt với
các biến khác  mô hình hồi quy gốc ban đầu có đa
cộng tuyến nặng.
- Nếu �2� < 0.8 Xj khá độc lập  đa cộng tuyến nhẹ hoặc
không có
2. Sử dụng hồi quy phụ
Hồi quy phụ là hồi quy mỗi một biến
độc lập Xj nào đó theo các biến còn lại
Tính hệ số xác định phụ �2�
Nếu �2� ≥ 0.8  MH có đa
Nếu �2� < 0.8 lập  MH có
ĐCT nhẹ :
Không có ĐCT:
cộng tuyến nặng
ĐCT nhẹ hoặc không có
•
Hệ số tương quan r
giữa các biến : 0,5 – 0,7
•
Hệ số tương quan giữa
các biến < 0.5
•
�2� : 0.4 – 0.8
•
�2� < 0.4
v Dùng kiểm định F:
§
Trong đó n là cỡ mẫu, k* là số biến trong mô hình hồi quy phụ, k là
số biến (kể cả biến tương ứng với hệ số chặn) trong mô hình gốc.
Ta có k* = k – 1.
§
Kiểm định cặp giả thuyết:
H0: �2� = 0 (Không có ĐCT  Xj độc lập với các biến khác)
H1: �2� ≠ 0 (có ĐCT  Xj có liện hệ tuyến tính với các biến khác)
Tính Fj  Tra bảng hoặc dùng phần mềm để xác định F tới hạn (Fα)
Kết luận: Nếu Fj > Fα bác bỏ H0  R² phụ có ý nghĩa  có ĐCT
Nếu Fj ≤ Fα  không bác bỏ H0  R² phụ không có ý nghĩa  không
có ĐCT hoặc ĐCT nhẹ
v Sử dụng nhân tử phóng đại phương sai:
Nếu Xj có liên hệ tuyến tính với các biến độc lập khác:
�2� → 1 thì VIF(Xj) → +
Nếu không có ĐCT giữa Xj và các biến khác thì: VIF(Xj) = 1
cho phép xem xét tương quan
qua lại giữa các biến độc lập
Đặc điểm của
PP HQ phụ
Cần tính toán nhiều. Tuy nhiên, đã có
sự trợ giúp của các phần mềm KTL
(một số cho biết giá trị của VIF đối với
các biến độc lập của MHHQ).
3. Sử dụng độ đo Theil
Độ đo Theil xem xét tương quan của biến độc lập với biến
phụ thuộc
• R2 là hệ số xác định bội của MHHQ:
Yi = β1 + β2X2i + β3X3i + … + βkXki + Ui
• �2−� là hệ số xác định bội trong MHHQ đã loại biến Xj
• Đại lượng (R² – �2−� ) được gọi là “đóng góp tăng thêm vào”
vào hệ số xác định bội
• Nếu X2, X3, …, Xk không tương quan với nhau thì m = 0
• Trong các trường hợp khác m có thể nhận giá trị âm hoặc
dương lớn.
3. Sử dụng độ đo Theil
Cách đọc kết quả m (Độ đo Theil)
Giá trị m
m=0
m>0
m<0
Ý nghĩa
Không có đa cộng tuyến → Các biến độc lập
không tương quan tuyến tính với nhau
Có đa cộng tuyến → Các biến độc lập có tương
quan tuyến tính với nhau
Có thể xảy ra do phương sai mẫu → Thường bỏ
qua hoặc coi là không có đa cộng tuyến đáng kể
III. BIỆN PHÁP KHẮC PHỤC
1.
Sử dụng thông tin tiên nghiệm
2.
Thu thập thêm số liệu hoặc lấy thêm mẫu mới
3.
Bỏ bớt biến độc lập khỏi mô hình
4. Sử dụng sai phân cấp 1
1.
Sử dụng thông tin tiên nghiệm
- Sử dụng thông tin tiên nghiệm hoặc thông tin từ nguồn
khác để ước lượng các hệ số riêng.
Ví dụ. Cần ước lượng hàm sản xuất của một quá trình sản
xuất nào đó có dạng:
Trong đó:
• Qt là lượng sản phẩm được sản xuất thời kỳ t;
• Lt là số lao động sử dụng ở kỳ t;
• Kt là vốn thời kỳ t;
• Ut là sai số ngẫu nhiên;
• A, α, β là các tham số mà chúng ta cần ước lượng
Lấy ln hai vế ta được:
Giả sử K và L có tương quan rất cao
Giả sử từ một nguồn thông tin nào đó, biết được rằng quá
trình sản xuất này có hiệu quả không đổi theo quy mô, nghĩa
là α + β = 1.
Khi đó, chúng ta sẽ là thay β = 1 - α và thu được
Sau khi thu được � thì β tính được từ điều kiện β =1 - �
Thông tin
tiên nghiệm
Giảm các biến độc lập có
quan hệ cộng tuyến
Ước lượng được các
tham số của mô hình
2. Thu thập thêm số liệu hoặc lấy thêm mẫu mới
Ví dụ trong mô hình 3 biến, ta có :
khi cỡ mẫu tăng,
�22� nói chung sẽ tăng:
 Đối với bất kỳ r23 nào cho trước, phương sai của β2 sẽ giảm
 Sai số chuẩn giảm, giúp cho ta ước lượng β2 chính xác hơn.
3. Bỏ bớt biến độc lập khỏi mô hình
• Giả sử X2, X3, ..., Xk là các biến độc lập; Y là biến phụ thuộc.
• Giả sử X2 và X3 có tương quan chặt chẽ với nhau, khi đó
nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3.
Phương pháp thực hiện:
§ Tính R2 đối với các hàm hồi quy
• có mặt cả hai biến;
• không có mặt một trong hai biến.
§ Loại biến mà giá trị R 2 tính được khi không có mặt
biến đó là lớn hơn.
Ví dụ:
R2 của hàm có mặt của cả hai biến X2 và X3 là 0,94;
R2 của mô hình không có biến X2 là 0,87;
R2 của mô hình không có biến X3 là 0,92
 Loại biến X3 ra khỏi mô hình.
Lưu ý : Nếu bỏ một trong 2 biến X2 hoặc X3 ra khỏi mô hình
HQ sẽ giải quyết được vấn đề ĐCT nhưng sẽ mất đi một số
thông tin về Y
4. Sử dụng sai phân cấp một
Thường áp dụng đối với các bộ số liệu theo thời gian.
Giả sử có số liệu chuỗi thời gian và mô hình sau:
Yt = β1 + β2X2t + β3X3t + Ut
Phương trình trên đúng với t thì cũng đúng với t-1, nghĩa là:
Yt-1 = β1 + β2X2,t-1 + β3X3,t-1+ Ut-1
 Lấy sai phân: Yt - Yt-1 = β2(X2t - X2,t-1) + β3(X3t - X3,t-1) + Ut - Ut-1
Đặt: yt = Yt - Yt-1; x2t = X2t - X2,t-1; x3t = X3t - X3,t-1; Vt = Ut - Ut-1
Ta có mô hình mới: yt = β2X2t + β3x3t + Vt
Tác dụng của phương pháp:
• Dùng sai phân giúp loại bỏ xu hướng tăng/giảm giống
nhau theo thời gian của X₂ và X₃.
• Nhờ đó, sai phân của X₂ và X₃ có thể ít tương quan hơn so
với giá trị gốc → làm giảm đa cộng tuyến.
Hạn chế của phương pháp này là
• Không ước lượng được hệ số chặn
• Sai số Vt có thể không thoả mãn giả thiết của mô hình
HQ tuyến tính cổ điển là các SSNN không tương quan.
IV. VÍ DỤ
Với Q là lượng gas bán, PG là giá một bình gas, PE là giá
điện sinh hoạt, PC là giá bếp gas.
a. Khi hồi quy Q phụ thuộc PG và hệ số chặn, có thể có hiện
tượng đa cộng tuyến không?
Hàm hồi quy tổng thể Q = β1 + β2PG + U
Mô hình này chỉ có một biến độc lập nên không thể tồn tại
hiện tượng đa cộng tuyến.
b. Cho mô hình [1]
Nghi ngờ trong mô hình [1]: Q phụ thuộc PG, PC, PE và hệ số
chặn có thể có hiện tượng đa cộng tuyến, vì thống kê t của hệ
số ứng với biến PC nhỏ, p-value = 0,349 cao (chứng tỏ hệ số
tương ứng biến PC không có ý nghĩa thống kê), trong khi đó
R2 lớn. Hãy nêu một cách kiểm tra hiện tượng đó?
Mô hình [1] : Q = β1 + β2PG + β3PC + β4PE + U
Để kiểm tra có hiện tượng ĐCT giữa PC với các biến độc lập
PG và PE, chúng ta sử dụng hồi quy phụ: hồi quy biến PC
theo PG và PE – mô hình [2]:
PC = α1 + α2PE + α3PG + U
d. Mô hình [2] nhằm mục đích gì?
Mô hình [2] nhằm xác định mô hình [1] có hiện tượng ĐCT
hay không. Cụ thể là biến PC có phụ thuộc tuyến tính vào
PG và PE không.
e. Biến PC có phụ thuộc tuyến tính vào biến PE không? Có
phụ thuộc tuyến tính vào biến PG không?
v Dùng kiểm định:
với mức ý nghĩa α = 0,05
Để xem xét giá bếp gas PC có phụ thuộc tuyến tính vào giá
điện PE hay không, cần kiểm định giả thiết về α2, cụ thể là: H0:
α2= 0; H1: α2 ≠ 0
Ta có: �2= - 7,3608 ; t2 = - 2,004 ;
p-value/2 = 0,056/2 = 0,0,026 > α/2 = 0,025
nên không có cơ sở bác bỏ H0.
 Vậy kết luận giá bếp gas PC không phụ thuộc vào PE.
Để xem xét giá bếp gas PC có phụ thuộc tuyến tính vào giá
gas PG hay không, cần kiểm định giả thiết về α3, cụ thể là:
H0: α3 = 0; H1: α3 ≠ 0
Ta có: �3 = 0,34168; t2 = 16,3406 ;
p-value/2 = 0,000 < α/2 = 0,025 nên bác bỏ H0, chấp nhận H1.
Vậy kết luận giá bếp gas PC có phụ thuộc vào PG.
v Kiểm định cặp giả thuyết
H0: R2 = 0 (hay α2 = α3 = 0 – PC không phụ thuộc vào PE, PG)
H1: R2 > 0 (có ít nhất một αi ≠ 0 – PC có phụ thuộc vào PE
hoặc PG, hoặc cả hai, có nghĩa là [1] tồn tại đa cộng tuyến)
Tiêu chuẩn kiểm định
Ta có: Fqs(2,24) = 176,0110 ; p-value = 0,000 < 0,05 nên bác bỏ
H0, nhận H1
Vậy, có ít nhất một yếu tố ảnh hưởng đến PC, có nghĩa là
[1] tồn tại ĐCT.
f.Mô hình [1] có khuyết tật ĐCT không? ĐCT này là hoàn hảo hay
không hoàn hảo? Các ước lượng của MH [1] còn là ước lượng
tốt nhất không?
Mô hình [1] có khuyết tật ĐCT.
ĐCT này là ĐCT không hoàn hảo bởi vì tồn tại mô hình [2] là
MHHQ.
Các ước lượng của MH [1] không thể là ước lượng tốt nhất vì tồn
tại ĐCT.
g.Nêu một cách khắc phục đơn giản khuyết tật trong mô hình [1]?
Cách khắc phục đơn giản là bỏ biến PC ra khỏi mô hình [1].
h.Khi bỏ biến PC khỏi mô hình [1], tiến hành hồi quy Q theo PG và
PE có
hệ số chặn thu được R2 = 0,9821. Có nên bỏ biến PC không?
Khi hồi quy Q theo PG và PE có hệ số chặn thu được R2 = 0,9821
>> 0,8. Đồng thời theo mô hình [2] – PC cộng tuyến mạnh với
biến PG nên tốt nhất là bỏ biến PC khỏi mô hình.
i. Để kiểm tra mô hình Q phụ thuộc PG, PE và hệ số chặn có
khuyết tật ĐCT không, người ta hồi quy PG theo PE có hệ số chặn
thu được hệ số xác định bằng 0,1215. Mô hình này dùng để làm gì,
có kết luận gì thu được?
Mô hình này dùng để kiểm tra sự phụ thuộc tuyến tính giữa PG
và PE, tức là kiểm tra khuyết tật ĐCT của mô hình hồi quy Q
theo PG, PE và hệ số chặn.
Do hệ số xác định thu được là 0,1215 khá nhỏ nên kết luận là PG
không phụ thuộc tuyến tính vào PE; mô hình Q phụ thuộc PG,
PE và hệ số chặn không có khuyết tật ĐCT.
j. Khi hồi quy mô hình: Q phụ thuộc PG, D, DPG có hệ số chặn với D là
biến giả, D = 1 nếu là tháng đại lý bán bình gas mới, D = 0 với các tháng
bán bình gas cũ; DPG = D*PG. Các biến D và DPG có thể có quan hệ
cộng tuyến với nhau không?
Hàm hồi quy tổng thể: Q = β1 + β2PG + β3D + β4D*PG + U
Lượng bình gas trung bình đại lý bán được với tháng bán bình gas mới:
E(Q) = (β1 + β3) + (β2 + β4)PG
Lượng bình gas trung bình đại lý bán được với tháng bán bình gas cũ:
E(Q) = β1 + β2PG
Các biến D và DPG không có quan hệ cộng tuyến với nhau, do không
thể tìm
được λ1 và λ2 không đồng thời bằng 0 thoả mãn:
λ1Di + λ2DiPGi = Di(λ1 + λ2PGi) = 0 đối với mọi điểm của tập số liệu.
KẾT THÚC CHƯƠNG 5!