METODE KUANTITATIF :
REGRESI BERGANDA
Fanny Widadie, S.P, M.Agr
6
Regression
• Regression analysis, in general sense, means the
estimation or prediction of the unknown value of one
variable from the known value of the other variable.
• If two variables are significantly correlated, and if
there is some theoretical basis for doing so, it is
possible to predict values of one variable from the
other. This observation leads to a very important
concept known as ‘Regression Analysis’.
• It is specially used in business and economics to
study the relationship between two or more variables
that are related causally and for the estimation of
demand and supply graphs, cost functions,
production and consumption functions and so on.
 Thus, the general purpose of multiple regression is to
learn more about the relationship between several
independent or predictor variables and a dependent or
output variable.
 Suppose that the Yield in a chemical process depends
on Temperature and the Catalyst concentration, a
multiple regression that describe this relationship is,
Y = b0+b1*X1+b2*X2+ € → (a)
Where Y = Yield.
X1 = Temp:, X2 = Catalyst cont:.
This is multiple linear regression model with 2
regressors.
 The term linear is used because equation (a) is a linear
function of the unknown parameters bi’s.
Regression Models.


a.
b.

a.
b.
Depending on nature of relationship
regression models are two types.
Linear regression model, including
Simple-linear regression (one indep:
var.)
Multiple-linear regression.
Non-Linear regression model, including
Polynomial regression.
Exponential regression ,etc.
Types of multiple regression
• There are three types of multiple regression, each of
which is designed to answer a different question:
– Standard multiple regression is used to evaluate the
relationships between a set of independent variables
and a dependent variable.
– Hierarchical, or sequential, regression is used to
examine the relationships between a set of
independent variables and a dependent variable, after
controlling for the effects of some other independent
variables on the dependent variable.
– Stepwise, or statistical, regression is used to identify
the subset of independent variables that has the
strongest relationship to a dependent variable.
MODEL
REGRESSI LINIER BERGANDA
Model yg memperlihatkan hubungan antara satu variable
terikat (dependent variable) dgn beberapa variabel bebas
(independent variables).
Yi = 0 + 1 X1i + 2 X2i + … + k Xki + i
dimana: i = 1, 2, 3, …. N (banyaknya pengamatan)
0, 1, 2, …, k adalah parameter yang nilainya
diduga melalui model:
Yi = b0 + b1 X1i + b2 X2i + … + bk Xki
 0 dan 1 : parameter dari fungsi yg nilainya akan
diestimasi.
 Bersifat stochastik  untuk setiap nilai X terdapat
suatu distribusi probabilitas seluruh nilai Y atau Nilai
Y tidak dapat diprediksi secara pasti karena ada
faktor stochastik i yang memberikan sifat acak
pada Y.
 Adanaya variabel i disababkan karena:
 Ketidak-lengkapan teori
 Perilaku manusia yang bersifat random
 Ketidak-sempurnaan spesifikasi model
 Kesalahan dalam agregasi
 Kesalahan dalam pengukuran
Koefisien Regresi Partial (Partial Coefficient of
Regression)
Sampel :
Yi = b1 + b2 X2i + b3 X3i + … + bk Xki
Yi = b1.23 + b12.3 X2i + b13.2 X3i + … + bk Xki
b1.23 = intercept, titik potong antara garis regresi
dengan sumbu tegak Y
Nilai perkiraan rata-rata Y kalau X2 = X3 = 0
b12.3 = Besarnya pengaruh X2 terhadap Y kalau
X2 tetap
Yi = b1.234 + b12.34 X2i + b13.24 X3i + b14.23 X4
Misalnya:
Yi = Hasil penjualan (perkiraan atau ramalan)
X2 = Biaya advertensi
X3 = Pendapatan
X4 = Harga, atau
Yi
X2
X3
X4
=
=
=
=
Produksi Padi (perkiraan atau ramalan)
Pupuk
Bibit
Luas Sawah
Y
Yi
.
.
i
Ÿi
.
0
.
Ÿi = b 0 + b 1 Xi
.
. .
.
Yi
= 0 + 1 Xi +
i
Variation
in Y
Systematic
Variation
Random
Variation
X
Y
E(Yi) = 0 + 1 Xi
Yi = 0 + 1 Xi + i
X1
X2
X3
Nilai rata2 Yi :
E(Yi) = 0 + 1 Xi
IX= Yi - E(Yi)
Asumsi-asumsi
Model Regresi Linier Berganda
(Agar hasil estimasi dapat diinterpretasikan dengan baik - BLUE)
 Nilai rata-rata disturbance term adalah nol,
E(i) = 0.
 Tidak tdpt serial korelasi (otokorelasi) antar i
Cov(i,j) = 0 untuk i  j.
 Sifat homoskedastisitas:
Var(i) = 2 sama utk setiap i  Kesalahan
Pengganggu Mempunyai Varian Sama
 Covariance antara i dan setiap var bebas adalah nol.
Cov(i,Xi) = 0
 Tidak tdpt multikollinieritas antar variebel bebas.
 Model dispesifikasi dengan baik
Interpretasi Persamaan Regresi Berganda
Yi = b1.23 + b12.3 X2i + b13.2 X3i + 
E (Yi /X2,X3) = b1.23 + b12.3 X2i + b13.2 X3i
b13.2 mengukur besarnya perubahan Y kalau X3
Berubah sebesar satu satuan, dimana X2 konstan
^
^
^
Y  X
Y
ei
ui
^Yi
0
E (Y )     X
Yi
Xi
SRF
X
PRF
Estimasi Koefisien Regresi Parsial
Metode Ordinary Least Squares (OLS)
Prinsip: Meminimumkan nilai error – mencari jumlah
penyimpangan kuadrat (i2) terkecil.
i = Yi - 0 - 1 Xi
i2 = (Yi - 0 - 1 Xi)2
i2 =  (Yi - 0 - 1 Xi)2
i2 minimum jika:
i2 /0 = 0  2 (Yi - 0 - 1 Xi) = 0
i2 /1 = 0  2  Xi (Yi - 0 - 1 Xi) = 0
Sederhanakan, maka didapat:
b1 =
 (Xi – X) (Yi – Y)
 (Xi – X)2
b 0 = Y - b 1X
dimana
b0 dan b1 nilai penduga untuk 0 dan 1.
X dan Y adlh nilai rata2 pengamatan X dan Y
ESTIMASI MODEL
REGRESSI LINIER BERGANDA
Model:
Yi = 0 + 1 X1i + 2 X2i + i
Model penduga: Ŷi = b0 + b1 X1i + b2 X2i
b0, b1 dan b2 nilai penduga untuk 0, 1 dan 2.
b1 =
b2 =
(yi x1i) (x22i ) – (yi x2i) (x1i x2i)
(x21i ) (x22i ) – (x1i x2i)2
(yi x2i) (x21i ) – (yi x1i) (x1i x2i)
(x21i ) (x22i ) – (x1i x2i)2
b0 = Yi – b1X1i – b2 X2i
Standard error of the estimates
Var(2) = 2 /  Xi2
Se(2) =
Var(1) =
Se(1) =
2 =
Var(2) =
 Xi2
2

=
 Xi2
 Xi2
2
n  xi2
Var(1) =
 i2
n–2
 Xi2
2
n  xi2
 i2 =  yi2 – 22  xi2
=  yi2 –
 (xi yi) 2
 xi2
ESTIMASI MODEL
REGRESSI LINIER BERGANDA
1
var(b0) =
var(b1)=
var(b1)=
2
=
+
n
X21 x22i – X22 x21i – 2 X1 X2 x1i x2i
(x21i ) (x22i ) – (x1i x2i)2
x21i
(x21i )(x22i ) – (x1i x2i)2
x21i
(x21i )(x22i ) – (x1i x2i)2
i2
n–3
2
2
se(bi) = var(bi)
Utk i = 0, 1, 2.
2
i2 = y2i – b1 yi x1i – b2 yi
x2i
Koefisien Determinasi
•
Y
1 + 2 Xi
RSS
TSS
TSS = RSS + ESS
ESS
Y
1=
X
r2 =
ESS
TSS
atau
= 1–
=
ESS
TSS
= 1–
TSS
RSS
+
TSS
 (Ŷi - Y)2
=
 (Ŷi - Y)2
 (Yi -
ESS
 (Yi -
Y)2
Atau:
Y)2
r2 = 22
 i2
 (Yi -
Y)2
=
+
 i2
 (Yi - Y)2
 xi2
 yi2
 (xi yi) 2
 xi2  yi2
Koefisien Korelasi
A NUMERICAL EXAMPLE
ILLUSTRATIVE EXAMPLES
REGRESI LINEAR BERGANDA
Y = ß0 + ß1 X + ß2 X + …. + ßn Xn
Dalam konsep dasarnya pengujian statistik SECARA PARSIAL
mendasarkan pada hipotesis :
Uji Konstanta Intersep
Uji Koeff. Xi
H0
:
ß0 = 0
H1
:
ß0 ≠ 0
H0
H1
:
:
ßi = 0
ßi ≠ 0
Contoh :
Tujuan untuk mengetahui pengaruh (kontribusi)
proses/ mekanisme yang disusun dalam praktikum terhadap
pencapaian nilai ujian akhir praktikum, yaitu melalui
penilaian atas latihan di kelas dan penilaian atas laporan
praktikum.
Dengan demikian dapat dibuat spesifikasi modelnya sebagai
berikut :
Y = ß0 + ß1X1 + ß2X2
Dimana :
Y
: Nilai ujian akhir
X1
: Nilai pretest
X2
: Nilai Laporan
--------------------- (model 1)
Interpretasi Hasil :
Dari hasil di atas selanjutnya dapat disusun persamaan berikut :
N_Akhir = -25.450 + 0.542 Latihan + 0.771 Laporan
SE
(9.351)
(0.089)
(0.132)
T-Hit.
2.722
6.067
5.828
F-hit = 73,02
Df = 62
R2 = 0.702
Pengujian statistik baik uji keseluruhan (Uji-F) dan uji koefisien variabel dalam
model (Uji-t) memiliki kesamaan dengan analisis regresi linear sederhana.
Hipotesis uji-F adalah : H0
: ß0 = ß1 = ß2 = 0
H1
: ß0, ß1, ß2 ≠ 0
Sedangkan uji koefisien atau pengujian secara parsial memiliki hipotesis
sebagai berikut :
Pengujian untuk intersep :
H0
: ß0 = 0
H1
: ß0 ≠ 0
Pengujian untuk ß1
:
H0
H1
: ß1 = 0
: ß1 ≠ 0
Pengujian untuk ß2 :
H0
H1
: ß2 = 0
: ß2 ≠ 0
Hasil analisis di atas menunjukkan bahwa model secara
statistik adalah memang dapat digunakan, terbukti dari nilai
F-hit sebesar 73.02 yang signifikan pada tingkat alpha 5%
atau 0.05 Artinya bahwa ß0, ß1, ß2 mempengaruhi secara
nyata terhadap N_Akhir (nilai Akhir).
Kekuatan pengaruh dari kedua variabel dalam menjelaskan
variabel N_Akhir sebesar 70.2 % sedangkan sisanya yaitu
sekitar 29.8% merupakan pengaruh dari variabel lain yang
tidak dipertimbangkan dalam model.
Koefisien latihan 0.542 dapat diartikan jika Nilai Laporan
tetap maka kenaikan 1 satuan nilai latihan akan cenderung
menaikkan nilai ujian sebesar 0.542.
Demikian juga untuk pengaruh nilai Laporan. Jika nilai
laporan naik 1 satuan maka akan cenderung meningkatkan
nilai ujian Akhir sebesar 0.771.
Hal yang lebih menarik sebenarnya adalah faktor apa yang
tersembunyi di balik angka-angka tersebut. Hal ini
memerlukan informasi yang bersifat kualitatif untuk
mengungkap :