YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
1
$
NOKTA TAHMİN YÖNTEMLERİ
• Şimdiye kadar verilmiş tahmin edicilerin sonlu örneklem ve asimptotik
özelliklerini inceledik.
• Acaba bilinmeyen anakütle parametrelerini tahmin etmekte
kullanabileceğimiz tahmin ediciler türetmemizi sağlayan genel tahmin
yöntemleri nelerdir?
• Momentler Yöntemi (Method of Moments)
• Maksimum Olabilirlik Yöntemi (Method of Maximum Likelihood)
• En Küçük Kareler (Least Squares)
• Bu derste sadece Momentler Yöntemi ve Maksimum Olabilirlik
Yöntemlerini inceleyeceğiz. En Küçük Kareler yöntemi Regresyon başlığı
altında ilerde ele alınacaktır.
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
2
MOMENTLER YÖNTEMİ (METHOD of MOMENTS)
Momentler yöntemi en eski tahmin yöntemlerinden biridir. Anakütleye ilişkin
dağılımsal varsayımlar altında, populasyon momentlerinin örneklem
momentlerine eşitlenerek ortaya çıkan bilinmeyen denklem sisteminin
populasyon parametreleri için çözümüne dayanır.
$
Elimizde k tane bilinmeyen populasyon parametresi olsun. Bunları θ1 , θ1 , . . . , θk
ile gösterelim. Bu parametrelerin Momentler Yöntemi tahmin edicileri aşağıdaki
sistemin çözümüyle bulunur:
n
E(X) =
1X
Xi
n i=1
n
2
E(X )
..
.
E(X k )
=
1X 2
X
n i=1 i
.
= ..
n
1X k
=
X
n i=1 i
Burada populasyon momentlerinin bilinmeyen parametrelerin bir fonksiyonu
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
3
$
olduğunu unutmayın. Bu populasyon momentlerini örneklem momentlerine
eşitleyerek k bilinmeyenli k denklem elde ettik. Bunun çözümü bize Momentler
Yöntemi Tahmin Edicilerini verir.
ÖRNEK: X1 , X2 , . . . , Xn Binom(1,p) dağılımından çekilmiş rassal bir örneklem
olsun. p’nin momentler yöntemi tahmin edicisini bulun.
Burada bilinmeyen populasyon parametresi bir tanedir. Öyleyse momentler
yöntemi tahmin edicisi
E(X) = p = X
eşitliğinden hareketle
p̂mom = X
olur.
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
4
$
MOMENTLER YÖNTEMİ
k
Populasyon Momentleri
1
µ1 = E(X)
2
µ2 = E(X 2 )
3
µ3 = E(X 3 )
4
..
.
µ4 = E(X 4 )
..
.
k
µk = E(X k )
&
Örneklem Momentleri
Pn
µ̂1 = n1 i=1 Xi
Pn
µ̂2 = n1 i=1 Xi2
Pn
µ̂3 = n1 i=1 Xi3
Pn
µ̂4 = n1 i=1 Xi4
..
.
P
n
µ̂k = n1 i=1 Xik
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
5
$
MOMENTLER YÖNTEMİ (dvm)
ÖRNEK: N (µ, σ 2 ) anakütlesinden çekilmiş n boyutlu rassal bir örneklemden
hareketle µ ve σ 2 parametrelerinin MOM tahmin edicilerini bulun.
Burada bilinmeyen iki parametre olduğundan ilk iki populasyon momentini
örneklem momentlerine eşitlersek
E(X) = µ = X
n
E(X 2 )
= µ2 + σ 2 =
1X 2
X
n i=1 i
Buradan da
µ̂mom
=
2
σ̂mom
=
X
n
1X
(Xi − X)2
n i=1
bulunur.
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
6
MOMENTLER YÖNTEMİ (dvm)
ÖRNEK: Uniform(α, β) anakütlesinden çekilmiş n boyutlu rassal bir
örneklemden hareketle α ve β parametrelerinin MOM tahmin edicilerini bulun.
$
Burada bilinmeyen iki parametre olduğundan ilk iki populasyon momentini
örneklem momentlerine eşitlersek
α+β
=X
2
2
n
(α − β)2
1X 2
α+β
+
X
=
12
2
n i=1 i
E(X) =
E(X 2 ) =
İkinci eşitlikten hareketle
n
(α − β)2
1X
=
(Xi − X)2 = σ̂ 2
12
n i=1
Buradan aşağıdaki bilinmeyen denklem sistemi elde edilir:
α+β
&
(α − β)
2
= 2X
√
= 12σ̂ 2 =⇒ β − α = 2 3σ̂
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
7
$
Bu denklem sistemini çözersek momentler yöntemi tahmin edicileri
√
α̂mom = X − 3σ̂
√
β̂mom = X + 3σ̂
olarak bulunur.
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
8
MAKSİMUM OLABİLİRLİK TAHMİN YÖNTEMİ (MAXIMUM
LIKELIHOOD ESTIMATION)
İstatistik ve ekonometride en sık kullanılan nokta tahmin yöntemlerinden
biridir. Anakütleyi betimleyen olasılık yoğunluk fonksiyonunu (ya da olasılık
kütle fonksiyonunu, eğer r.d. kesikli ise) f (x; θ) ile gösterelim. Bu anakütleden
çekilmiş n gözlemli r.ö. X1 , X2 , . . . , Xn , bunun belli bir gerçekleşmesi ise
x1 , x2 , . . . , xn olsun.
$
• Maksimum Olabilirlik tahmin yöntemi (kısaca MLE) belli bir örneklem
değerlerinin gerçekleşme olabilirliğini en yüksek yapan anakütle
parametrelerini bulmaya çalışır.
• Elimizde bir rassal örneklem olduğundan ve bunların çekildiği anakütlenin
bilindiği (oyf biliniyor) varsayıldığından, bağımsızlık özelliğinden hareketle
ortak olasılık yoğunluk fonksiyonu
f (x1 , x2 , . . . , xn ; θ)
&
= f1 (x1 ; θ) · f2 (x2 ; θ)·, . . . , ·fn (xn ; θ)
n
Y
=
f (xi ; θ), i = 1, 2, . . . , n
i=1
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
9
$
olarak yazılabilir.
• Burada X1 = x1 , X2 = x2 , . . . , Xn = xn olduğuna, örneklem yinelense başka
gözlem değerleri elde edileceğine dikkat edin.
• Olabilirlik fonksiyonu ortak olasılık fonksiyonuna verilen başka bir isimdir.
• Tek fark şudur ki ortak olasılık fonksiyonunda θ’nın bilindiği X’lerin
bilinmediği, olabilirlik fonksiyonunda ise X’lerin bilindiği, bir başka deyişle
belli bir gerçekleşmesinin gözlemlenmiş olduğu, θ’nın ise bilinmediği örtük
olarak varsayılır.
• Rassal örneklemin belli bir gerçekleşmesini x = {x1 , x2 , . . . , xn } ile
gösterelim. Olabilirlik fonksiyonu x verilmişken θ’yı bilinmeyen olarak ifade
eden bir fonksiyondur:
L(θ | x1 , x2 , . . . , xn ) = L(θ | x) =
n
Y
f (xi ; θ),
i = 1, 2, . . . , n
i=1
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
10
$
MAKSİMUM OLABİLİRLİK (dvm)
Maksimum Olabilirlik tahmin edicileri olabilirlik fonksiyonunu en yükseğe
çıkaran tahmin ediciler olarak tanımlanır. Anakütlenin dağılımının ne olduğu
biliniyorsa bu aşağıdaki matematiksel probleme dönüşür:
max L(θ | x) =
θ
n
Y
f (xi ; θ)
i=1
MLE t.e. θ̂mle dersek:
θ̂mle = arg max L(θ | x) =
θ
n
Y
f (xi ; θ)
i=1
Bu maksimizasyon probleminin çözümünde kolaylık sağlaması için, ortak
olasılık fonksiyonunun e tabanına göre logaritması (ln, doğal log) kullanılabilir:
!
n
n
X
Y
ln (f (xi ; θ))
max ln L(θ | x) = ln
f (xi ; θ) =
θ
&
i=1
i=1
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
11
$
MAKSİMUM OLABİLİRLİK (dvm)
θ’nın MLE t.e.:
θ̂mle = arg max ln L(θ | x)
θ
ya da
θ̂mle = arg max
θ
n
X
ln (f (xi ; θ))
i=1
Bu maksimizasyon probleminin çözümü için gerekli ve yeterli koşullar:
∂
ln L(θ | x) = 0,
∂θ
∂2
ln L(θ | x) < 0
∂θ2
θ k bilinmeyen parametreden oluşuyorsa logolabilirlik fonksiyonunun bu
parametrelere göre birinci türevleri sıfır (gerekli koşul), ikinci türev matrisi
(Hessian) negatif belirli olmalı (yeterli koşul).
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
12
$
MAKSİMUM OLABİLİRLİK (dvm)
Başarı olasılığının p (0 < p < 1) olduğu Bernoulli dağılımından 10 r.d. çekilmiş
olsun: X1 , X2 , . . . , X10 . Bunların gözlemlenen değerlerine x1 , x2 , . . . , x10
diyelim. Toplam başarı sayısını y = x1 + x2 + . . . + x10 ile gösterelim. Olabilirlik
fonksiyonu bilinmeyen populasyon parametresi p’nin bir fonksiyonudur:
L(p | x1 , x2 , . . . , x10 ) = py (1 − p)n−y
Bu 10 denemenin 6’sının başarı ile sonuçlandığını varsayalım, yani
y = x1 + x2 + . . . + x10 = 6. Bu durumda olabilirlik fonksiyonu, başka bir
deyişle, 10 bağımsız Binom denemesinde 6 başarı gözlemleme olasılığı
L(p | x1 , x2 , . . . , x10 ) = p6 (1 − p)4
olur. 0.1, 0.2, . . . , 0.9 aralığında olabilirlik fonksiyonu değerleri şöyledir:
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
p
L(p | x) = p6 (1 − p)4
0.1
0.00000066
0.2
0.00002621
0.3
0.00017503
0.4
0.00053084
0.5
0.00097656
0.6
0.00119439
0.7
0.00095296
0.8
0.00041943
0.9
0.00005314
13
$
Olabilirlik fonksiyonunun y/10 = 0.6 değerinde en yüksek olduğuna dikkat edin.
Bir sonraki şekilde p için daha sık grid değerleri kullanılarak L(.) fonksiyonunun
grafiği gösterilmiştir.
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
14
$
−4
x 10
12
L(p): Olabilirlik Fonksiyonu
10
8
6
4
2
0
&
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
p
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
15
MAKSİMUM OLABİLİRLİK (dvm)
ÖRNEK: n bağımsız Bernoulli(p) denemesinde örneklem gerçekleşme
değerlerine x = (x1 , x2 , . . . , xn ) diyelim. Bu örneklem değerlerinden hareketle
bilinmeyen parametre p’nin MLE t.e. bulun.
$
Olasılık fonksiyonu:
f (xi ; p) = pxi (1 − p)1−xi ,
xi = 1, 0,
i = 1, 2, . . . , n
Olabilirlik fonksiyonu
L(p | x) =
n
Y
f (xi ; p) =
n
Y
i=1
i=1
pxi (1 − p)1−xi
n denemede toplam başarı sayısına y dersek (y = x1 + x2 + . . . + xn ) olabilirlik
fonksiyonu
L(p | x) =
n
Y
i=1
pxi (1 − p)1−xi = py (1 − p)n−y ,
y = x1 + x2 + . . . + xn
Olabilirlik fonksiyonunun doğal logaritmasını alırsak:
&
%
ln L(p | x) = y ln(p) + (n − y) ln(1 − p)
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
16
$
Buradan p’ye göre 1.türev:
∂
y n−y
ln L(p | x) = −
= 0,
∂p
p
1−p
2.türev
∂2
y
n−y
ln
L(p
|
x)
=
−
−
< 0,
∂p2
p2
(1 − p)2
=⇒ p =
y
n
her p değeri için
Öyleyse p’nin MLE tahmin edicisi
p̂mle =
&
y
=X
n
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
17
MAKSİMUM OLABİLİRLİK (dvm)
ÖRNEK: x = (x1 , x2 , . . . , xn ), Poisson dağılımına uyan bir anakütleden çekilmiş
n gözlemli rassal örneklem değerlerini göstersin. Bu örneklem değerlerinden
hareketle bilinmeyen parametre λ’nın MLE t.e. bulun.
$
X ∼ P oisson(λ) olduğuna göre olasılık fonksiyonu:
f (xi ; λ) =
e−λ λxi
,
xi !
xi = 1, 2, 3, . . . ,
i = 1, 2, . . . , n
Log-olabilirlik fonksiyonu:
ln L(λ | x)
=
=
=
ln
"
n
Y
e−λ λxi
i=1
xi !
−nλ + ln(λ)
#
n
X
i=1
"
= ln e−nλ
xi − ln
−nλ + n ln(λ)x̄ − ln
&
YTÜ-İktisat İstatistik II
'
"
n
Y
λxi
i=1
"
n
Y
n
Y
xi !
#
#
xi !
i=1
#
xi !
i=1
Nokta Tahmin Yöntemleri
%
18
$
MAKSİMUM OLABİLİRLİK (dvm)
ÖRNEK (dvm): Poisson(λ) dağılımdan çekilen n gözlemli rassal örneklem
değerleri için log-olabilirlik fonksiyonu:
" n
#
Y
ln L(λ | x) = −nλ + n ln(λ)x̄ − ln
xi !
i=1
λ’ya göre 1. türev:
∂
n
ln L(λ | x) = −n + x̄ = 0,
∂λ
λ
2. türev:
nx̄
∂2
ln L(λ | x) = − 2 < 0,
2
∂λ
λ
=⇒ λ = x̄
her λ değeri için
Öyleyse λ’nın MLE t.e.:
λ̂mle = X
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
$
19
Poisson(λ) icin Log−olabilirlik fonksiyonu
L( λ)
λ
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
20
MAKSİMUM OLABİLİRLİK (dvm)
ÖRNEK: x = (x1 , x2 , . . . , xn ), ortalaması µ, varyansı σ 2 olan Normal dağılan
bir anakütleden çekilmiş rassal örneklem değerleri olsun. Populasyon
parametreleri µ ve σ 2 ’nin MLE tahmin edicilerini bulun.
X ∼ N (µ, σ 2 ) olduğundan olasılık yoğunluk fonksiyonu:
1
1
2
2
f (xi ; µ, σ ) = √
exp − 2 (xi − µ) , −∞ < xi < ∞,
2σ
2πσ 2
$
i = 1, 2, . . . , n
Olabilirlik fonksiyonu:
2
L(µ, σ | x)
&
n
Y
n
Y
1
√
exp − 2 (xi − µ)2
=
f (xi ; µ, σ ) =
2
2σ
2πσ
i=1
i=1
n Y
n
1
1
2
√
=
exp − 2 (xi − µ)
2σ
2πσ 2
i=1
!
n
X
1
(xi − µ)2
= (2πσ 2 )−n/2 exp − 2
2σ i=1
2
1
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
$
21
MAKSİMUM OLABİLİRLİK (dvm)
ÖRNEK: Log-olabilirlik fonksiyonu:
n
n
1 X
n
2
(xi − µ)2
ln L(µ, σ | x) = − ln(2π) − ln(σ ) − 2
2
2
2σ i=1
2
1. türevler:
∂
ln L(µ, σ 2 | x)
∂µ
∂
ln L(µ, σ 2 | x)
2
∂σ
=
=
n
1 X
(xi − µ) = 0
σ 2 i=1
n
n
1 X
− 2+ 4
(xi − µ)2 = 0
2σ
2σ i=1
Bu sistemin eşanlı çözümünden
n
µ̂mle = X,
2
σ̂mle
=
1X
(Xi − X)2
n i=1
elde edilir.
&
%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
$
22
MAKSİMUM OLABİLİRLİK (dvm)
ÖRNEK: 2. türevler:
∂2
ln L(µ, σ 2 | x)
∂µ2
∂2
ln L(µ, σ 2 | x)
∂µ∂σ 2
∂2
ln L(µ, σ 2 | x)
∂(σ 2 )2
∂2
ln L(µ, σ 2 | x)
∂σ 2 ∂µ
=
=
=
=
−
n
σ2
n
1 X
− 4
(xi − µ)
σ i=1
n
n
1 X
(xi − µ)2
− 6
2σ 4
σ i=1
n
1 X
− 4
(xi − µ)
σ i=1
Hessian matrisini MLE çözümlerinde değerlersek

 
∂2
∂2
2
2
− σ̂2n
| x)
| x)
2 ln L(µ, σ
2 ln L(µ, σ
∂µ
∂µ∂σ
mle
=
2
H|µ̂mle ,σ̂mle
=
∂2
∂2
2
2
ln
L(µ,
σ
|
x)
ln
L(µ,
σ
|
x)
0
2
2
2
∂σ ∂µ
∂(σ )
Bu matris negatif belirli olduğundan 2. derece koşulları da sağlanmış olur.
&

0
− 2σ̂n4
mle

%
YTÜ-İktisat İstatistik II
'
Nokta Tahmin Yöntemleri
23
MAKSİMUM OLABİlİRLİK TAHMİN YÖNTEMİNİN ÖZELLİKLERİ:
$
• Değişmezlik (Invariance): θ̂mle , θ’nın MLE tahmin edicisi olsun. θ’nın
γ = g(θ) gibi bir fonksiyonu tanımlanmış olsun. Değişmezlik özelliğine göre
γ’nın MLE t.e.si γ̂mle = g(θ̂mle ) olur.
• Tutarlılık: MLE tahmin edicisi θ̂mle tutarlıdır.
• Asimptotik Normallik: θ’nın MLE tahmin edicisi θ̂mle asimptotik normaldir:
√
n(θ̂mle − θ) −→ N 0, σθ̂2
n −→ ∞,
burada
σθ2
1
,
=
I(θ)
I(θ) = Eθ
∂
ln L(θ | x)
∂θ
2
MLE tahmin edicisi doğru parametre değeri θ çevresinde yaklaşık olarak
normal dağılır. Yukarıdaki varyans ifadesindeki I(θ) terimi Fisher
information olarak bilinir. Bu değer ne kadar büyükse (ne kadar çok bilgi
varsa) varyans o kadar küçük olur.
&
%