Universidad Nacional de Colombia
Facultad de Ciencias Económicas
Econometrı́a 1
Algunos desarrollos
1. (Propiedades del modelo OLS). El modelo de regresión lineal poblacional, con
N -observaciones, es:
Y = X β + u .
(1)
(N ×1)
(N ×K)(K×1)
(N ×1)
Para una muestra de n-observaciones, el modelo de regresión muestral, estimado
por medio de MCO, se puede escribir como:
b + u
b .
Y = X b
(2)
(n×1)
(n×K)(K×1)
(n×1)
b es el vector de estimadores de MCO definido como:
Donde b
b = (X0 X)−1 X0 Y.
b
(3)
Por otro lado, el vector de errores muestrales de MCO se define como:
b
b = Y − Xb.
u
(4)
La matriz de proyección, P, y la matriz anuladora, M, asociadas a X se definen
como:
P = X (X0 X)
−1
X0 ,
M = In − P.
(6)
Demuestre que:
b = MY = Mu.
a) u
Reemplazando la ecuación (3) en la ecuación (4) y simplificando, tenemos:
b
b = Y − Xb,
u
−1
= Y − X (X0 X) X0 Y,
−1
= In − X (X0 X)
Y,
= (In − P) Y.
1
(5)
2
Reemplazando la ecuación (6) en la última igualdad se tiene que:
b = MY.
u
(7)
Reemplazando la ecuación (1) en la ecuación (7), tenemos:
b = M (Xβ + u) ,
u
= MXβ + Mu.
Como MX = 0, de la última igualdad se deduce que:
b = Mu.
u
(8)
Las ecuaciones (7) y (8) son el resultado que se querı́an obtener.
b0u
b = u0 Mu.
b) Suma de Residuales al Cuadrado (SRC) = u
Sustituyendo la ecuación (8), y simplificando:
b0u
b,
SRC = u
= (Mu)0 (Mu) ,
= u0 M0 Mu,
= u0 MMu = u0 M2 u.
La última igualdad se obtiene por medio de la propiedad de que la matriz M es
simétrica. Es decir que M0 = M. Recurriendo a la propiedad de que la matriz
M es idempotente, M2 = M, de la última igualdad se obtiene:
SRC = u0 Mu.
Que es lo que se querı́a demostrar.
c) ub0 X = 0.
Sustituyendo la ecuación (8) y ordenando:
ub0 X = (Mu)0 X,
= u0 M0 X,
= u0 MX.
(9)
3
La última igualdad se obtinene de la propiedad de simetrı́a de la matriz M,
M0 = M. Debido a que MX = 0, en la última igualdad se obtiene que:
ub0 X = 0.
(10)
Que es lo que se querı́a demostrar.
2. (Matriz anuladora). Sea i(n×1) un vector columna de unos.
 
1
 
1
 
i = .
.
 .. 
 
1 (n×1)
La matriz anuladora asociada al vector i se define como:
−1 0
M0 = In − i (i0 i)
−1
(11)
1 0
ii es igual a la matriz M0 .
n
Demuestre que la matriz A = In −
Desarrollemos la expresión (i0 i)
i.
de la ecuación (11).
 −1
1

 

1


 
=  1 1 . . . 1  .  ,

 .. 

 
1

−1
(i0 i)
= ((1 × 1) + (1 × 1) + ... + (1 × 1))−1 ,
!−1
n
X
=
1
.
i=1
Por propiedades de las sumatorias, la última igualdad se puede expresar como:
−1
(i0 i)
= (n)−1 =
1
.
n
(12)
4
Sustituyendo la ecuación (12) en la ecuación (11) se obtiene la matriz A.
−1
M0 = In − i (i0 i) i0 ,
1 0
= In − i
i,
n
= In −
1 0
ii ,
n
= A.
3. (R2 matricial). Teniendo en cuenta que Yb = Y , muestre que :
b 0Y
b −n Y 2
b 0 AY
b
Y
Y
2
=
R = 0
2 .
Y AY
Y0 Y − n Y
(13)
Desarrollemos la expresión del numerador.
1 0 b
0
0
b
b
b
Y AY = Y In − ii Y,
n
1
0
0
b In Y
b .
b − ii Y
=Y
n
0
b =
Como i Y
n
X
Ybi , al reemplazar y ordenar, tenemos:
i=1
n
b 0 AY
b =Y
b0
Y
X
b − 1i
Y
Ybi
n i=1
n
X
b0 Y
b − i1
Ybi
=Y
n i=1
0 b
b
b
= Y Y − iY ,
b0 Y
b − iY .
=Y
!
,
!
,
La última igualdad se obtiene del hecho de que Yb = Y . Terminando de hacer el
producto, se obtiene:
b 0 AY
b =Y
b 0Y
b −Y
b 0 iY .
Y
5
b 0i =
Como Y
n
X
Ybi , al reemplazar y simplificar, se obtiene:
i=1
b −Y
b 0 iY ,
b 0 AY
b =Y
b 0Y
Y
b 0Y
b−
=Y
n
X
!
Y.
Ybi
i=1
Por propiedades de las sumatorias sabemos que
n
X
Ybi = nYb . Reemplazando esto,
i=1
0
0b
b
b
b
b
Y AY = Y Y − nY Y .
Como Yb = Y , al reemplazar se obtiene el resultado deseado.
b 0 AY
b =Y
b 0Y
b −n Y 2.
Y
(14)
De forma análoga, se desarrolla la expresión del denominador de la expresión (13),
1 0
0
0
Y AY = Y In − ii Y,
n
!
n
X
1
= Y0 Y − i
Yi ,
n i=1
= Y0 Y − iY ,
!
n
X
= Y0 Y −
Yi Y .
i=1
Como
n
X
Yi = nY , al reemplazar y simplificar se obtiene la expresión deseada.
i=1
Y0 AY = Y0 Y − n Y
2
.
(15)
Luego, del desarrollo de las expresiones matriciales del numerador y del denominador
de la expresión (13), se llega a la expresión del R2 centrado en su forma matricial.
R2 =
b 0Y
b −n Y
Y
Y0 Y − n Y
2
2 .
6
4. (Coeficiente de correlación). Sea una muestra de n-observaciones para dos variables aleatorias discretas, X y Y . El coeficiente de correlación de Pearson, o de
correlación simple entre X y Y , se define como:
Pn
Yi − Y
i=1 Xi − X
rX,Y = r
.
(16)
2 Pn
2 Pn
i=1 Xi − X
i=1 Yi − Y
Para facilidad de notación y de cálculo, en algunos casos se suele representar con
letras minúsculas a las desviaciones de cada variable con respecto a su media:
b
(17)
xi = Xi − X , yi = Yi − Y , ybi = Yi − Y .
Por lo que el coeficiente de correlación se puede escribir como:
Pn
xi y i
rX,Y = p Pn i=1
P
( i=1 x2i ) ( ni=1 yi2 )
(18)
Considere el modelo de regresión lineal simple, estimado por medio de MCO.
Yi = bb0 + bb1 Xi + u
bi .
(19)
Ybi = bb0 + bb1 Xi .
(20)
Con
Muestre que:
a) Yb = Y .
Sabemos que bb0 = Y − bb1 X. Reemplazando la definición de bb0 en la expresión
(20):
Ybi = bb0 + bb1 Xi ,
= Y − bb1 X + bb1 Xi ,
= Y + bb1 Xi − X .
7
Tomando sumatoria en la última igualdad y aplicando la propiedad de las
n
X
sumatorias de
Xi = nX,
i=1
n
X
i=1
Ybi =
n
X
Y +
i=1
n
X
bb1 Xi − X ,
i=1
nYb = nY + bb1
n
X
Xi − X ,
i=1
nYb = nY .
La última igualdad se obtiene del hecho de que
n
X
Xi − X = 0. Dividiendo
i=1
por n esta última igualdad, se obtiene el resultado deseado.
√
b)
Yb = Y
(21)
2
Pn b
Y
−
Y
i
i=1
R2 = Pn
2 .
Y
−
Y
i
i=1
(22)
R2 = rX,Y .
Partimos de la definición de R2 :
Del literal anterior se sabe que:
Ybi − Y = bb1 Xi − X .
(23)
Aplicando la notación en letras minúsculas de las expresiones en (17), las ecuaciones (22) y (23) quedan como:
Pn
(b
yi )2
2
R = Pi=1
(24)
n
2,
i=1 (yi )
ybi = bb1 xi .
(25)
8
Reemplazando la expresión (25) en (24).
Pn
(b
yi )2
2
R = Pi=1
n
2,
(y
)
i
i=1
Pn b 2
i=1 b1 xi
= Pn
2 ,
i=1 (yi )
2 Pn (x )2
i
= bb1 Pi=1
n
2.
(y
)
i
i=1
Sabemos que la definición del bb1 es:
Pn
X
−
X
Y
−
Y
i
i
i=1
bb1 =
.
2
Pn
X
−
X
i
i=1
Aplicando la notación en minúsculas de las expresiones en (17), la expresión
del bb1 queda como:
Pn
bb1 = P i=1 xi yi .
2
n
i=1 (xi )
Reemplazando la definición de bb1 en la expresión del R2 .
2 Pn (x )2
i
2
R = bb1 Pi=1
2,
n
i=1 (yi )
!2 P
Pn
2
n
i=1 xi yi
i=1 (xi )
= Pn
Pn
2
2,
i=1 (xi )
i=1 (yi )
P
2
( ni=1 xi yi )
= Pn
2 Pn
2 .
i=1 (xi )
i=1 (yi )
Tomando raı́z cuadrada a la última igualdad tenemos la expresión (18).
s
P
Pn
2
√
( ni=1 xi yi )
i=1 xi yi
2
q P
R =
Pn
2 Pn
2 =
Pn
= rX,Y .
n
i=1 (xi )
i=1 (yi )
(x )2
(y )2
i=1
i
i=1
i
5. (Varianzas de los estimadores). Para el modelo de regresión lineal simple, derive
las fórmulas de la varianza de los estimadores de MCO, bb0 y bb1 . Para esta demostración, debe tener en cuenta la definición de la matriz de varianzas y covarianzas
de los estimadores:
9
−1
Vd
ar (b|X) = s2 (X0 X)
(26)
Para el modelo de regresión muestral simple de la fórmula (19), sea X(n×2) , la cual
se define como:


1 X1


1 X2 


X = . . 
 .. .. 


1 Xn (n×2)
Efectuando el producto matricial X0 X tenemos:

X0 X =
=
=
1 X1


!
1 X 2 


. .  ,

.
.
X1 X2 . . . Xn  . . 

1 Xn
!
Pn
Pn
i=1 Xi
i=1 1
,
Pn
Pn
2
(X
)
X
i
i
i=1
i=1
!
n
nX
.
Pn
2
nX
i=1 (Xi )
1
1
...
1
Al sacar la matriz inversa de la matriz X0 X se tiene:
!
Pn
2
(X
)
−nX
i
1
i=1
−1
(X0 X) = P
.
2 n
2
−nX
n
n
(X
)
−
n
X
i
i=1
Como
n
X
Xi − X
2
=
i=1
n
X
2
(Xi )2 − n X , reemplazando tenemos:
i=1
(X0 X)
−1
Pn
2
−nX
i=1 (Xi )
1
=
n
P
n
i=1
Xi − X
2 −nX
n
!
.
10
Al multiplicar por la varianza estimada de los residuales, s2 , se obtiene la matriz de
varianzas y covarianzas de los estimadores.
−1
Vd
ar (b|X) = s2 (X0 X) ,
Pn
2
−nX
i=1 (Xi )
s2
=
n
P
n
i=1
Xi − X
2 −nX
!
n
Donde los elementos (1,1) y (2,2) de esta matriz corresponden a las varianzas de los
estimadores de MCO, bb0 y bb1 respectivamente.
P
s2 ni=1 (Xi )2
b
d
V ar b0 |X = P
(27)
2 ,
n
X
−
n
X
i
i=1
s2
Vd
ar bb1 |X = Pn
i=1
Xi − X
2 .
(28)
6. (Propiedades del estimador bb1 ). En el modelo Yi = bb0 + bb1 Xi + u
bi , donde bb0 y bb1
son los estimadores de mı́nimos cuadrados ordinarios (OLS).
X a) Calcular las ponderaciones de OLS
ki .
Sabemos que la definición del bb1 es:
Pn
X
Y
−
Y
X
−
i
i
i=1
bb1 =
.
2
Pn
i=1 Xi − X
El numerador de la expresión de bb1 se puede expresar de diversas formas:
n
X
Xi − X
Yi − Y =
i=1
n
X
(Xi Yi ) − nXY ,
i=1
=
n
X
Yi − Y Xi ,
i=1
=
n
X
Xi − X Yi .
i=1
Por lo que el estimador bb1 se puede expresar como:
Pn
X
−
X
Yi
i
i=1
bb1 =
.
STCX
(29)
11
Donde STCX =
n
X
2
Xi − X . Expresando la ecuación (29) en notación de
i=1
letras minúsculas tenemos:
Pn
bb1 = i=1 (xi ) Yi ,
STCX
x1
x2
xn
=
Y1 +
Y2 + . . . +
Yn
STCX
STCX
STCX
El ponderador ki se define como:
ki =
xi
.
STCX
(30)
Reemplazando el ponderador en la expresión (29), tenemos el estimador bb1
como una función lineal de Yi .
bb1 =
n
X
ki Yi
(31)
i=1
Reemplazando la expresión (31) en la definición del estimador bb0 , también se
obtiene una expresión lineal de bb0 en función de Yi .
bb0 = Y − bb1 X,
=Y −X
n
X
ki Yi .
i=1
b) Probar que
X
ki Xi = 1.
Desarrollando la expresión
n
X
i=1
X
ki Xi = 1 tenemos:
ki Xi =
n X
Xi − X
i=1
STCX
Xi ,
n
1 X
=
Xi − X Xi .
STCX i=1
12
Como la sumatoria
n
X
Xi − X Xi se puede expresar de diversas formas:
i=1
n
X
X i − X Xi =
i=1
n
X
(Xi )2 − n X
2
,
i=1
=
n
X
Xi − X
2
,
i=1
= STCX .
Al reemplazar la última igualdad, se obtiene el resultado pedido:
n
X
n
1 X
1
STCX = 1.
Xi − X Xi =
STCX i=1
STCX
ki Xi =
i=1
c) Probar que
Como
n
X
X
ki = 0.
Xi − X = 0, al realizar la sumatoria
i=1
i=1
X
ki se tiene:
i=1
n
X
d ) Calcular
n
X
n
1 X
ki =
Xi − X = 0.
STCX i=1
(ki ki ) para construir el estimador de la varianza de bb1 .
Desarrollando la expresión (ki )2 se tiene:
!2
2
Xi − X
Xi − X
2
=
.
(ki ) =
STCX
(STCX )2
Tomando sumatorias se obtiene:
n
X
i=1
n
X
2
1
(ki ) =
Xi − X ,
2
(STCX ) i=1
2
=
1
(STCX ) ,
(STCX )2
=
1
.
STCX
(32)
13
Reemplazando el modelo de regresión poblacional en la ecuación (31):
bb1 =
n
X
ki Yi ,
i=1
=
n
X
ki (β0 + β1 Xi + ui ) ,
i=1
= β0
n
X
ki + β1
n
X
i=1
ki Xi +
i=1
De los literales anteriores sabemos que
n
X
n
X
ki ui ,
i=1
ki = 0 y
i=1
n
X
ki Xi = 1, por lo que la
i=1
expresión de bb1 queda como:
bb1 = β1 +
n
X
ki ui .
(33)
i=1
Tomando esperanza condicional sobre la expresión (33) tenemos:
!
n
X
ki ui |X ,
E bb1 |X = E β1 +
i=1
= β1 +
n
X
ki E (ui |X) .
i=1
Por el supuesto de exogeneidad estricta, E (ui |X) = 0, por lo que nos queda:
E bb1 |X = β1 .
(34)
Al sacar la varianza condicional de bb1 , nos queda:
2
h
i2
b
b
b
b
V ar b1 |X = E b1 − E b1 |X |X = E b1 − β1 |X .
14
De la expresión (33) deducimos que bb1 − β1 =
n
X
ki ui . Reemplazando tenemos:
i=1
V ar bb1 |X = E
n
X
!2
ki ui |X
,
i=1
= E (k1 u1 )2 + . . . + (kn un )2 + 2 (k1 k2 u1 u2 ) + . . . + 2 (kn−1 kn un−1 un ) |X ,
!
n
n X
n
X
X
2
2
=E
(ki ) (ui ) + 2
(ki kj ui uj ) |X , con i 6= j,
i=1
=
n
X
i=1 j=1
2
2
(ki ) E (ui ) |X + 2
i=1
n X
n
X
(ki kj E (ui uj |X)) .
i=1 j=1
Por los supuestos
de homoscedasticidad y de no correlación, sabemos que
2
2
E (ui ) |X = σ y E (ui uj |X) = 0 para todo i, j tal que i 6= j. Luego, la
varianza de bb1 queda como:
n
X
b
V ar b1 |X =
(ki )2 σ 2 =
i=1
σ2
.
STCX
(35)
Como no se conoce σ 2 y sólo se cuenta con la varianza estimada de los errores,
s2 , la varianza condicional estimada de bb1 serı́a:
n
X
b
d
V ar b1 |X =
(ki )2 s2 =
i=1
s2
.
STCX
La cual es el mismo resultado obtenido en la expresión (28).
(36)