1. МНК — это…
Минитеория:
1. Истинная модель. Например, yi = β1 + β2 xi + β3 zi + ui .
2. Формула для прогнозов. Например, ŷi = β̂1 + β̂2 xi + β̂3 zi .
∑
3. Метод наименьших квадратов, (yi − ŷi )2 → min.
Задачи:
1.1 Каждый день Маша ест конфеты и решает задачи по эконометрике. Пусть xi — количество решённых
задач, а yi — количество съеденных конфет.
xi
yi
1
2
2
1
2
4
1. Рассмотрим модель yi = βxi + ui :
(a) Найдите МНК-оценку β̂ для имеющихся трёх наблюдений.
(b) Нарисуйте исходные точки и полученную прямую регрессии.
(c) Выведите формулу для β̂ в общем виде для n наблюдений.
2. Рассмотрим модель yi = β1 + β2 xi + ui :
(a) Найдите МНК-оценки β̂1 и β̂2 для имеющихся трёх наблюдений.
(b) Нарисуйте исходные точки и полученную прямую регрессии.
(c) Выведите формулу для β̂2 в общем виде для n наблюдений.
1.2 Упростите выражения:
∑
1. nx̄ − xi
∑
2.
(xi − x̄)x̄
∑
3.
(xi − x̄)z̄
∑
4.
(xi − x̄)2 + nx̄2
1.3 При помощи метода наименьших квадратов найдите оценку неизвестного параметра θ в следующих
моделях:
1. yi = θ + θxi + εi ;
2. yi = 1 + θxi + εi ;
3. yi = θ/xi + εi ;
4. yi = θxi + (1 − θ)zi + εi .
1.4 Найдите МНК-оценки параметров α и β в модели yi = α + βyi + εi .
1.5 Рассмотрите модели yi = α + β(yi + zi ) + εi , zi = γ + δ(yi + zi ) + εi .
1. Как связаны между собой α̂ и γ̂?
2. Как связаны между собой β̂ и δ̂?
1.6 Как связаны МНК-оценки параметров α, β и γ, δ в моделях yi = α + βxi + εi и zi = γ + δxi + υi , если
zi = 2yi ?
1
1.7 Для модели yi = β1 xi + β2 zi + εi решите условную задачу о наименьших квадратах:
Q(β1 , β2 ) :=
n
∑
(yi − β̂1 xi − β̂2 zi )2 →
min .
β̂1 +β̂2 =1
i=1
1.8 Перед нами два золотых слитка и весы, производящие взвешивания с ошибками. Взвесив первый
слиток, мы получили результат 300 грамм, взвесив второй слиток — 200 грамм, взвесив оба слитка —
400 грамм. Оцените вес каждого слитка методом наименьших квадратов.
1.9 Аня и Настя утверждают, что лектор опоздал на 10 минут. Таня считает, что лектор опоздал на 3
минуты. С помощью МНК оцените, на сколько опоздал лектор.
1.10 Есть двести наблюдений. Вовочка оценил модель ŷi = β̂1 + β̂2 xi по первой сотне наблюдений. Петечка
оценил модель ŷi = γ̂1 + γ̂2 xi по второй сотне наблюдений. Машенька оценила модель ŷi = φ̂1 + φ̂2 xi
по всем наблюдениям.
1. Возможно ли, что β̂2 > 0, γ̂2 > 0, но φ̂2 < 0?
2. Возможно ли, что β̂1 > 0, γ̂1 > 0, но φ̂1 < 0?
3. Возможно ли одновременное выполнение всех упомянутых условий?
4. Возможно ∑
ли одновременное выполнение всех упомянутых условий, если в каждой сотне наблюдений xi > 0?
1.11 Эконометрист Вовочка собрал интересный набор данных по студентам третьего курса:
• переменная yi — количество пирожков, съеденных i-ым студентом за прошлый год;
• переменная fi , которая равна 1, если i-ый человек в выборке — женщина, и 0, если мужчина.
• переменная1 mi , которая равна 1, если i-ый человек в выборке — мужчина, и 0, если женщина.
Вовочка попробовал оценить 4 регрессии:
A: y на константу и f , ŷi = α̂1 + α̂2 fi ;
B: y на константу и m, ŷi = β̂1 + β̂2 mi ;
C: y на f и m без константы, ŷi = γ̂1 fi + γ̂2 mi ;
D: y на константу, f и m, ŷi = δ̂1 + δ̂2 fi + δ̂3 mi ;
1. Какой смысл будут иметь оцениваемые коэффициенты?
2. Как связаны между собой оценки коэффициентов этих регрессий?
1.12 Эконометрист Вовочка оценил методом наименьших квадратов модель 1, yi = β1 + β2 xi + β3 zi + εi ,
а затем модель 2, yi = β1 + β2 xi + β3 zi + β4 wi + ε. Сравните полученные ESS, RSS, T SS и R2 .
1.13 Что происходит с T SS, RSS, ESS, R2 при добавлении нового наблюдения? Если величина может
изменяться только в одну сторону, то докажите это. Если возможны и рост, и падение, то приведите
пример.
1.14 Эконометресса Аглая подглядела, что у эконометрессы Жозефины получился R2 равный 0.99 по 300
наблюдениям. От чёрной зависти Аглая не может ни есть, ни спать.
1. Аглая добавила в набор данных Жозефины ещё 300 наблюдений с такими же регрессорами, но
противоположными по знаку игреками, чем были у Жозефины. Как изменится R2 ?
2. Жозефина заметила, что Аглая добавила 300 наблюдений и вычеркнула их, вернув в набор данных в исходное состояние. Хитрая Аглая решила тогда добавить всего одно наблюдение так,
чтобы R2 упал до нуля. Удастся ли ей это сделать?
1
Это нетолерантная задача и здесь либо f равно 1, либо m
2
1.15 На работе Феофан построил парную регрессию по трём наблюдениям и посчитал прогнозы ŷi . Придя
домой он отчасти вспомнил результаты:
yi
ŷi
0
6
6
1
?
?
Поднапрягшись, Феофан вспомнил, что третий прогноз был больше второго. Помогите Феофану восстановить пропущенные значения.
1.16 Вся выборка поделена на две части. Возможны ли такие ситуации:
1. Выборочная корреляция между y и x примерно равна нулю в каждой части, а по всей выборке
примерно равна единице;
2. Выборочная корреляция между y и x примерно равна единице в каждой части, а по всей выборке
примерно равна нулю?
1.17 Бесстрашный исследователь Ипполит оценил парную регрессию. При этом оказалось, каждый xi > 0
и обе оценки коэффициентов β̂1 и β̂2 также положительны.
1. Возможно ли, что среди ŷi есть отрицательные? Среди yi есть отрицательные?
∑
∑
2. Возможно ли, что сумма ŷi отрицательна? Сумма yi отрицательна?
∑
3. Как изменятся ответы, если известно, что xi > 0?
2. Дифференциал — просто няшка!
Минитеория.
Дифференциал для матриц подчиняется правилам:
1. d(A + B) = dA + dB;
2. Если A — матрица констант, то dA = 0;
3. d(AB) = dA · B + A · dB. Если A — матрица констант, то d(AB) = AdB;
2.1 Вспомним дифференциал :)
1. Известно, что f (x) = x2 + 3x. Найдите f ′ (x) и df . Чему равен dx в точке x = 5 при dx = 0.1?
2. Известно, что f (x1 , x2 ) = x21 + 3x1 x32 . Найдите df . Чему равен df в точке x1 = −2, x2 = 1 при
dx1 = 0.1 и dx2 = −0.1?
(
)
5
6x1
3. Известно, что F =
. Найдите dF .
x1 x2 x21 x2
(
)
7 8
9
4. Известно, что F =
. Найдите dF .
2 −1 −2
5. Матрица F имеет размер 2 × 2, в строке i столбце j у неё находится элемент fij . Выпишите
выражение tr(F ′ dF ) в явном виде без матриц.
2.2 Пусть A, B — матрицы констант. Применив базовые правила дифференцирования найдите:
1. d(ARB);
2. d(r′ r);
3. d(r′ Ar);
4. d(R−1 ), воспользовавшись тем, что R−1 · R = I;
3
5. d cos(r′ r);
6. d(r′ Ar/r′ r).
Упростите ответ для случая симметричной матрицы A.
2.3 В методе наименьших квадратов минимизируется функция
Q(β̂) = (y − X β̂)′ (y − X β̂).
1. Найдите dQ(β̂) и d2 Q(β̂);
2. Выпишите условия первого порядка для задачи МНК;
3. Выразите β̂ предполагая, что X ′ X обратима.
2.4 В гребневой регрессии (ridge regression) минимизируется функция
Q(β̂) = (y − X β̂)′ (y − X β̂) + λβ̂ ′ β̂,
где λ — положительный параметр, штрафующий функцию за слишком большие значения β̂.
1. Найдите dQ(β̂) и d2 Q(β̂);
2. Выпишите условия первого порядка для задачи LASSO;
3. Выразите β̂.
2.5 Исследователь Никодим поймал 100 морских ежей и у(каждого
измерил длину, ai , и вес bi . Вектор
)
ai
измерений, относящихся к одному ежу обозначим yi =
. Никодим считает, что ежи независимы
bi
друг от друга, а длина и вес имеют совместное нормальное распределение
( )
ai
yi =
∼ N (µ, C)
bi
1. Выпишите логарифмическую функцию правдоподобия, ℓ(µ, C);
)
(
9 4
, найдите dℓ и оценку µ̂ методом
2. Предполагая ковариационную матрицу известной, C =
4 6
максимального правдоподобия.
( )
10
3. Предполагая, вектор ожиданий известным, µ =
, найдите dℓ и оценку Ĉ методом макси5
мального правдоподобия.
4. Найдите dℓ(µ, C) и оценки для параметров µ и C, в случае, когда µ и C неизвестны.
3. МНК в матрицах и геометрия!
3.1 Рассмотрим регрессию ŷi = β̂1 zi + β̂2 xi . Все исходные данные поместим в матрицу X и вектор y:

 

y1
z1 x1


 ..
.
..  y =  ... 
X= .

zn xn
yn
1. Выпишите явно матрицы X ′ , X ′ y, X ′ X, y ′ X, y ′ z и укажите их размер.
2. Выпишите условия первого порядка для оценок β̂1 и β̂2 по методу наименьших квадратов.
3. Запишите эти же условия в виде линейной системы
{
β̂1 · . . . + β̂2 · . . . = . . .
β̂1 · . . . + β̂2 · . . . = . . .
4
4. Как упростится данная система для регресии ŷi = β̂1 + β̂2 xi ?
5. Запишите систему условий первого порядка с помощью матрицы X и вектора y;


 
1 0 0
1
 
1 0 0 
2
β1


 
, y = 3, β = β2 ,
1
0
0
3.2 Пусть yi = β1 + β2 xi2 + β3 xi3 + εi — регрессионная модель, где X = 


 
1 1 0 
4
β3
1 1 1
5
 
ε1
ε2 
 
2

ε=
ε3 , ошибки εi независимы и нормально распределены с E(ε) = 0, V ar(ε) = σ I. Для удобства
ε4 
ε5




5 2 1
0.3333 −0.3333 0.0000
расчётов даны матрицы: X ′ X = 2 2 1 и (X ′ X)−1 = −0.3333 1.3333 −1.0000
1 1 1
0.0000 −1.0000 2.0000
1.
2.
3.
4.
5.
6.
Укажите число наблюдений.
Укажите число регрессоров в модели, учитывая свободный член.
∑
Найдите T SS = ni=1 (yi − ȳ)2 .
∑n
Найдите RSS = i=1
(yi − ŷi )2 .
Методом МНК найдите оценку для вектора неизвестных коэффициентов.
Чему равен R2 в модели? Прокомментируйте полученное значение с точки зрения качества
оценённого уравнения регрессии.
3.3 Найдите на картинке все перпендикулярные векторы. Найдите на картинке все прямоугольные треугольники. Сформулируйте для них теоремы Пифагора.
y
⃗1
ȳ · ⃗1
ŷ
x
3.4 Покажите на картинке TSS, ESS, RSS, R2 , sCorr(ŷ, y), sCov(ŷ, y)
y
⃗1
ȳ · ⃗1
ŷ
x
3.5 Предложите аналог R2 для случая, когда константа среди регрессоров отсутствует. Аналог должен
быть всегда в диапазоне [0; 1], совпадать с обычным R2 , когда среди регрессоров есть константа, равняться единице в случае нулевого ε̂.
3.6 Вася оценил регрессию y на константу, x и z. А затем, делать ему нечего, регрессию y на константу и
полученный ŷ. Какие оценки коэффициентов у него получатся? Чему будет равна оценка дисперсии
коэффицента при ŷ? Почему оценка коэффициента неслучайна, а оценка её дисперсии положительна?
5
3.7 При каких условиях T SS = ESS + RSS?
3.8 Вася построил парную регрессию y на x и получил коэффициент наклона 1.4. Построил парную регрессию x на y и получил коэффициент наклона 0.6. Известно, что y = x + z.
1. Найдите выборочные корреляции между x и y, y и z, x и z;
2. В какой пропорции соотносятся выборочные дисперсии x, y и z?
3.9 Какие матрицы являются положительно полуопределёнными?
1. X ′ X;
2. XX ′ ;
3. H = X(X ′ X)−1 X ′ ;
4. I − H;
5. A′ (I − H)A;
6. A′ A − G(G′ A−1 (A′ )−1 G)−1 G′
4. Распределения, связанные с проецированием
4.1 Рассмотрим пространство R3 и два подпространства в нём, W = {(x1 , x2 , x3 ) | x1 + 2x2 + x3 = 0} и
V = Lin((1, 2, 3)T ).
1. Найдите dim V , dim W , dim V ∩ W , dim V ⊥ , dim W ⊥ .
2. Найдите проекцию произвольного вектора u на V , W , V ∩ W , V ⊥ , W ⊥ . Найдите квадрат длины
каждой проекции.
3. Как распределён квадрат длины проекции в каждом случае, если дополнительно известно, что
вектор u имеет многомерное стандартное нормальное распределение?
4.2 Рассмотрим пространство Rn , где n > 2, и два подпространства в нём, V = Lin((1, 1, . . . , 1)T ) и
W = {x | x1 = x2 + x3 + . . . + xn }.
1. Найдите dim V , dim W , dim V ∩ W , dim V ⊥ , dim W ⊥ , dim V ∩ W ⊥ , dim V ⊥ ∩ W .
2. Найдите проекцию произвольного вектора u на каждое упомянутое подпространство. Найдите
квадрат длины каждой проекции.
3. Как распределён квадрат длины проекции в каждом случае, если дополнительно известно, что
вектор u имеет многомерное стандартное нормальное распределение?
4.3 Храбрая исследовательница Евлампия оценивает модель множественной регрессии ŷ = X β̂. Однако
на самом деле β0 , и y = u, где ui независимы и нормальны ui ∼ N (0; σ 2 ).
∑ 2 2 ∑ 2 2
Какое распределение в регрессии Евлампии имеют ȳ,
yi /σ ,
ŷi /σ , nȳ 2 /σ 2 , T SS/σ 2 , RSS/σ 2 ,
ESS/σ 2 ?
4.4 Компоненты вектора x = (x1 , x2 )′ независимы и имеют стандартное нормальное распределение. Вектор y задан формулой y = (2x1 + x2 + 2, x1 − x2 − 1).
1. Выпишите совместную функцию плотности вектора x;
2. Нарисуйте на плоскости линии уровня функции плотности вектора x;
3. Выпишите совместную функцию плотности вектора y;
4. Найдите собственные векторы и собственные числа ковариационной матрицы вектора y;
5. Нарисуйте на плоскости линии уровня функции плотности вектора y.
4.5 Компоненты вектора x = (x1 , x2 , x3 )′ независимы и имеют стандартное нормальное распределение.
6
1. Как выглядят в пространстве поверхности уровня совместной функции плотности?
2. Рассмотрим три апельсина с кожурой одинаковой очень маленькой толщины: бэби-апельсин
радиуса 0.1, стандартный апельсин радиуса 1 и гранд-апельсин радиуса 10. В кожуру какого
апельсина вектор x попадает с наибольшей вероятностью?
3. Мы проецируем случайный вектор на x на плоскость 2x1 + 3x2 − 7x3 = 0. Какое распределение
имеет квадрат длины проекции?
4. Введём вектор y независимый от x и имеющий такое же распределение. Спроецируем вектор x
на плоскость проходящую через начало координат и перпендикулярную вектору y. Какое распределение имеет квадрат длины проекции?
5. Ожидания и ковариационные матрицы
5.1 Исследовательница Мишель собрала данные по 20 студентам. Переменная yi — количество решённых
задач по эконометрике i-ым студентом,
серий любимого сериала
i — количество
∑
∑ 2
∑ а x∑
∑ 2 просмотренных
за прошедший год. Оказалось, что yi =, xi =, xi =, yi =, xi yi =.
1.
2
2. Предположим дополнительно, что Var(u
∑i |X) = σ и ui при фиксированных X независимы. Найдите Var(yi |X), Var(yi (xi − x̄)|X), Var( yi (xi − x̄)|X), Var(β̂2 |X).
5.2 Пусть регрессионная модель yi = β1 + β(2 xi2 + β3 xi3)+ εi , i = 1, . . . , n, задана в матричном виде при
′
помощи уравнения y = Xβ + ε, где β = β1 β2 β3 . Известно, что Eε = 0 и Var(ε) = 4 · I. Известно
также, что:


 
1 0 0
1
1 0 0
2


 



1
1
0
y = 3, X = 


1 1 0
4
1 1 1
5
Для удобства расчётов ниже приведены матрицы:




5 3 1
0.5 −0.5
0
1
−0.5.
X ′ X = 3 3 1 и (X ′ X)−1 = −0.5
1 1 1
0
−0.5 1.5
1. Найдите E(ŝ2 ), ŝ2 .
d β̂1 ), E(β̂12 ) − β12 ;
2. Найдите Var(ε1 ), Var(β1 ), Var(β̂1 ), Var(
3. Предполагая нормальность ошибок, постройте 95% доверительный интервал для β2 .
4. Предполагая нормальность ошибок, проверьте гипотезу H0 : β2 = 0;
d β̂2 , β̂3 ), Var(β̂2 − β̂3 ), Var(
d β̂2 − β̂3 );
5. Найдите Cov(β̂2 , β̂3 ), Cov(
d β̂2 , β̂3 );
6. Найдите Var(β2 − β3 ), Corr(β̂2 , β̂3 ), Corr(
7. Предполагая нормальность ошибок, проверьте гипотезу H0 : β2 = β3 ;
6. Гипотезы и интервалы
7. Гамма, бета
7.1 Вася делает эксперименты без устали со скоростью d экспериментов в минуту. Каждый эксперимент
независимо от других может окончится успехом с вероятностью p или неудачей.
Пусть X — количество успехов за первую минуту, а Y — номер опыта, в котором произошёл первый
успех, Z — время, когда случился первый успех.
7
1. Найдите P(X = k), E(X), Var(X). Как называется закон распределения X?
2. Найдите P(Y = k), E(Y ), Var(Y ). Как называется закон распределения Y ?
3. Найдите P(Z ⩽ t), E(Z), Var(Z).
Теперь Вася ускоряется и устремляет d в бесконечность. Из-за того, что он торопится, p начинает
стремится к нулю :) Причем ожидаемое количество успехов за минуту оказывается постоянно и равно
λ.
4. Выразите p через λ и d.
5. Найдите предел P(Z ⩽ t). Является ли предельная функция P(Z ⩽ t) непрерывной? Какая в
предельном случае получается функция плотности у величины Z? Как называется этот закон
распределения Z? Чему равен предел E(Z) и Var(Z)?
6. Найдите предел вероятности P(X = k) и пределы E(X) и Var(X). Как называется предельный
закон распределения X?
7.2 Энтомолог Джон Поллак ловит бабочек. На поимку i-ой бабочки у него уходит Yi минут, величины
Yi независимы. Каждая Yi имеет экспоненциальное распределение с интенсивностью λ бабочек в
минуту. Всего он решил поймать n бабочек. Рассмотрим величины S = Y1 + . . . + Yn , X1 = Y1 /S,
X2 = Y2 /S, …, Xn−1 = Yn−1 /S.
1. Выпишите совместную функцию плотности Y1 , …, Yn ;
2. Найдите совместную функцию плотности X1 , X2 , X3 , …, Xn−1 , S.
3. Зависит ли величина S и вектор X1 , X2 , …, Xn−1 ?
4. С точностью до сомножителя выпишите функцию плотности S. Как называется закон распределения S?
5. С точностью до сомножителя выпишите совместную функцию плотности для X1 , …, Xn−1 .
Рассмотрим также величины Z1 = Y1 /(Y1 + Y2 ), Z2 = (Y1 + Y2 )/(Y1 + Y2 + Y3 ), …, Zn−1 = (Y1 + . . . +
Yn−1 )/(Y1 + . . . + Yn ).
6. Найдите совместную функцию плотности Z1 , Z2 , …, Zn−1 , S.
7. Зависимы ли величины Z1 , Z2 , …, Zn−1 , S?
8. С точностью до константы найдите частную функцию плотности S и каждого Zi в отдельности;
7.3 Быстрый исследователь Вася снова проводит независимые идентичные опыты с очень высокой скоростью. В среднем λ опытов в минуту оказываются успешными. Поэтому время до очередного успеха можно считать экспоненциально распределённым, а время от начала до k-го успеха — имеющим
гамма-распределение Gamma(k, λ). На этот раз Вася решил дождаться k1 успеха, затем быстренько
пообедать, а затем дождаться ещё k2 успехов. Пусть X1 — время от начала наблюдения до обеда, а X2
— время от обеда до конца опытов. Также введём S = X1 + X2 и Z = X1 /S — долю времени до обеда
от общего времени набопытов.
1. Найдите совместную функцию плотности S и Z с точностью до константы.
2. Являются ли S и Z независимыми случайными величинами?
3. Найдите частные функции плотности S и Z.
4. Как называется закон распределения S?
5. Как называется закон распределения Z?
6. Какой закон распределения имеет величина W = 1 − Z?
7.4 Вася оценивает регрессию y на регрессоры X, включающие константу, а на самом деле все коэффициенты βj кроме константы равны нулю. Ошибки ui распределены нормально N (0; σ 2 ). Какое
распределение имеет R2 ?
8
8. Блок
8.1 Найдите матрицу M и укажите размеры всех блоков
1. Блок C имеет размер p × p, блок F — размер q × q
(
)
(
C D
M= A B ·
E F
)
2. Блок C имеет размер p × p, блок F — размер q × q
(
) ( )
C D
A
M=
·
E F
B
3. Блок C имеет размер p × p, блок B — размер q × q
(
M=
A B
C D
)T
8.2 Найдите обратную матрицу M −1 для каждого из случаев
1. Блоки Ap×p и Bq×q обратимы,
)
(
A 0
M=
0 B
2. Блоки Ap×p и Bq×q обратимы,
)
0 A
B 0
(
M=
3. Блоки Ap×p и Bq×q обратимы,
(
)
A C
M=
0 B
4. Блоки Ap×p и Bq×q обратимы,
(
M=
A 0
C B
)
8.3 Блоки Ap×p и Bq×q обратимы, матрица M имеет вид
)
(
A C
M=
D B
Рассмотрим обратную матрицу M −1
M −1 =
)
(
X Z
Y W
1. Найдите блок X с помощью процедуры Гаусса;
2. Найдите блок X решив систему двух уравнений на блоки X и Y ;
3. Докажите тождество Вудберри
(A − CB −1 D)−1 = A−1 + A−1 C(B − DA−1 C)−1 DA−1
9. Максимально правдоподобно
9.1 Рассмотрим модель регрессии с одним параметром, yi = βxi + ui , где xi неслучайны и не все равны
нулю, а ui нормальны N (0; σ 2 ) и независимы.
Рассмотрим варианты предпосылок:
9
1. Величина σ 2 известна, и исследователь хочет проверить гипотезу H0 : β = 7 против Ha : β ̸= 7.
2. Величина β известна, и исследователь хочет проверить гипотезу H0 : σ 2 = 1 против Ha : σ 2 ̸= 1.
3. Величины σ 2 и β неизвестны, и исследователь хочет проверить гипотезу H0 : β = 7 против Ha :
β ̸= 7.
4. Величины σ 2 и β неизвестны, и исследователь хочет проверить гипотезу H0 : β = 7, σ 2 = 1
против Ha : β ̸= 7 или σ 2 ̸= 1.
Для каждого варианта предпосылок:
1. Найдите функцию правдоподобия ℓ(θ), её градиент s(θ), матрицу Гессе H(θ), теоретическую
информацию Фишера I(θ).
2. Найдите θ̂U R , θ̂R , ℓ(θ̂U R ), ℓ(θ̂R ), s(θ̂U R ), s(θ̂R ).
3. Выпишите формулу для RSSR и RSSU R .
4. Найдите оценку информации Фишера IˆR , IˆU R подставив в теоретическую информацию Фишера
оценённые параметры.
5. Выведите формулы для LR, LM и W статистики. Можно выражать их через RSSR и RSSU R .
6. Упорядочьте статистики по возрастанию.
9.2 Величины y1 , y2 , …, yn независимы
∑и экспоненциально распределены с параметром λ. По выборке
из 100 наблюдений оказалось, что yi = 200. Исследователь Андреас хочет проверить гипотезу H0 :
E(yi ) = 1 против альтернативной E(yi ) ̸= 1.
1. Выпишите логарифмическую функцию правдоподобия ℓ(λ);
2. Найдите оценку λ̂ методом максимального правдоподобия в общем виде и для имеющейся выборки;
3. Найдите теоретическую информацию Фишера I(λ) для n наблюдений;
4. Выведите формулы для статистик отношения правдоподобия, множителей Лагранжа и Вальда
в общем виде;
5. Найдите значения статистик отношения правдоподобия, множителей Лагранжа и Вальда для
имеющейся выборки;
6. Проверьте гипотезу H0 с помощью трёх статистик.
9.3 Рассмотрим модель простой регрессии yi = βxi +ui , где ошибки ui независимы и имеют стандартное
∑
нормальное
распределение,
ui ∼ N (0; 1). По выборке из 100 наблюдений оказалось, что x2i = 100,
∑ 2
∑
yi = 900, а yi xi = 250. Исследователь Рамирес хочет проверить H0 : β = 0.
1. Выпишите логарифмическую функцию правдоподобия ℓ(β);
2. Найдите оценку β̂ методом максимального правдоподобия в общем виде и для имеющейся выборки;
3. Найдите теоретическую информацию Фишера I(β) для n наблюдений;
4. Выведите формулы для статистик отношения правдоподобия, множителей Лагранжа и Вальда
в общем виде;
5. Найдите значения статистик отношения правдоподобия, множителей Лагранжа и Вальда для
имеющейся выборки;
6. Проверьте гипотезу H0 с помощью трёх статистик.
9.4 Исследовательница Геральдина заглядывает n раз в случайные аудитории бывшей шпульнокатушечной фабрики. В каждой аудитории независимо от других идёт семинар по теории вероятностей, эконометрике, микро или макро. Пусть p1 , p2 , p3 — это вероятности семинаров по теории
вероятностей, эконометрике и микро. Вероятность семинара по макро мы отдельным параметром
10
не вводим, так как иначе параметры будут зависимы и нужно будет искать ограниченный экстремум правдоподобия. Пусть y1 , y2 , y3 — количество попаданий Геральдины на теорию вероятностей,
эконометрику и микро.
По выборки из 100 наблюдений оказалось, что y1 = 20, y2 = 30, y3 = 20. Геральдина предполагает,
что все четыре дисциплины равновероятны.
1. Выпишите логарифмическую функцию правдоподобия ℓ(P);
2. Найдите оценку p̂ методом максимального правдоподобия в общем виде и для имеющейся выборки;
3. Найдите теоретическую информацию Фишера I(p) для n наблюдений;
4. Найдите явно I −1 (p);
5. Выведите формулы для статистик отношения правдоподобия, множителей Лагранжа и Вальда
в общем виде;
6. Найдите значения статистик отношения правдоподобия, множителей Лагранжа и Вальда для
имеющейся выборки;
7. Проверьте гипотезу H0 с помощью трёх статистик на уровне значимости 5%.
8. (*) Обобщиет формулы трёх статистик на случай произвольного количества дисциплин и произвольной гипотезы H0 : p = p0 .
9.5 Логарифмическая функция правдоподобия имеет вид
1
ℓ(θ) = a − (θ − h(y))′ Q(θ − h(y)),
2
где Q — постоянная симметричная матрица, а h(y) — функция от выборки. Вектор параметров θ состоит из двух блоков, а матрица Q — из четырёх блоков
)
( )
(
θ1
A B
θ=
, Q=
BT C
θ2
Настырный исследователь Никанор хочет проверить гипотезу H0 : θ1 = θ10 про часть параметров,
входящих в вектор θ;
1. Найдите неограниченную оценку метода максимального правдоподобия θ̂U R ;
2. Найдите ограниченную оценку метода максимального правдоподобия θ̂R ;
3. Выведите формулу для LR статистики;
4. Выведите формулу для LM статистики;
5. Выведите формулу для W статистики;
6. Какие из указанных формул равны?
9.6 Рассмотрим модель множественной регрессии y = Xβ + u, где регрессоры детерминистические,
ошибки имеют многомерное нормальное распределение, а ковариационная матрица Var(u) единичная. Разобьём вектор коэффициентов β на две части
( )
β1
β=
β2
1. Докажите, что логарифмическая функция правдоподобия представима в виде
1
ℓ(θ) = a − (θ − h(y))′ Q(θ − h(y)),
2
2. Явно найдите матрицу Q и функцию h(y);
11
3. Выведите формулу для LR, LM и теста Вальда для проверки гипотезы H0 : β1 = β10 ;
4. Как найденная формула отличается от обычной F статистики?
5. Как найденная формула упрощается для случая проверки гипотезы о незначимости регрессии
в целом?
9.7 Рассмотрим модель множественной регрессии y = Xβ + u, где регрессоры детерминистические,
ошибки имеют многомерное нормальное распределение, а ковариационная матрица Var(u) = σ 2 I.
Разобьём вектор коэффициентов β на две части
( )
β1
β=
β2
1. Докажите, что логарифмическая функция правдоподобия представима в виде
ℓ(θ) = a + (θ − h(y))′ Q(θ − h(y)),
2.
3.
4.
5.
Явно найдите матрицу Q и функцию h(y);
Выведите формулы для LR, LM и теста Вальда для проверки гипотезы H0 : β1 = β10 ;
Как найденные формулы отличается от обычной F статистики?
Как найденные формулы упрощается для случая проверки гипотезы о незначимости регрессии
в целом?
9.8 Рассмотрим LR, LM и W статистики в задаче оценки параметров модели y = Xβ+u, с нормальными
ошибками u ∼ N (0; σ 2 · I) и неизвестной σ 2 .
Известно, что при проверке гипотезы о линейных ограничениях на β оказывается, что


LR = n ln s
,
W = n(s − 1)


LM = n(s − 1)/s
где s = RSSR /RSSU R .
Докажите, что LM ⩽ LR ⩽ W .
9.9 Рассмотрим LR, LM и W статистики в задаче оценки параметров модели y = Xβ+u, с нормальными
ошибками u ∼ N (0; σ 2 · I) и неизвестной σ 2 .
Известно, что при проверке гипотезы о линейных ограничениях на β оказывается, что


LR = n ln s
,
W = n(s − 1)


LM = n(s − 1)/s
где s = RSSR /RSSU R .
Эконометрэсса Фиалка по 60 наблюдениям проверяет гипотезу о равенстве пяти параметров нулю в
регрессии с десятью параметрами β при 5%-м уровне значимости.
Найдите точные критические значения для LR, LM и W и сравните их с асимптотическими.
10. Гетероскедастичность
10.1 Имеeтся три наблюдения
xi
yi
1
1
2
2
2
3
Экономэтр Антоний хочет оценить зависимость yi = βxi + ui .
12
1.
2.
3.
4.
5.
Найдите оценку β̂ с помощью МНК;
Найдите стандартную ошибку se(β̂) предполагая гомоскедастичность;
Найдите робастные к гетероскедастичности стандартные ошибки seHC0 (β̂) и seHC3 (β̂);
Найдите эффективную оценку β̂, если дополнительно известно, что Var(ui |xi ) = σ 2 (3xi − 2);
Найдите эффективную оценку β̂, если дополнительно известно, что
 2

4σ
−σ 2 0
Var(u|X) = −σ 2 9σ 2 0 
σ2
0
0
10.2 Известно, что после деления каждого уравнения регрессии yi = β1 + β2 xi + εi на x2i гетероскедастичность ошибок была устранена. Какой вид имела дисперсия ошибок, Var(εi )?
10.3 Для линейной регрессии yi = β1 + β2 xi + β3 zi + εi была выполнена сортировка наблюдений по
возрастанию переменной x. Исходная модель оценивалась по разным частям выборки:
Выборка
β̂1
β̂2
β̂3
RSS
i = 1, . . . , 30
i = 1, . . . , 11
i = 12, . . . , 19
i = 20, . . . , 30
1.21
1.39
0.75
1.56
1.89
2.27
2.23
1.06
2.74
2.36
3.19
2.29
48.69
10.28
5.31
14.51
Известно, что ошибки в модели являются независимыми нормальными случайными величинами
с нулевым математическим ожиданием. Протестируйте ошибки на гетероскедастичность на уровне
значимости 5%.
10.4 Рассмотрим линейную регрессию yi = β1 + β2 xi + β3 zi + εi по 50 наблюдениям. При оценивании с
помощью МНК были получены результаты: β̂1 = 1.21, β̂2 = 1.11, β̂3 = 3.15, R2 = 0.72.
Оценена также вспомогательная регрессия: ε̂2i = δ1 + δ2 xi + δ3 zi + δ4 x2i + δ5 zi2 + δ6 xi zi + ui . Результаты
2
=
оценивания следующие: δ̂1 = 1.50, δ̂2 = −2.18, δ̂3 = 0.23, δ̂4 = 1.87, δ̂5 = −0.56, δ̂6 = −0.09, Raux
0.36
Известно, что ошибки в модели являются независимыми нормальными случайными величинами
с нулевым математическим ожиданием. Протестируйте ошибки на гетероскедастичность на уровне
значимости 5%.
10.5 Найдите число коэффициентов во вспомогательной регрессии, необходимой для выполнения теста
Уайта, если число коэффициентов в исходной регрессии равно k, включая свободный член.
10.6 Рассмотрим модель регрессии yi = β1 + β2 xi + β3 zi + εi , в которой ошибки εi независимы и имеют
нормальное распределение N (0, σ 2 ). Для n = 200 наблюдений найдите
1. вероятность того, что статистика Уайта окажется больше 10;
2. ожидаемое значение статистики Уайта;
3. дисперсию статистики Уайта.
10.7 Рассматривается модель yt = β1 + εt , где ошибки εt — независимые случайные величины с E(εt ) = 0
и Var(εt ) = t. Найдите наиболее эффективную оценку неизвестного параметра β1 в классе линейных
по y и несмещённых оценок.
10.8 Экономэтр Антоний исследует зависимость надоя коров в литрах в год, yi , от дамми-переменной xi ,
отвечающей за прослушивание коровами ежедневно Девятой симфонии, yi = β1 +β2 xi +ui . Антоний
раздобыл следующие данные:
∑
∑ 2
Подвыборка Размер
yi
yi
xi = 0
xi = 1
n0 = 100
n1 = 100
200
300
4000
5000
13
1.
2.
3.
4.
5.
6.
Найдите МНК-оценки β1 и β2 ;
Постройте 95%-ый доверительный интервал для β2 предполагая гомоскедастичность ui ;
dHC0 (β̂);
Найдите робастную к гетероскедастичности оценку Var
dHC3 (β̂);
Найдите робастную к гетероскедастичности оценку Var
Постройте 95%-ый доверительный интервал для β2 с помощью скорректированной seHC0 (β̂2 );
Дополнительно предположив, что Var(ui |xi ) = σ 2 (1 + 3xi ), найдите эффективную оценку β̂2 и
постройте доверительный интервал для неё.
10.9 Эконометресса Прасковья использует традиционную оценку ковариационной матрицы, а эконометресса Мелони — оценку Уайта.
Какие оценки дисперсии β̂1 и формулы для t-статистики получат Прасковья и Мелони в модели yi =
β1 + ui ?
10.10 Эконометресса Прасковья использует традиционную оценку ковариационной матрицы, а эконометресса Мелони — оценку Уайта.
Обе эконометрессы оценивают модель yi = β1 + β2 di + ui , где di — дамми-переменная, равна 0 или
1. Дамми-переменная делит выборку на две части. Обозначим количество наблюдений в «нулевой»
части как n0 , среднее — как ȳ0 , и общую сумму квадратов — как T SS0 . Аналогичные величины для
«единичной» части выборки — n1 , ȳ1 и T SS1 . И для всей выборки — n, ȳ, T SS.
1.
2.
3.
4.
5.
Найдите оценки β̂1 и β̂2 .
d β̂1 ) и Var
dW (β̂1 ). Верно ли, что Var
dW (β̂1 ) ⩾ Var(
d β̂1 )?
Найдите оценки Var(
d β̂2 ) и Var
dW (β̂2 ). Верно ли, что Var
dW (β̂2 ) ⩾ Var(
d β̂2 )?
Найдите оценки Var(
d β̂1 , β̂2 ) и Cov
d W (β̂1 , β̂2 ).
Найдите оценки Cov(
d β̂1 + β̂2 ) и Var
dW (β̂1 + β̂2 ).
Найдите оценки Var(
10.11 В модели yi = βxi + εi предполагается гетероскедастичность вида Var(εi ) = exp(γ1 + γ2 xi ) и нормальность ошибок.
1. Сформулируйте гипотезу о гомоскедастичности с помощью коэффициентов.
2. Выведите в явном виде оценку максимального правдоподобия при предположении о гомоскедастичности.
3. Выпишите условия первого порядка для оценки максимального правдоподобия без предположения о гомоскедастичности.
4. Выведите в явном виде формулу для LM теста множителей Лагранжа.
10.12 Для регрессии y = Xβ + ε с E(ε) = 0, Var(ε) = Σ ̸= σ 2 I, оцененной с помощью обобщённого метода
наименьших квадратов, найдите ковариационную матрицу Cov(β̂GLS , ε)
10.13 В оригинальном тесте Бройша-Пагана на гетероскедастичность два шага. Сначала строится основная
регрессия yi на некоторые регрессоры и получаются остатки ûi . На втором шаге строится регрессия
квадрата остатков ûi на переменные, от которых потенциально зависит условная дисперсия Var(ui |Z).
Статистика Бройша-Пагана считается как BP = ESS/2, где ESS — объяснённая сумма квадратов
регрессии второго шага. Оригинальный тест Уайта считается как W = nR2 , где R2 — коэффициент
детерминации регрессии второго шага.
1. Найдите отношение
nR2
ESS/2 ;
2
nR
;
2. Найдите предел по вероятности plim ESS/2
3. Какое распределение имеют статистики BP и W ?
4. Какой вид имеет статистика множителей Лагранжа?
распотрошить статью BP на задачу, статья о похожести BP и W, отдельно Коэнкера про студентизированную версию
14
11. Логит, пробит и хоббит!
11.1 Бандерлог из Лога оценил логистическую регрессию по четырём наблюдениям и одному признаку с
константой, получил bi = P̂(yi = 1|xi ), но потерял последнее наблюдение:
yi
bi
1
-1
-1
?
0.7
0.2
0.3
?
1. Выпишите функцию правдоподобия для задачи логистической регрессии.
2. Выпишите условие первого порядка по коэффициенту перед константой.
3. Помогите бандерлогу восстановить пропущенные значения!
11.2 Рассмотрим логистическую функцию Λ(w) = ew /(1 + ew ).
1. Как связаны между собой Λ(w) и Λ(−w)?
2. Как связаны между собой Λ′ (w) и Λ′ (−w)?
3. Постройте графики функций Λ(w) и Λ′ (w).
4. Найдите Λ(0), Λ′ (0), ln Λ(0).
5. Найдите обратную функцию Λ−1 (p).
6. Как связаны между собой
7. Как связаны между собой
d ln Λ(w)
и Λ(−w)?
dw
d ln Λ(−w)
и Λ(w)?
dw
8. Разложите h(β1 , β2 ) = ln Λ(yi (β1 + β2 xi )) в ряд Тейлора до второго порядка в окрестности точки
β1 = 0, β2 = 0.
11.3 Винни-Пух знает, что мёд бывает правильный, honeyi = 1, и неправильный, honeyi = 0. Пчёлы
также бывают правильные, beei = 1, и неправильные, beei = 0. По 100 своим попыткам добыть мёд
Винни-Пух составил таблицу сопряженности:
beei = 1
beei = 0
honeyi = 1
honeyi = 0
12
32
36
20
Винни-Пух использует логистическую регрессию с константой для прогнозирования правильности
мёда с помощью правильности пчёл.
1. Какие оценки коэффициентов получит Винни-Пух?
2. Какой прогноз вероятности правильности мёда при встрече с неправильными пчёлами даёт логистическая модель? Как это число можно посчитать без рассчитывания коэффициентов?
3. Проверьте гипотезу о том, что правильность пчёл не оказывает влияние на правильность мёда
с помощью тестов LR, LM и W.
11.4 Винни-Пух оценил логистическую регрессию для прогнозирования правильности мёда от высоты
дерева (м) xi и удалённости от дома (км) zi : ln oddsi = 2 + 0.3xi − 0.5zi .
1. Оцените вероятность того, что yi = 1 для x = 15, z = 3.5.
2. Оцените предельный эффект увеличения x на единицу на вероятность того, что yi = 1 для
x = 15, z = 3.5.
3. При каком значении x предельный эффект увеличения x на единицу в точке z = 3.5 будет
максимальным?
15
11.5 Придумайте такие три наблюдения для парной логистической регрессии, чтобы все xi были разными,
не все yi были одинаковые, а оценки логит-модели не существовали.
Какое решение задачи этой проблемы разумно предложить при большом количестве наблюдений?
11.6 При оценке логит модели P(yi = 1) = Λ(β1 + β2 xi ) по 500 наблюдениям оказалось, что β̂1 = 0.7 и
β̂2 = 3. Оценка ковариационной матрицы коэффициентов имеет вид
(
)
0.04 0.01
0.01 0.09
1. Проверьте гипотезу о незначимости коэффициента β̂2 .
2. Найдите предельный эффект роста xi на вероятность P(yi = 1) при xi = −0.5.
3. Найдите максимальный предельный эффект роста xi на вероятность P(yi = 1).
4. Постройте точечный прогноз вероятности P(yi = 1) если xi = −0.5.
5. Найдите стандартную ошибку построенного прогноза.
6. Постройте 95%-ый доверительный интервал для P(yi = 1) двумя способами (через преобразование интервала для ŷi∗ и через дельта-метод).
11.7 Почему в пробит-модели предполагается, что εi ∼ N (0; 1), а не εi ∼ N (0; σ 2 ) как в линейной регрессии?
11.8 Что произойдёт с оценками логит-модели P(yi = 1) = F (β1 + β2 xi ), их стандартными ошибками,
если у зависимой переменной поменять 0 и 1 местами?
11.9 Исследователь Матвей оценил логит-модель по 10 тысячам наблюдений. P̂(yi = 1) = F (−0.5 + 1.2xi ).
Переменная xi — бинарная, 4 тысячи единиц и 6 тысяч нулей.
1. Сколько наблюдений с yi = 1?
2. Сколько наблюдений с yi = 1 и xi = 0?
3. Сколько наблюдений с yi = 0 и xi = 1?
12. Эндогенность
12.1 Величины xi , zi и ui имеют совместное распределение, задаваемое табличкой:
xi
zi
ui
0
0
-1
1
1
-1
0
0
1
1
0
1
Вероятность
0.2
0.3
0.3
0.2
Рассмотрим модель yi = βxi + ui .
1. Найдите plim β̂OLS ;
2. Найдите plim β̂IV , если в качестве инструмента для xi используется zi ;
12.2 Рассмотрим три вектора: y, x и z. Проведем гипер-плоскость ортогональную z через конец вектора y.
Эта гипер-плоскость пересекает прямую порождаемую вектором x в точке β̂IV x.
Исходя из данного геометрического определения β̂IV :
1. Выведите алгоритм двухшагового МНК;
2. Выведите явную формулу для β̂IV ;
3. Докажите, что оценка β̂IV показывает, насколько в среднем растёт y при таком росте z, при
котором x в среднем растёт на единицу.
16
сказать смысл IV попроще? на две фразы?
12.3 Исследовательница Мишель строит оценку β̂IV в регрессии y на x с инструментом z. Исследовательница Аграфена строит обычную МНК оценку в регрессии ŷ = β̂x x + β̂w w.
1. Выразите w через x, z и y так, чтобы оценка β̂IV Мишель и оценка β̂x Аграфены совпали.
2. Сформулируйте ещё одну интерпретацию оценки β̂IV ;
12.4 Величины xi , zi и ui имеют совместное распределение, параметры которого известны:
  

xi
5 1 −1
Var  zi  =  1 9 0  ;
ui
−1 0 4
   
xi
4
E  zi  = 2
ui
0
Наблюдения с разными номерами независимы и одинаково распределены.
Рассмотрим модель yi = β1 + β2 xi + ui .
1. Найдите plim β̂2LS и plim β̂1LS ; Являются ли оценки состоятельными?
2. Храбрый исследователь Афанасий использует двухшаговый МНК. На первом шаге он строит
регрессию xi на константу и zi , x̂i = γ̂1 + γ̂2 zi . А на втором регрессию ŷi = β̂1IV + β̂2IV x̂i .
Найдите plim β̂2IV и plim β̂1IV ; Являются ли оценки состоятельными?
3. Как изменятся plim β̂2IV и plim β̂1IV , если Афанасий забудет включить константу на первом шаге?
12.5 Приведите примеры дискретных случайных величин ε и x, таких, что
1. E(ε) = 0, E(ε | x) = 0, но величины зависимы. Чему в этом случае равно Cov(ε, x)?
2. E(ε) = 0, Cov(ε, x) = 0, но E(ε | x) ̸= 0. Зависимы ли эти случайные величины?
12.6 Эконометресса Агнесса хочет оценить модель yi = β1 + β2 xi + εi , но, к сожалению, величина xi
ненаблюдаема. Вместо неё доступна величина x∗i . Величина x∗i содержит ошибку измерения, x∗i =
xi + ai . Известно, что Var(xi ) = 9, Var(ai ) = 4, Var(εi ) = 1. Величины xi , ai и εi независимы.
Агнесса оценивает регрессию ŷi = β̂1 + β̂2 x∗i с помощью МНК.
1. Найдите plim β̂2 .
2. Являются ли оценки, получаемые Агнессой, состоятельными?
12.7 Эконометресса Анжелла хочет оценить модель yi = β1 + β2 xi + β3 wi + εi , но, к сожалению, величина
wi ненаблюдаема. Известно, что Var(xi ) = 9, Var(wi ) = 4, Var(εi ) = 1 и Cov(xi , wi ) = −2. Случайная
составляющая не коррелированна с регрессорами.
За неимением wi Анжелла оценивает регрессию ŷi = β̂1 + β̂2 xi с помощью МНК.
1. Найдите plim β̂2 .
2. Являются ли оценки, получаемые Агнессой, состоятельными?
12.8 Наблюдения представляют собой случайную выборку. Зависимые переменные yt1 и yt2 находятся из
системы:
{
yt1 = β11 + β12 xt + εt1
yt2 = β21 + β22 zt + β23 yt1 + εt2
где вектор ошибок εt имеет совместное нормальное распределение
(( ) (
))
0
1 ρ
εt ∼ N
;
0
ρ 1
17
,
Эконометресса Анжела оценивает с помощью МНК первое уравнение, а эконометресса Эвридика —
второе.
1. Найдите пределы по вероятности получаемых ими оценок.
2. Будут ли оценки состоятельными?
12.9 Эконометресса Венера оценивает регрессию
yi = β1 + β2 xi + ui ,
А на самом деле yi = β1 + β2 xi + β3 x2i + wi , причём xi ∼ N (0; 1) и ошибки wi ∼ N (0; σ 2 ). Все
остальные предпосылки теоремы Гаусса-Маркова выполнены.
1. Будут ли оценки β̂1 и β̂2 , получаемые Венерой, несмещёнными?
2. Будут ли оценки β̂1 и β̂2 , получаемые Венерой, состоятельными?
12.10 Вектора (x1 , u1 ), (x2 , u2 ), …независимы и одинаково распределены. Также известно, что xi ∼ N (10; 9)
и E(ui |xi ) = 0.
)−1
(
Найдите plim n1 x′ x , plim n1 x′ u и plim(x′ x)−1 x′ u
12.11 Возможно ли, что E(xi |ui ) = 0 и E(ui |xi ) = 0, но при этом xi и ui зависимы?
12.12 В некотором интституте на некотором факультете задумали провести эксперимент: раздать студентам учебники разных цветов случайным образом и посмотреть на итоговую успеваемость по эконометрике. Учебники есть двух цветов: зелёненькие и красненькие. Поэтому модель имеет вид:
yi = β1 + β2 greeni + ui
Здесь yi — результат по эконометрике, greeni — дамми-переменная на зелёный учебник и ui — прочие характеристики студента. Зелёные и красненькие учебники планировалось раздавать равновероятно. Однако библиотекарь всё прошляпил и разрешил студентам самим выбирать учебник, какой
понравится. В результате вместо переменной greeni получилась переменная green∗i . Известно, что
E(green∗i ) = α и Cov(green∗i , ui ) = γ.
Де-факто оценивалась модель
ŷi = θ̂1 + θ̂2 green∗i
1. Найдите plim θ̂1 , plim θ̂2 .
2. Найдите Eθ̂1 , Eθ̂2 .
12.13 Придумайте такие случайные величины x1 , x2 , u1 , что x1 и x2 независимы и одинаково распределены,
причём E(u1 |x1 ) = 0, а E(u1 |x1 , x2 ) ̸= 0.
12.14 Рассмотрим классическую парную регрессию со стохастическим регрессором. Всего три наблюдения:
y1
y2
y3
x1
x2
x3
1. Соедините линиями независимые случайные величины.
2. Соедините линиями одинаково распределённые случайные величины.
18
13. GMM
Прочесть про обобщённый метод моментов можно, например, [Zso10].
13.1 Исследователь Максимилиан оценивает параметр θ с помощью двух моментных условий,
E(yi ) = 2θ
∑
и E(1/yi ) = θ. С трудом Максимилиан нашёл 200 наблюдений и оказалось, что
1/yi = 1.5. Сначала Максимилиан оценил θ с помощью простого метода моментов и первого моментного условия,
получил θ̂ = 1.
Затем Максимилиан решил применить обобщённый метод моментов, чтобы учесть оба момента. В
процессе получения GMM оценки Максимилиан обнаружил, что Cov(yi , 1/yi ) = −θ2 , Var(1/yi ) = 9θ2 ,
E(yi2 ) = 20θ2 .
1. Найдите ковариационную матрицу моментных условий, Var(g);
2. Найдите оптимальную теоретическую матрицу весов W ;
3. Оцените матрицу весов Ŵ ;
4. Найдите оценку GMM с использованием найденной оценки матрицы весов;
13.2 Величины Xi равномерны на отрезке [−a; 3a] и независимы. Есть несколько наблюдений, X1 = 0.5,
X2 = 0.7, X3 = −0.1.
1. Найдите E(Xi ) и E(|Xi |).
2. Постройте оценку метода моментов, используя E(Xi ).
3. Постройте оценку метода моментов, используя E(|Xi |).
4. Постройте оценку обобщёного метода моментов используя моменты E(Xi ), E(|Xi |) и взвешивающую матрицу.
)
(
2 0
W =
0 1
5. Найдите оптимальную теоретическую взвешивающую матрицу для обобщённого метода моментов
6. Постройте двухшаговую оценку обобщённого метода моментов, начав со взвешивающей матрицы W
7. С помощью полученных оценок постройте 95%-ый доверительный интервал для неизвестного
параметра a
13.3 Винни-Пух и Пятачок оценивают неизвестный параметр правильности пчёл θ. Когда Винни-Пух проводит очередное измерение параметра правильности, он получает значение Xi нормально распределенное вокруг неизвестного параметра, Xi ∼ N (θ, 1). Когда Пятачок проводит измерение параметра правильности, он получает значение Yi , также нормально распределенное вокруг θ, но имеющее
большую дисперсию, Yi ∼ N (θ, 4). Различные измерения независимы между собой.
1. Найдите E(Xi ) и постройте соответствующую оценку метода моментов.
2. Найдите E(Yi ) и постройте соответствующую оценку метода моментов.
3. Используя два указанных момента найдите обобщённую оценку метода моментов для взвешивающей матрицы
(
)
4 0
W =
.
0 9
4. Найдите оптимальную взвешивающую матрицу W .
13.4 Начинающий футболист делает независимые удары по воротам. С вероятностью θ он попадает левее
ворот, с вероятностью 2θ — правее ворот и попадает с вероятностью 1 − 3θ. Из n ударов он попал NL
раз левее ворот и NR раз — правее.
19
1. Найдите E(NL ) и постройте соответствующую оценку θ методом моментов.
2. Найдите E(NR ) и постройте соответствующую оценку θ методом моментов.
3. Используя два указанных момента постройте оценку обобщённого метода моментов со взвешивающей матрицей
(
)
4 0
W =
.
0 9
4. Найдите оптимальную теоретическую взвешивающую матрицу.
5. Для каждой из найденных оценок постройте 95%-ый доверительный интервал, если NL = 10,
NR = 30, n = 200.
13.5 Можно ли получить МНК-оценки в классической задаче регрессии как оценки обобщённого метода
моментов? Можно ли получить оценки метода максимального правдоподобия как оценки обобщённого метода моментов?
13.6 Равшан и Джамшут измеряют длину θ оставшегося куска рулона обоев много раз. Измерения Равшана, Xi , распределены нормально, N (2θ, θ2 + 100). Измерения Джамшута, Yi , также распределены
нормально N (θ, θ2 + 10). Поскольку Равшан и Джамшут спорят друг с другом, их измерения зависимы, Cov(Xi , Yi ) = −1.
∑
∑
Оказалось, что по 200 (?проверить?) измерениям Xi = 300, Yi = 100.
Насяльника хочет измерить параметр θ.
1. Запишите два моментных условия на E(Xi ) и E(Yi ) в виде
{
E(g1 (Xi , θ)) = 0
E(g2 (Yi , θ)) = 0
2. Найдите ковариационную матрицу Var(g) и теоретическую оптимальную матрицу весов W для
обобщённого метода моментов;
3. Найдите оценку параметра θ методом моментов с единичной матрицей весов;
4. Найдите оценку параметра θ методом моментов, предварительно оценив оптимальную матрицу
с помощью θ̂ из предыдущего пункта;
14. Большая сила о-малых
15. Решения
1.1.
1.
(a) β̂ = 13/9
c) β̂ =
2.
∑n
xi yi
∑i=1
n
2
i=1 xi
(a) β̂1 = −1, β̂2 = 2
c) β̂2 =
∑n
i=1
∑n(xi −x̄)(yi 2−ȳ)
i=1 (xi −x̄)
1.2.
1. 0
2. 0
20
3. 0
∑ 2
4.
xi
1.3.
1. θ̂ =
2. θ̂ =
3. θ̂ =
4. θ̂ =
∑
∑yi (1+xi2)
(1+xi )
∑
(y
i
∑i −1)x
x2i
∑
(y /x2 )
∑ i 3i
(1/xi )
∑
((yi − zi )(xi − zi )) /
∑
(xi − zi )2
1.4. α̂ = 0, β̂ = 1
1.5. Рассмотрим регрессию суммы (yi + zi ) на саму себя. Естественно, в ней
y\
i + zi = 0 + 1 · (yi + zi ).
Отсюда получаем, что α̂ + γ̂ = 0 и β̂ + δ̂ = 1.
1.6.
Исходя из условия, нужно оценить методом МНК коэффициенты двух следующих моделей:
yi = α + βxi + εi
γ
δ
1
+ xi + vi
2 2
2
Заметим, что на минимизацию суммы квадратов остатков коэффициент 1/2 не влияет, следовательно:
yi =
γ̂ = 2α̂, δ̂ = 2β̂
1.7. Выпишем задачу:

n
RSS = ∑ (yi − β̂1 xi − β̂2 zi )2 → min
β̂1 ,β̂2
i=1

β̂1 + β̂2 = 1
Можем превратить ее в задачу минимизации функции одного аргумента:
RSS =
n
∑
(yi − xi − β̂2 (zi − xi ))2 → min
β̂2
i=1
Выпишем условия первого порядка:
∂RSS
∂ β̂2
=
n
∑
2(yi − xi − β̂2 (zi − xi ))(xi − zi ) = 0
i=1
Отсюда:
n
∑
i=1
(yi − xi )(xi − zi ) + β̂2
n
∑
n
∑
(zi − xi ) = 0 ⇒ β̂2 =
2
i=1
(yi − xi )(zi − xi )
i=1
n
∑
(zi − xi )2
i=1
21
А β̂1 найдется из соотношения β̂1 + β̂2 = 1.
1.8. Обозначив вес первого слитка за β1 , вес второго слитка за β2 , а показания весов за yi , получим, что
y1 = β1 + ε1 , y2 = β2 + ε2 , y3 = β1 + β2 + ε3
Тогда
(300 − β1 )2 + (200 − β2 )2 + (400 − β1 − β2 )2 → min
β1 , β 2
β̂1 =
800
500
, β̂2 =
3
3
1.9. Можем воспользоваться готовой формулой для регрессии на константу:
β̂ = ȳ =
10 + 10 + 3
23
=
3
3
(можно решить задачу 2(10 − β)2 + (3 − β)2 → min)
1.10.
1. Да.
2. Да.
3. Да.
4. ∑
Нет. Из условия первого∑
порядка для первой
выборки следует, что
∑
y
>
0.
Аналогично,
y
>
0,
но
y
<
0.
i
i
i
A
B
∑
A yi
= β̂1 + β̂2
∑
xi . Значит
1.11.
1.12. Поскольку значения y остались теми же, T SS1 = T SS2 .
Добавление ещё одного регрессора не уменьшит точность оценки, то есть RSS2 ⩽ RSS1 , ESS2 ⩾
ESS1 .
Тогда и коэффициент детерминации R2 = ESS/T SS не уменьшится, то есть R22 ⩾ R12 .
1.13. Пусть ȳ — средний y до добавления нового наблюдения, ȳ ′ — после добавления нового наблюдения.
Будем считать, что изначально было n наблюдений. Заметим, что
ȳ ′ =
(y1 + . . . + yn ) + yn+1
nȳ + yn+1
n
1
=
=
ȳ +
yn+1
n+1
n+1
n+1
n+1
Покажем, что T SS может только увеличится при добавлении нового наблюдения (остается неизменным при yn+1 = ȳ):
T SS ′ =
=
n
∑
n+1
∑
n
∑
(yi − ȳ + ȳ − ȳ ′ )2 + (yn+1 − ȳ ′ )2 =
i=1
i=1
(yi − ȳ ′ )2 =
(yi − ȳ)2 + n(ȳ − ȳ ′ )2 + (yn+1 − ȳ ′ )2 = T SS +
i=1
Следовательно, T SS ′ ⩾ T SS.
22
n
(yn+1 − ȳ)2
n+1
Также сумма RSS может только вырасти или остаться постоянной при добавлении нового наблюдения.
Действительно, новое (n+1)-ое слагаемое в сумме неотрицательно. А сумма n слагаемых минимальна при
старых коэффициентах, а не при новых.
ESS и R2 могут меняться в обе стороны. Например, рассмотрим ситуацию, где точки лежат симметрично относительно некоторой горизонтальной прямой. При этом ESS = 0. Добавим наблюдение — ESS
вырастет, удалим наблюдение — ESS вырастет.
1.14.
1. R2 упал до нуля.
2. Да, можно. Если добавить точку далеко слева внизу от исходного набора данных, то наклон линии
регрессии будет положительный. Если далеко справа внизу, то отрицательный. Будем двигать точку
так, чтобы поймать нулевой наклон прямой. Получим ESS = 0.
1.15. На две неизвестных a и b нужно два уравнения. Эти два уравнения — ортогональность вектора остатков
плоскости регрессоров. А именно:
{∑
(yi − ŷi ) = 0
∑i
i (yi − ŷi )ŷi = 0
В нашем случае
{
−1 + (6 − a) + (6 − b) = 0
−1 + (6 − a)a + (6 − b)b = 0
Решаем квадратное уравнение и получаем два решения: a = 4 и a = 7. Итого: a = 4, b = 7.
1.16. Обе ситуации возможны.
1.17.
1. нет, да
2. нет, нет
3. да, да, нет, нет
2.1.
1. f ′ (x) = 2x + 3, df = 2xdx + 3dx, df = 1.3
2. df = 2x1 dx1 + 3dx1 · x32 + 3x1 · 3x22 dx2 , df = 1.7
2.2.
1. A(dR)B
2. 2r′ dr
3. r′ (A′ + A)dr
4. R−1 · dR · R−1
5. − sin(r′ r) · 2r′ dr
6.
r′ (A′ +A)dr·r′ r−r′ Ar2r′ dr
(r′ r)2
23
2.3.
1. dQ(β̂) = 2(y − X β̂)T (−X)dβ̂, d2 Q(β̂) = 2dβ̂ T X T Xdβ̂
2. dQ(β̂) = 0
3. β̂ = (X T X)−1 X T y
2.4.
1. dQ(β̂) = −2((y − X β̂)T X + λβ̂ T )dβ̂, d2 Q(β̂) = 2dβ̂ T (X T X − λI)dβ̂
2. dQ(β̂) = 0
3. β̂ = (X T X − λI)−1 X T y
2.5.
1. µ̂ =
∑
yi /n
2.
3.
3.1.
{ ∑
∑
∑
β̂1 zi2 + β̂2 xi zi =
zi yi
∑ 2 ∑
∑
β̂1 xi zi + β̂2 xi =
xi yi
{
∑
∑
β̂1 n + β̂2 xi =
yi
∑
∑ 2 ∑
β̂1 xi + β̂2 xi = xi yi
X ′ X β̂ = X ′ y
3.2.
1. n = 5
2. k = 3
3. T SS = 10
4. RSS = 2
 
 
β̂1
2
′
−1
′



5. β̂ = β̂2 = (X X) X y = 2
1
β̂3
6. R2 = 1 −
RSS
T SS
= 0.8. R2 высокий, построенная эконометрическая модель хорошо описывает данные
24
3.3.
∑
yi2 =
∑
ŷi2 +
∑
ε̂2i , T SS = ESS + RSS,
sCov(ŷ,y)
sVar(ŷ) sVar (y)
(sCov(ŷ,y))2
sVar(ŷ) sVar (y)
3.4. sCorr(ŷ, y) = √
sCorr(ŷ, y)2 =
R2 · T SS/(n − 1) · ESS/(n − 1) = (sCov(ŷ, y))2 = (sCov(ŷ − ȳ, y − ȳ))2 Отсюда можно
понять,
что
√
√
ковариация для двухмерного
случая
равна
произведению
длин
векторов
ŷ
−
ȳ
и
y
−
ȳ
—
ESS
и
T
SS
на
√
2
косинус угла между ними ( R ). Геометрически скалярное произведение можно изобразить как произведение длин одного из векторов на проекцию второго вектора на первый. Если будет проецировать y − ȳ⃗1
на ŷ − ȳ⃗1, то получим
как раз ESS — тот квадрат на рисунке, что уже построен.
√
sCov(ŷ, y) = ESS 2 /(n − 1)2 = ESS/(n − 1)
3.5. Спроецируем единичный столбец на «плоскость», обозначим его 1′ . Делаем проекцию y на «плоскость»
и на 1′ . Далее аналогично.
RSS
3.6. Проекция y на ŷ это ŷ, поэтому оценки коэффициентов будут 0 и 1. Оценка дисперсии (n−2)ESS
. Нарушены предпосылки теоремы Гаусса-Маркова, например, ошибки новой модели в сумме дают 0, значит
коррелированы.
3.7. Либо в регрессию включена константа, либо единичный столбец (тут была опечатка, столбей) можно
получить как линейную комбинацию регрессоров, например, включены дамми-переменные для каждого
возможного значения качественной переменной.
3.8. Для удобства центрируем мысленно все переменные. Это не меняет ни корреляций, ни выборочных дисперсий, ни угловых коэффициентов в регрессиях. В регрессиях при этом оценка коэффициента
при константе превращается в ноль, но какое нам до неё дело? :) Зато при нулевом среднем выборочные
корреляции превратились в косинус угла между векторами:
∑
xi yi
√
sCorr(x, y) = ∑ ∑
= cos(x, y)
x2i
yi2
И при нулевом среднем выборочная дисперсия — это длина вектора с точностью до умножения на (n − 1):
∑ 2
xi
||x||2
sVar(x) =
=
n−1
n−1
Начать можно с геометрического смысла оценок МНК:
{
||y||
1.4 = ||x||
cos(x, y)
0.6 =
||x||
||y||
cos(x, y)
Отсюда находим ||y||/||x|| = σ̂y /σ̂x и cos(x, y) = sCorr(x, y)
Дальше номер решается, например, по теореме косинусов.
1. sCorr(x, y) =
2.
σ̂x2
σ̂y2
= 37 ,
σ̂z2
σ̂y2
=
√
0.84, sCorr(y, z) =
8 σ̂x2
35 , σ̂z2
=
√
70
10 ,
sCorr(x, z) = −
15
8
25
√
30
10
3.9. все :)
4.1. dim V = 1, dim W = 2, dim V ∩ W = 0, dim V ⊥ = 2, dim W ⊥ = 1. Эти же числа и будут степенями
свободы хи-квадрат распределения.
4.2. dim V = 1, dim W = n − 1, dim V ∩ W = 0, dim V ⊥ = n − 1, dim W ⊥ = 1.
4.3.
4.4.
4.5. Сферы с центром в начале координат. Проекция имеет хи-квадрат распределение с тремя степенями
свободы. Для нахождения максимальной вероятности максимизируем функцию
exp(−R2 /2) · ((R + t)3 − R3 ) → max
R
, где R — радиус мякоти, а t — толщина кожуры апельсина. Оставляем только линейную часть по t и затем
максимизируем.
Наибольшая вероятность попасть в апельсин радиуса R = 1.
5.1.
5.2.
1. Var(ε1 ) = Var(ε)(1,1) = 4 · I(1,1) = 4
2. Var(β1 ) = 0, так как β1 — детерминированная величина.
2
3. Var(β̂1 ) = σ 2 (X ′ X)−1
(1,1) = 0.5σ = 0.5 · 4 = 2
d β̂1 ) = σ̂ 2 (X ′ X)−1 = 0.5σ̂ 2 = 0.5 RSS = 0.25RSS = 0.25y ′ (I −X(X ′ X)−1 X ′ )y = 0.25·1 = 0.25
4. Var(
5−3
(1,1)
(1,1)
σ̂ 2 =
RSS
n−k
= 12 .
5. Так как оценки МНК являются несмещёнными, то E(β̂) = β, значит:
d β̂1 ) = 0.25
E(β̂1 ) − β12 = E(β̂1 ) − (E(β̂1 ))2 = Var(
( 1)
6. Cov(β̂2 , β̂3 ) = σ 2 (X ′ X)−1
(2,3) = 4 · − 2 = −2
d β̂2 , β̂3 ) = Var(
d β̂)(2,3) = σ̂ 2 (X ′ X)−1 =
7. Cov(
(2,3)
1
2
( )
· − 21 = − 14
−1
−1
′
′
8. Var(β̂2 − β̂3 ) = Var(β̂2 ) + Var(β̂3 ) + 2 Cov(β̂2 , β̂3 ) = σ 2 ((X ′ X)−1
(2,2) + (X X)(3,3) + 2(X X)(2,3) = 4(1 +
1.5 + 2 · (−0.5)) = 6
d β̂2 , β̂3 ) = σ̂ 2 ((X ′ X)−1 + (X ′ X)−1 + 2(X ′ X)−1 =
d β̂2 − β̂3 ) = Var(
d β̂2 ) + Var(
d β̂3 ) + 2Cov(
9. Var(
(2,2)
(3,3)
(2,3)
0.75
10. Var(β2 − β3 ) = 0
11. Corr(β̂2 , β̂3 ) = √
Cov(β̂2 ,β̂3 )
Var(β̂2 ) Var(β̂3 )
d β̂2 ,β̂3 )
d 2 , β3 ) = √ Cov(
12. Corr(β
c
c
Var(β̂2 )Var(β̂3 )
=
√−2
4·6
=
−1
√ 4
1 3
·
2 4
=−
√
=−
6
6
√
6
6
26
1
2
· 1.5 =
2
13. (n − k) σ̂σ2 ∼ χ2n−k .
)
(
σ̂ 2
E (n − k) 2 = n − k
σ
( 2)
σ̂
E
=1
2
E(σ̂ 2 ) = 2
14. σ̂ 2 =
RSS
n−k
=
1
2
7.1.
7.2.
7.3.
7.4.
8.1.
(
)
1. M = AC + BE AD + BF
Предположим, что матрицы A и B имеют m строк. Тогда размерность блока AC + BE — m × p,
AD + BF — m × q.
)
(
CA + DB
2. M =
EA + F B
Предположим, что матрицы A и B имеют n столбцов. Тогда размерность блока CA + DB — p × n,
EA + F B — q × n.
)
( T
A
CT
3. M =
B T DT
Блок AT имеет размерность p × q, B T — q × q, C T — p × p, DT — q × p.
8.2.
(
1.
M −1
2.
M −1
3.
M −1
4.
M −1
=
(
=
(
=
(
=
A−1
0
0
B −1
0
B −1
A−1
0
)
)
A−1 −A−1 CB −1
0
B −1
)
A−1
0
−1
−1
−B CA
B −1
)
8.3.
27
1.
(
A C I 0
D B 0 I
)
(
I A−1 C
D
B
A−1 0
0
I
)
(
I
A−1 C
0 B − DA−1 C
A−1
0
−DA−1 I
)
0
∼
(B − DA−1 C)−1
)
∼
∼
∼
(
I A−1 C
A−1
0
I
−(B − DA−1 C)−1 DA−1
(
)
I 0 A−1 + A−1 C(B − DA−1 C)−1 DA−1 −A−1 C(B − DA−1 C)−1
0 I
−(B − DA−1 C)−1 DA−1
(B − DA−1 C)−1
То есть X = A−1 + A−1 C(B − DA−1 C)−1 DA−1 .
2. Из равенства
(
A C
D B
)(
X Z
Y W
)
(
)
I 0
=
0 I
получаем систему:
{
AX + CY = I
DX + BY = 0
{
X = A−1 (I − CY )
⇒
DX + BY = 0
Подставляя первое уравнение во второе, получим:
DA−1 (I − CY ) = −BY ⇒ DA−1 = (DA−1 C − B)Y ⇒ I = (C − AD−1 B)Y ⇒ Y = (C − AD−1 B)−1
И окончательно из второго уравнения:
DX = −B(C − AD−1 B)−1 ⇒ −(C − AD−1 B)B −1 DX = I ⇒ X = (A − CB −1 D)−1
3.
(A − CB −1 D)(A−1 + A−1 C(B − DA−1 C)−1 DA−1 ) =
I − CB −1 DA−1 + (C − CB −1 DA−1 C)(B − DA−1 C)−1 DA−1 =
I − CB −1 DA−1 + CB −1 (B − DA−1 C)(B − DA−1 C)−1 DA−1 =
I − CB −1 DA−1 + CB −1 DA−1 = I
9.1.
9.2.
1. ℓ = n ln λ − λ
2. λ̂ =
∑
yi
n
3. I(λ) =
=
∑
yi
1
2
n
λ2
4. LR = 2(n ln ∑nyi − n − n ln λR + λR
(
∑ )2 2
LM = nλ − yi λn
(∑
)2
yi
n
W =
−
λ
R
n
λ2
∑
yi )
5. LR ≈ 61.37, LM = W = 100
6. χ21,0.95 = 3.84, основная гипотеза отвергается.
28
9.3.
1. ℓ = n ln
2. β̂M L =
3. I(β) =
√
2π −
∑
i
∑yi x
x2i
1
2
∑
(yi − βxi )2
= 2.5
∑
x2i
∑
∑
4. LR = − (yi − β̂M L xi )2 + (yi − βR xi )2
∑
LM = ( (yi xi − βR x2i ))2 · ∑1x2
i
∑ 2
2
W = (β̂M L − βR )
xi
5. LR = LM = W = 625
6. χ21,0.95 = 3.84, основная гипотеза отвергается.
9.4.
1. ℓ = const + y1 ln p1 + y2 ln p2 + y3 ln p3 + (n − y1 − y2 − y3 ) ln(1 − y1 − y2 − y3 )

  
y1 /n
0.2



2. p̂ = y2 /n = 0.3
y3 /n
0.2


n
n
n
n
p1 + 1−p1 −p2 −p3
1−p1 −p2 −p3
1−p1 −p2 −p3


n
n
n
n
3. I(p) =  1−p1 −p

p2 + 1−p1 −p2 −p3
1−p1 −p2 −p3
2 −p3
n
n
n
n
1−p1 −p2 −p3
1−p1 −p2 −p3
p3 + 1−p1 −p2 −p3
p
1 (1−p1 )

4. I −1 (p) = 
n
− p1np2
− p1np3
− p1np2
p2 (1−p2 )
n
− p2np3

− p1np3

− p2np3 
p3 (1−p3 )
n
9.5.
1. θ̂U R = h(y)
(
)
θ10
2. θR =
h2 (y) − C −1 B T (θ10 − h1 (y))
3—6. LR = LM = W = (θ10 − h1 (y))T (A − BC −1 B T )(θ10 − h1 (y))
9.6.
2. Q =
1
X T X,
σ2
h(y) = (X T X)−1 X T y
9.7.
9.8.
9.9. Мы знаем, что (RSSR − RSSU R ) · (60 − 10)/5RSSU R имеет в точности F -распределение. Находим
критическое значение для него по таблице. Выражаем три статистики через F -распределение. Получаем
точные критические значения.
10.1.
29
1. β̂OLS = 11/9
√
2. se(β̂) = 5/162
√
√
3. seHC0 (β̂) = 168/81, seHC3 (β̂) = 2649/180
4. β̂ = 7/6
10.2. Var(εi ) = cx4i
10.3. Протестируем гетероскедастичность ошибок при помощи теста Голдфельда- Квандта. H0 :
Var(εi ) = σ 2 , Ha : Var(εi ) = f (xi )
3 /(n3 −k)
1. Тестовая статистика GQ = RSS
RSS1 /(n1 −k) , где n1 = 11 — число наблюдений в первой подгруппе, n3 = 11
— число наблюдений в последней подгруппе, k = 3 — число факторов в модели, считая единичный
столбец.
2. Распределение тестовой статистики при верной H0 : GQ ∼ Fn3 −k,n1 −k
3. Наблюдаемое значение GQobs = 1.41
4. Область, в которой H0 не отвергается: GQ ∈ [0; 3.44]
5. Статистический вывод: поскольку GQobs ∈ [0; 3.44], то на основании имеющихся наблюдений
на уровне значимости 5% основная гипотеза H0 не может быть отвергнута. Таким образом, тест
Голдфельда-Квандта не выявил гетероскедастичность.
10.4. Протестируем гетероскедастичность ошибок при помощи теста Уайта. H0 : Var(εi ) = σ 2 , Ha :
Var(εi ) = δ1 + δ2 xi + δ3 zi + δ4 x2i + δ5 zi2 + δ6 xi zi .
2 , где n — число наблюдений, R2
1. Тестовая статистика W = n · Raux
aux — коэффициент детерминации
для вспомогательной регрессии.
2. Распределение тестовой статистики при верной H0 : W ∼ χ2kaux −1 , где kaux = 6 — число регрессоров
во вспомогательной регрессии, считая константу.
3. Наблюдаемое значение тестовой статистики: Wobs = 18
4. Область, в которой H0 не отвергается: W ∈ [0; Wcrit ] = [0; 11.07]
5. Статистический вывод: поскольку Wobs ∈
/ [0; 11.07], то на основании имеющихся наблюдений на
уровне значимости 5% основная гипотеза H0 отвергается. Таким образом, тест Уайта выявил гетероскедастичность.
10.5. k(k + 1)/2
10.6. 0.0752, 5, 10
10.7.
10.8.
10.9. Одинаковые.
10.10.
d β̂1 ) = T SS 1 1
Var(
n0 n − 2
30
d β̂1 ) = T SS0 n 1 1
Var(
n0 n0 n − 2
10.11. В предположении
о гомоскедастичности, γ2 = 0, оценка правдоподобия совпадает с МНК∑
∑
оценкой, значит β̂ = yi xi / x2i . И ŝ2i = RSS/n, значит γˆ1 = ln(RSS/n).
10.12.
(
)
Cov(β̂GLS , ε) = Cov (X ′ Σ−1 X)−1 X ′ Σ−1 y, ε =
(
)
= Cov (X ′ Σ−1 X)−1 X ′ Σ−1 ε, ε =
= (X ′ Σ−1 X)−1 X ′ Σ−1 Cov(ε, ε) =
= (X ′ Σ−1 X)−1 X ′ Σ−1 Σ = (X ′ Σ−1 X)−1 X ′
10.13.
11.1. P̂(yi = 1|xi ) =
1
1+exp(−β1 −β2 xi )
1. loss(β1 , β2 ) = −
2.
∂loss
∂β1
=−
∑l
(
∑l
i=1
i=1
(
(
[yi = 1] ln 1+exp(−β1 1 −β2 xi ) + [yi = −1] ln 1 −
[yi = 1] ·
1
1+exp(β1 +β2 xi )
+ [yi = −1] · (−1) ·
1
1+exp(−β1 −β2 xi )
1
1+exp(−β1 −β2 xi )
))
)
3. y4 = 1, x4 = 0.8
11.2.
1. Λ(w) + Λ(−w) = 1
2. Λ′ (w) = −Λ′ (−w)
3.
4. Λ(0) = 0.5, Λ′ (0) = 0.25, ln Λ(0) = − ln 2
p
5. Λ−1 (p) = ln 1−p
6.
d ln Λ(w)
dw
7.
d ln Λ(−w)
dw
= Λ(−w)
= −Λ(w)
8.
11.3.
1. Выпишем аппроксимацию функции потерь:
1
loss(β1 , β2 ) ≈ 100 ln 2 + 6β1 + 12β2 + (25β12 + 2 · 12β1 β2 + 12β22 ) → min
β1 ,β2
2
Взяв производные по β1 и β2 , получим β̂1 =
2. P̂ (honeyi = 1|beei = 0) =
1
1+exp(−6/13)
6
13 ,
β̂2 = − 19
13 .
≈ 0.615.
Это же число можно было получить из таблицы:
31
32
32+20
≈ 0.61.
11.4. Предельный эффект максимален при максимальной производной Λ′ (β̂1 + β̂2 x + β̂3 z), то есть при
β̂1 + β̂2 x + β̂3 z = 0.
11.5. Ввести штраф в жанре LASSO или гребневой регрессии.
11.6. z =
β̂2
se(β̂2 )
=
3
0.3
= 10, H0 отвергается. Предельный эффект равен β̂2 Λ′ (−0.8) ≈ 0.642. Для нахож-
дения se(P̂) найдём линейную аппроксимацию для Λ(β̂1 + β̂2 x) в окрестности точки β̂1 = 0.7, β̂2 = 3.
Получаем
Λ(β̂1 + β̂2 x) ≈ Λ(β1 + β2 x) + Λ′ (β1 + β2 x)(β̂1 − β1 ) + Λ′ (β1 + β2 x)x(β̂2 − β2 ).
11.7. Если в пробит-уравнении ненаблюдаемой переменной домножить все коэффициенты и стандартную ошибку на произвольную константу, то в результате получится ровно та же модель. Следовательно,
модель с εi ∼ N (0; σ 2 ) не идентифицируема. Поэтому надо взять какое-то нормировочное условие. Можно
взять, например, β2 = 42, но традиционно берут εi ∼ N (0; 1).
11.8.
11.9.
12.1.
12.2.
12.3.
12.4.
12.5.
12.6.
12.7.
12.8.
12.9. Оценки будут несмещёнными и состоятельными. Вызвано это тем, что ui = β3 x2i + wi некоррелировано с xi .
12.10. plim
(1
nx
)
′ x −1
= 109−1 , plim n1 x′ u = 0 и plim(x′ x)−1 x′ u = 0
12.11. Да, например, равномерное распределение (ui , xi ) на круге или на окружности. Или равновероятное на восьми точках, (±1, ±1), (±2, ±2).
12.12.
12.13. Например, можно взять u1 = x2 , и все величины N (0; 1).
12.14. Одинаково распределены: y1 ∼ y2 ∼ y3 , x1 ∼ x2 ∼ x3 . Независимы переменные с разными
номерами.
32
13.1.
((
yi − 2θ
1/yi − θ
Var(g) = Var
))
13.2.
13.3.
13.4.
13.5. да, да
13.6. Оценка при единичной весовой матрице равна θ̂W =I = 1.5. С точностью до деления на определитель ковариационной матрицы оценка матрицы весов имеет вид:
(
)
12 1
Ŵ =
1 102
16. Источники мудрости
[Zso10] Peter Zsohar. Short introduction to the generalized method of moments. 2010. url: http://www.ksh.hu/
statszemle_archive/2012/2012_K16/2012_K16_150.pdf.
33