КОНСПЕКТ К ЭКЗАМЕНУ
Stock & Watson — Introduction to Econometrics
Главы 4–9: Регрессионный анализ
ГЛАВА 4 — Линейная регрессия с одним регрессором
4.1 Модель линейной регрессии
Population Regression Line (линия регрессии генеральной совокупности): Yi = β0 + β1Xi + ui
β0 (intercept): свободный член — значение Y при X = 0
β1 (slope): наклон — изменение Y при увеличении X на 1 единицу
ui (error term): случайная ошибка — всё, что влияет на Y кроме X
E(Y|X) = β0 + β1X: условное среднее Y при данном X — и есть линия регрессии
4.2 OLS — метод наименьших квадратов
OLS (Ordinary Least Squares): метод, минимизирующий сумму квадратов остатков SSR = Σ(Yi −
Ŷi)²
Формулы оценок OLS:
β̂1 → = Σ(Xi − X̄)(Yi − Ȳ) / Σ(Xi − X̄)²
=
sXY / sX²
β̂0 → = Ȳ − β̂1 · X̄
Ŷi (predicted value) → = β̂0 + β̂1 · Xi
ûi (residual) → = Yi − Ŷi
⚠ Сумма остатков Σûi = 0. Линия OLS всегда проходит через точку (X̄, Ȳ)
4.3 Меры качества подгонки
SSR (Sum of Squared Residuals) → = Σûi²
ESS (Explained SS) → = Σ(Ŷi − Ȳ)²
TSS (Total SS) → = Σ(Yi − Ȳ)²
R² → = ESS/TSS = 1 − SSR/TSS
=
ESS + SSR
∈ [0, 1]
R²: доля вариации Y, объяснённая регрессором X. R² = corr(X,Y)² для простой регрессии
SER (Std Error of Regression) → = √[ SSR/(n−2) ] = √s²û
SER: оценка стандартного отклонения ошибки ui — типичная величина остатка
4.4 Допущения МНК (Least Squares Assumptions)
Три допущения для причинно-следственного вывода:
• Допущение 1: E(ui | Xi) = 0
⚠ Среднее ошибки равно нулю при любом X. Нарушается при omitted variable bias
• Допущение 2: (Xi, Yi) — i.i.d.
⚠ Наблюдения независимы и одинаково распределены — выполняется при случайной выборке
• Допущение 3: Нет крупных выбросов (finite kurtosis): E(Xi⁴) < ∞, E(Yi⁴) < ∞
4.5 Распределение оценок OLS
Unbiasedness (несмещённость): E(β̂1) = β1, E(β̂0) = β0 при выполнении допущений
Consistency (состоятельность): β̂1 →ᵖ β1 при n → ∞
Sampling distribution of β̂1 (large n) → ≈ N(β1, σ²β̂1)
σ²β̂1 → = var(ui) / [ n · var(Xi) ]
(при гомоскедастичности)
ГЛАВА 5 — Гипотезы и доверительные интервалы (одна
переменная)
5.1 t-тест для коэффициента β1
Общая форма t-статистики:
t → = (β̂1 − β1,0) / SE(β̂1)
H0: β1 = β1,0 vs H1: β1 ≠ β1,0: (двусторонняя альтернатива)
p-value → = 2·Φ(−|t_act|)
⚠ Отвергаем H0 на 5% уровне если |t_act| > 1.96 или p-value < 0.05
Стандартная ошибка SE(β̂1):
SE(β̂1) → = √[s²β̂1]
— heteroskedasticity-robust (формула Уайта)
⚠ Всегда используй robust SE на практике, если нет уверенности в гомоскедастичности
5.2 Доверительный интервал для β1
95% CI → = β̂1 ± 1.96 · SE(β̂1)
90% CI → = β̂1 ± 1.645 · SE(β̂1)
99% CI → = β̂1 ± 2.576 · SE(β̂1)
⚠ ДИ содержит истинное β1 в 95% выборок (частотная интерпретация)
5.3 Регрессия с бинарным регрессором
Binary (indicator/dummy) variable Di: Di = 1 или Di = 0
Интерпретация β1 при бинарном X: = разница средних Y между группой D=1 и группой D=0
Yi = β0 + β1·Di + ui →
E(Y|D=1) − E(Y|D=0) → = β1
5.4 Гетероскедастичность и гомоскедастичность
Определение
Следствие
Homoskedasticity
var(ui | Xi) = const для всех X
OLS — BLUE (теорема
Гаусса-Маркова)
Heteroskedasticity
var(ui | Xi) зависит от X
OLS несмещён, но НЕ
эффективен. Нужны robust
SE
⚠ Homoskedasticity-only SE некорректны при гетероскедастичности → всегда используй robust
SE
5.5 Теорема Гаусса-Маркова (Gauss-Markov)
BLUE: Best Linear Unbiased Estimator — лучший линейный несмещённый оценщик
Условия: 1) E(ui|Xi)=0, 2) i.i.d., 3) нет выбросов, 4) гомоскедастичность
Результат: При выполнении условий OLS = BLUE — нет другого линейного несмещённого
оценщика с меньшей дисперсией
⚠ На практике ошибки гетероскедастичны → теорема не применяется → нужны WLS или robust
SE
ГЛАВА 6 — Множественная регрессия
6.1 Смещение из-за пропущенной переменной (Omitted Variable Bias)
OVB (Omitted Variable Bias): смещение β̂1 из-за пропущенной переменной, коррелированной с X
Два условия для возникновения OVB:
• Условие 1: Пропущенная переменная (Z) коррелирует с включённым регрессором X
• Условие 2: Z является детерминантой Y (влияет на зависимую переменную)
OVB формула → plim(β̂1_biased) = β1 + β2 · (cov(X,Z)/var(X))
⚠ Если оба условия выполнены → β̂1 смещён и несостоятелен
⚠ Решение: включить пропущенную переменную в регрессию как контрольную
6.2-6.3 Модель множественной регрессии и OLS
Population model → Yi = β0 + β1X1i + β2X2i + ... + βkXki + ui
β1: изменение E(Y) при увеличении X1 на 1 единицу, при фиксированных X2,...,Xk
Ceteris paribus: «при прочих равных» — суть коэффициента в множественной регрессии
OLS в множественной регрессии: минимизирует SSR = Σ(Yi − β̂0 − β̂1X1i − ... − β̂kXki)²
6.4 Меры качества подгонки в множественной регрессии
R² → = ESS/TSS = 1 − SSR/TSS
(не убывает при добавлении переменных!)
Adjusted R² (R̄²) → = 1 − [(n−1)/(n−k−1)] · (SSR/TSS)
Adjusted R²: штрафует за лишние переменные. Предпочтителен для сравнения моделей с разным
k
SER → = √[SSR/(n−k−1)]
⚠ R² всегда растёт при добавлении переменных → для сравнения моделей используй Adjusted R²
6.5 Допущения МНК для множественной регрессии
4 допущения (Key Concept 6.4):
• 1. E(ui | X1i,...,Xki) = 0 — ошибка некоррелирована с регрессорами
• 2. (X1i,...,Xki, Yi) — i.i.d.
• 3. Нет крупных выбросов (finite 4th moments)
• 4. Нет точной мультиколлинеарности (No perfect multicollinearity)
6.7 Мультиколлинеарность
Perfect multicollinearity: один регрессор является точной линейной функцией другого → OLS не
определён
Imperfect multicollinearity: регрессоры сильно скоррелированы → OLS определён, но SE велики
⚠ Пример perfect multicollinearity: включить одновременно D (0/1) и (1−D)
6.8 Контрольные переменные (Control Variables)
Control variable (контрольная переменная): включается в регрессию для устранения OVB, не
представляет прямого интереса
Conditional Mean Independence: E(ui|X1i, Wi) = E(ui|Wi) — ошибка не зависит от X1 при контроле W
⚠ При выполнении условия условной независимости средних β̂1 — состоятельная оценка
причинного эффекта X1
ГЛАВА 7 — Гипотезы и ДИ в множественной регрессии
7.1 t-тест для одного коэффициента
t → = (β̂j − βj,0) / SE(β̂j)
p-value → = 2·Φ(−|t_act|)
⚠ Та же логика, что в главе 5, но теперь j-й коэффициент из множественной регрессии
95% CI → = β̂j ± 1.96 · SE(β̂j)
7.2 Совместная проверка гипотез — F-тест
Joint hypothesis (совместная гипотеза): одновременная проверка нескольких ограничений: H0:
β1=0 AND β2=0
F-статистика:
F → = (SSRrestricted − SSRunrestricted) / q
÷
SSRunrestricted/(n−k−1)
q → = число ограничений (число проверяемых коэффициентов)
F ~ Fq,∞ при H0 →
⚠ Отвергаем H0 на 5% если F > критическое значение (напр. F2,∞: крит. значение ≈ 3.00)
⚠ НЕ тестируй β1=0 и β2=0 двумя отдельными t-тестами — это неверно!
Homoskedasticity-only F-статистика (упрощённая):
F_hom → = [(R²_unres − R²_res) / q]
/
[(1 − R²_unres)/(n−k−1)]
⚠ Homoskedasticity-only F действительна только при гомоскедастичности
7.3-7.4 Ограничения на несколько коэффициентов / Confidence Sets
H0: β1 + β2 = 1: пример ограничения на несколько коэффициентов
Confidence Set (доверительное множество): набор значений (β1, β2) не отвергаемых
совместным тестом (эллипс в 2D)
7.5 Выбор спецификации модели
Принципы выбора регрессоров:
• Включай переменные, теоретически влияющие на Y
• Включай контрольные переменные для устранения OVB
• Adjusted R² помогает сравнивать модели, но не является единственным критерием
• Не ищи спецификацию методом перебора по максимуму R² — это data mining
⚠ Выбор спецификации должен основываться на экономической теории и логике, а не только на
статистике
Ситуация
Используй
Тест одного коэффициента βj = 0
t-тест: t = β̂j / SE(β̂j)
Совместный тест нескольких β = 0
F-тест (heteroskedasticity-robust)
Ограничение вида β1 = β2
Метод из раздела 7.3: ввести новый
регрессор
Сравнение моделей с разным k
Adjusted R²
ГЛАВА 8 — Нелинейные функции регрессии
8.1 Общая стратегия моделирования нелинейности
Нелинейная функция: функция f(X) с непостоянным наклоном — slope зависит от X
Стратегия: добавить нелинейные трансформации X в множественную регрессию и применить
стандартный OLS
Эффект изменения X: ΔŶ = (β̂1 + 2β̂2·X)·ΔX — зависит от начального уровня X
8.2 Полиномиальная регрессия
Quadratic (r=2) → Yi = β0 + β1Xi + β2Xi² + ui
Polynomial degree r → Yi = β0 + β1Xi + β2Xi² + ... + βrXiʳ + ui
Интерпретация:
• β1 и β2 по отдельности не интерпретируются — берём производную
Slope at X=x → = β1 + 2β2·x
(для квадратичной)
⚠ Тестируй нелинейность: H0: β2 = β3 = ... = βr = 0 с помощью F-теста
⚠ Степень r обычно ≤ 4 — выше не нужно для большинства экономических данных
8.2 Логарифмические спецификации
Case
Модель
Интерпретация β1
Linear-Log
Y = β0 + β1·ln(X) + u
1% рост X → изменение Y на 0.01·β1
единиц
Log-Linear
ln(Y) = β0 + β1·X + u
1 единица роста X → β1·100% изменение
Y (приближённо)
Log-Log
ln(Y) = β0 + β1·ln(X) + u
1% рост X → β1% изменение Y
(эластичность = β1)
Elasticity (эластичность): = % изменение Y / % изменение X = β1 в log-log модели
Semi-elasticity (полуэластичность): = % изменение Y на 1 единицу X = β1·100% в log-linear
⚠ Логарифм можно брать только от положительных переменных
⚠ R² нельзя сравнивать если зависимые переменные разные (Y vs ln(Y))
8.3 Взаимодействия (Interaction Terms)
Взаимодействие двух бинарных переменных:
Yi = β0 + β1D1i + β2D2i + β3(D1i·D2i) + ui →
β3: дополнительный эффект от сочетания D1=1 и D2=1 сверх суммы отдельных эффектов
Взаимодействие непрерывной и бинарной переменной:
Yi = β0 + β1Xi + β2Di + β3(Xi·Di) + ui →
Slope при D=0: = β1
Slope при D=1: = β1 + β3
β3: разница наклонов между двумя группами
⚠ Тестируй H0: β3 = 0 с помощью t-теста для проверки различия наклонов
Взаимодействие двух непрерывных переменных:
Yi = β0 + β1X1i + β2X2i + β3(X1i·X2i) + ui →
∂Y/∂X1 → = β1 + β3·X2
— эффект X1 зависит от уровня X2
Выбор логарифмической или полиномиальной спецификации
Критерий
Что делать
Теория предполагает постоянную
эластичность
Log-log
Теория предполагает убывающую отдачу
Log-linear или квадратичная
Переменная имеет нулевые значения
Нельзя брать логарифм — используй
полином
Сравнение моделей с одной зависимой
переменной
R² или Adjusted R²
ГЛАВА 9 — Оценка качества исследований на основе регрессии
9.1 Внутренняя и внешняя валидность
Internal Validity (внутренняя валидность): статистические выводы о причинном эффекте верны
для изученной выборки и условий
External Validity (внешняя валидность): выводы можно обобщить на другие генеральные
совокупности и условия
9.2 Угрозы внутренней валидности
5 основных угроз (Key Concept 9.7):
Угроза
Описание
Следствие
1. Omitted Variable Bias
Пропущена переменная,
коррелирующая с X и
влияющая на Y
E(u|X) ≠ 0 → OLS смещён
2. Functional Form
Misspecification
Неверная функциональная
форма (линейная вместо
нелинейной)
E(u|X) ≠ 0 → смещение
3. Errors in Variables
(Measurement Error)
X измерен с ошибкой (errorsin-variables)
Attenuation bias: β̂1 смещён к
нулю
4. Sample Selection Bias
Выборка систематически не
представляет генеральную
совокупность
OLS смещён
5. Simultaneous Causality
(Reverse Causality)
Y влияет на X
(двунаправленная
причинность)
E(u|X) ≠ 0 → смещение
⚠ Все 5 угроз нарушают допущение E(ui|Xi)=0 → OLS смещён и несостоятелен
⚠ Неправильные стандартные ошибки (напр. homoskedasticity-only при гетероскедастичности) —
отдельная угроза валидности
Errors-in-Variables подробнее
Attenuation bias (смещение к нулю): когда X измерен с ошибкой, β̂1 смещён к нулю: |β̂1| < |β1|
β̂1 →ᵖ β1 · [σ²X / (σ²X + σ²w)] → где σ²w — дисперсия ошибки измерения
⚠ Чем больше ошибка измерения относительно истинной дисперсии X, тем сильнее смещение
Simultaneous Causality подробнее
Simultaneous causality bias: возникает когда Y → X (обратная причинность), напр. цена ↔ спрос
Решение: инструментальные переменные (IV / TSLS) — глава 12
9.1–9.3 Угрозы внешней валидности
• Различия в генеральных совокупностях (другая страна, период, демография)
• Различия в условиях реализации (program treatment)
• Hawthorne effect: поведение меняется под наблюдением
⚠ Внешняя валидность оценивается содержательно, а не статистически
9.3 Внутренняя и внешняя валидность при предсказании
Prediction (предсказание): цель — точный прогноз Ŷ, а не оценка причинного эффекта
При предсказании:: внешняя валидность важна; смещение коэффициентов менее критично если Ŷ
точен
⚠ Для предсказания можно включать переменные без теоретического обоснования; для
причинного вывода — нельзя
Как выявить угрозы в реальном исследовании — чеклист
Вопрос
Проверяешь угрозу
Есть ли факторы, влияющие на Y и
коррелирующие с X, не включённые в
модель?
OVB
Правильна ли функциональная форма?
(scatterplot, тест нелинейности)
Functional form misspecification
Точно ли измерены регрессоры? Есть ли
систематические ошибки в данных?
Errors in variables
Репрезентативна ли выборка? Есть ли selfselection?
Sample selection bias
Может ли Y влиять на X (обратная
причинность)?
Simultaneous causality
Используются ли robust стандартные ошибки?
Гетероскедастичность
Сопоставима ли изученная популяция с той,
на которую делаются выводы?
External validity
ШПАРГАЛКА — Все ключевые формулы глав 4–9
Формула
Что это
Yi = β0 + β1Xi + ui
Модель простой регрессии
β̂1 = Σ(Xi−X̄)(Yi−Ȳ) / Σ(Xi−X̄)²
OLS оценка наклона
β̂0 = Ȳ − β̂1·X̄
OLS оценка свободного члена
SSR=Σûi², ESS=Σ(Ŷi−Ȳ)², TSS=ESS+SSR
Разложение суммы квадратов
R² = 1 − SSR/TSS
Коэффициент детерминации [0,1]
SER = √[SSR/(n−2)]
Стандартная ошибка регрессии
R̄² = 1 − [(n−1)/(n−k−1)]·SSR/TSS
Скорректированный R²
t = (β̂1 − β1,0) / SE(β̂1)
t-статистика для теста H0: β1=β1,0
p-value = 2·Φ(−|t_act|)
p-значение двустороннего теста
95% CI = β̂1 ± 1.96·SE(β̂1)
Доверительный интервал 95%
F = [(SSRr−SSRu)/q] / [SSRu/(n−k−1)]
F-статистика для совместного теста
OVB: β̂1 → β1 + β2·(cov(X,Z)/var(X))
Формула смещения из-за пропущенной
переменной
Quadratic: ΔŶ = (β̂1 + 2β̂2·x)·ΔX
Эффект изменения X в квадратичной модели
Log-log: 1% ΔX → β1% ΔY
Эластичность в log-log модели
Log-linear: ΔX=1 → β1·100% ΔY
Полуэластичность в log-linear модели
Attenuation: β̂1 → β1·σ²X/(σ²X+σ²w)
Смещение к нулю при ошибке измерения
Критические значения для справки
Уровень
значимости
Двусторонний
t-тест
F(1,∞)
F(2,∞)
F(3,∞)
10%
±1.645
2.71
2.30
2.08
5%
±1.96
3.84
3.00
2.60
1%
±2.576
6.63
4.61
3.78
Удачи на экзамене! �
0
