Resumo Completo — Problema 11
Hipóteses de MQO, o Modelo de Regressão Múltipla em Forma Matricial e Multicolinearidade
Econometria I — FGV EESP | Base: Stock & Watson (2019), seções 6.5, 6.7, 18.1 e 19.1
1. As Hipóteses de Mínimos Quadrados para Inferência Causal na Regressão Múltipla (The Least Squares
Assumptions for Causal Inference in Multiple Regression)
Nesta seção tornam-se precisos os requisitos para que o MQO (OLS) forneça inferências válidas sobre efeitos causais.
Considera-se o caso em que se deseja conhecer os efeitos causais de todos os k regressores do modelo de regressão
múltipla; isto é, todos os coeficientes β1, …, βk são efeitos causais de interesse.
A Seção 6.8 apresenta as hipóteses de mínimos quadrados que se aplicam quando apenas alguns dos coeficientes são
efeitos causais, enquanto os demais são coeficientes de variáveis incluídas para controlar fatores omitidos e não têm
necessariamente interpretação causal. O Apêndice 6.4 fornece as hipóteses de mínimos quadrados para predição com
múltiplos regressores.
Há quatro hipóteses de mínimos quadrados para inferência causal no modelo de regressão múltipla. As três primeiras
são as da Seção 4.3 para o modelo com um único regressor (Conceito-Chave 4.3), estendidas para permitir múltiplos
regressores, e por isso são discutidas aqui apenas brevemente. A quarta hipótese é nova e é discutida em mais detalhe.
Hipótese 1: A Distribuição Condicional de u i Dado X1i, X2i, …, Xki Tem Média 0
A primeira hipótese é que a distribuição condicional de ui dado X1i, …, Xki tem média 0:
E(ui | X1i, X2i, …, Xki) = 0
Essa hipótese estende a primeira hipótese de mínimos quadrados do caso com um único regressor para o caso de
múltiplos regressores. Ela é implicada se X1i, …, Xki forem aleatoriamente atribuídos ou como se fossem
aleatoriamente atribuídos (as-if random assignment); se for esse o caso, para qualquer valor dos regressores o valor
esperado de ui é 0.
Como no caso da regressão com um único regressor, esta é a hipótese-chave que torna os estimadores de MQO não
viesados.
Hipótese 2: (X1i, X2i, …, Xki, Yi), i = 1, …, n, São i.i.d.
A segunda hipótese é que (X1i, …, Xki, Yi), i = 1, …, n, são variáveis aleatórias independentes e identicamente
distribuídas (i.i.d.). Essa hipótese vale automaticamente se os dados forem coletados por amostragem aleatória
simples. Os comentários sobre essa hipótese feitos na Seção 4.3 para um único regressor também se aplicam ao caso
de múltiplos regressores.
Hipótese 3: Grandes Outliers São Improváveis
A terceira hipótese de mínimos quadrados é que grandes outliers — isto é, observações com valores muito fora da
faixa usual dos dados — são improváveis. Essa hipótese serve como lembrete de que, como no caso de um único
regressor, o estimador de MQO dos coeficientes do modelo de regressão múltipla pode ser sensível a grandes outliers.
A hipótese de que grandes outliers são improváveis é tornada matematicamente precisa supondo que X 1i, …, Xki e Yi
têm quartos momentos finitos e não nulos:
0 < E(X41i) < ∞, …, 0 < E(X4ki) < ∞ e 0 < E(Y4i) < ∞
Outra forma de enunciar essa hipótese é dizer que a variável dependente e os regressores têm curtose finita. Essa
hipótese é usada para derivar as propriedades das estatísticas da regressão de MQO em grandes amostras.
Hipótese 4: Ausência de Multicolinearidade Perfeita
A quarta hipótese é nova no modelo de regressão múltipla. Ela exclui uma situação inconveniente chamada
multicolinearidade perfeita, na qual é impossível calcular o estimador de MQO. Diz-se que os regressores exibem
multicolinearidade perfeita (ou que são perfeitamente multicolineares) se um dos regressores é uma função linear
perfeita dos demais regressores. A quarta hipótese de mínimos quadrados é que os regressores não são
perfeitamente multicolineares.
Em nível intuitivo, a multicolinearidade perfeita é um problema porque se está pedindo que a regressão responda a
uma pergunta ilógica. Na regressão múltipla, o coeficiente de um dos regressores é o efeito de uma variação naquele
regressor, mantendo os demais constantes. Na regressão hipotética de TestScore sobre STR e STR, o coeficiente da
primeira ocorrência de STR seria o efeito sobre as notas de uma variação em STR mantendo STR constante. Isso não
faz sentido, e o MQO não consegue estimar esse efeito parcial sem sentido.
A solução para a multicolinearidade perfeita nessa regressão hipotética é simplesmente corrigir o erro de digitação e
substituir uma das ocorrências de STR pela variável que originalmente se queria incluir. Esse exemplo é típico: quando
ocorre multicolinearidade perfeita, isso frequentemente reflete um erro lógico na escolha dos regressores ou alguma
característica do conjunto de dados até então não percebida. Em geral, a solução é modificar os regressores para
eliminar o problema.
2. O Modelo de Regressão Múltipla Linear e o Estimador de MQO em Forma Matricial (The Linear Multiple
Regression Model and OLS Estimator in Matrix Form)
O modelo de regressão múltipla linear e o estimador de MQO podem ser representados de forma compacta usando
notação matricial.
O Modelo de Regressão Múltipla em Notação Matricial
O modelo populacional de regressão múltipla é
Yi = β0 + β1X1i + β2X2i + … + βkXki + ui, i = 1, …, n. (19.1)
Para escrever o modelo de regressão múltipla em forma matricial, definem-se os vetores e matrizes Y, U, X e β
(equação 19.2):
(19.2)
de modo que Y é n × 1, X é n × (k + 1), U é n × 1 e β é (k + 1) × 1. Ao longo do texto, matrizes e vetores são denotados
em negrito. Nessa notação:
• Y é o vetor de dimensão n × 1 das n observações da variável dependente.
• X é a matriz de dimensão n × (k + 1) das n observações dos k + 1 regressores (incluindo o regressor “constante”,
correspondente ao intercepto).
• O vetor-coluna Xi, de dimensão (k + 1) × 1, é a i-ésima observação dos k + 1 regressores; isto é, X′i = (1 X1i …
Xki), em que X′i denota a transposta de Xi.
• U é o vetor de dimensão n × 1 dos n termos de erro.
• β é o vetor de dimensão (k + 1) × 1 dos k + 1 coeficientes de regressão desconhecidos.
O modelo de regressão múltipla da Equação (19.1), para a i-ésima observação, escrito com os vetores β e Xi, é
Yi = X′iβ + ui, i = 1, …, n. (19.4)
Na Equação (19.4), o primeiro regressor é o regressor “constante”, que sempre é igual a 1, e seu coeficiente é o
intercepto. Assim, o intercepto não aparece separadamente na Equação (19.4); em vez disso, ele é o primeiro
elemento do vetor de coeficientes β.
Empilhando todas as n observações da Equação (19.4), obtém-se o modelo de regressão múltipla em forma matricial:
Y = Xβ + U. (19.5)
As Hipóteses de Mínimos Quadrados Estendidas (The Extended Least Squares Assumptions)
As hipóteses de mínimos quadrados estendidas para o modelo de regressão múltipla são as quatro hipóteses de
mínimos quadrados para inferência causal descritas acima mais duas hipóteses adicionais: homocedasticidade e erros
normalmente distribuídos. A hipótese de homocedasticidade é usada quando se estuda a eficiência do estimador de
MQO, e a hipótese de normalidade é usada quando se estuda a distribuição amostral exata do estimador de MQO e
das estatísticas de teste.
As hipóteses estendidas são:
Yi = X′iβ + ui, i = 1, …, n, (19.3)
em que β é o vetor de efeitos causais e:
1.
E(ui | Xi) = 0 (ui tem média condicional 0);
2.
(Xi, Yi), i = 1, …, n, são extrações independentes e identicamente distribuídas (i.i.d.) de sua distribuição
conjunta;
3.
Xi e ui têm quartos momentos finitos e não nulos;
4.
X tem posto-coluna completo (não há multicolinearidade perfeita);
5.
var(ui | Xi) = σ2u (homocedasticidade); e
6.
A distribuição condicional de ui dado Xi é normal (erros normais).
Implicações para o Vetor de Médias e a Matriz de Covariância de U
As hipóteses de mínimos quadrados implicam expressões simples para o vetor de médias e a matriz de covariância
da distribuição condicional de U dada a matriz de regressores X. (O vetor de médias e a matriz de covariância de um
vetor de variáveis aleatórias são definidos no Apêndice 19.2.)
Especificamente, a primeira e a segunda hipóteses implicam que E(ui | X) = E(ui | Xi) = 0 e que
cov(ui, uj | X) = E(uiuj | X) = E(ui | X)E(uj | X) = 0 para i ≠ j.
A primeira, a segunda e a quinta hipóteses implicam que E(u2i | X) = E(u2i | Xi) = σ2u. Combinando esses resultados,
tem-se que:
sob as hipóteses 1 e 2, E(U | X) = 0n, (19.6)
sob as hipóteses 1, 2 e 5, E(UU′ | X) = σ2uIn, (19.7)
em que 0n é o vetor n-dimensional de zeros e In é a matriz identidade n × n.
De modo análogo, a primeira, a segunda, a quinta e a sexta hipóteses das hipóteses de mínimos quadrados estendidas
implicam que a distribuição condicional do vetor aleatório n-dimensional U, condicional em X, é a distribuição normal
multivariada (definida no Apêndice 19.2). Isto é,
sob as hipóteses 1, 2, 5 e 6, a distribuição condicional de U dado X é N(0n, σ2uIn). (19.8)
O Estimador de MQO (The OLS Estimator)
O estimador de MQO minimiza a soma dos quadrados dos erros de previsão, isto é, a soma das diferenças ao
quadrado entre os valores observados da variável dependente Y e os valores previstos pelo modelo linear Xβ̃:
ũ = Y − Xβ̃
em que:
• Y é um vetor de observações da variável dependente;
• X é a matriz de observações dos regressores (incluindo o intercepto);
• β̃ é um vetor de coeficientes estimados — identificado dessa forma porque ainda não se minimizou a soma dos
quadrados dos resíduos e, portanto, ainda não se encontrou β̂, nome dado ao estimador de MQO.
A soma dos quadrados dos resíduos (S) é então expressa como:
S = ũ′ũ = (Y − Xβ̃)′(Y − Xβ̃) = Σni=1 (Yi − β̃0 − β̃1X1i − … − β̃kXki)2
O objetivo é minimizar essa função quadrática em relação ao vetor de coeficientes β̃. Uma vez igualadas a zero as
condições de primeira ordem, obtêm-se os estimadores de MQO, e então se usa β̂. Primeiro, expande-se a expressão
de S:
S = (Y − Xβ̃)′(Y − Xβ̃) = (Y′ − β̃′X′)(Y − Xβ̃) = Y′Y − Y′Xβ̃ − β̃′X′Y + β̃′X′Xβ̃
Analisando as dimensões dos dois termos centrais dessa expressão, vê-se que ambos são escalares (e que um é a
transposta do outro), de modo que podem ser agrupados em um único termo. Além disso, o último termo é
equivalente à identidade. Assim, tem-se:
S = Y′Y − 2β̃′X′Y + β̃′X′Xβ̃
Note que Y′Y é constante em relação a β̃ e pode, portanto, ser ignorado no processo de minimização. Toma-se a
derivada de S em relação a β̃ e iguala-se a zero:
∂S / ∂β̃ = −2X′Y + 2X′Xβ̂ = 0
Resolvendo para β̂:
X′Xβ̂ = X′Y
Se a matriz X′X for invertível, pode-se multiplicar ambos os lados por (X′X)−1 e obter β̂. De fato, a quarta hipótese de
mínimos quadrados (“ausência de multicolinearidade perfeita”) afirma que X tem posto-coluna completo. Por sua
vez, isso implica que a matriz X′X tem posto completo — isto é, que X′X é não singular. Como X′X é não singular, ela é
invertível. Assim, a hipótese de que não há multicolinearidade perfeita garante que (X′X)−1 existe:
β̂ = (X′X)−1X′Y
Esta é a fórmula matricial do estimador de MQO, que fornece o conjunto de coeficientes estimados que minimizam
a soma dos quadrados dos resíduos. É uma solução analítica que depende exclusivamente dos dados observados em
X e Y.
3. Multicolinearidade (Multicollinearity)
Como discutido, a multicolinearidade perfeita surge quando um dos regressores é uma combinação linear perfeita
dos demais regressores. Esta seção apresenta alguns exemplos de multicolinearidade perfeita e discute como ela pode
surgir — e como pode ser evitada — em regressões com múltiplos regressores binários.
A multicolinearidade imperfeita surge quando um dos regressores é muito altamente correlacionado — mas não
perfeitamente correlacionado — com os demais regressores. Diferentemente da multicolinearidade perfeita, a
imperfeita não impede a estimação da regressão, nem implica um problema lógico na escolha dos regressores.
Contudo, ela significa que um ou mais coeficientes podem ser estimados de forma imprecisa.
Exemplos de Multicolinearidade Perfeita
Continua-se a discussão da multicolinearidade perfeita da Seção 6.5 examinando três regressões hipotéticas
adicionais. Em cada uma delas, um terceiro regressor é adicionado à regressão de TestScore sobre STR e PctEL da
Equação (6.12).
Exemplo 1: Fração de estudantes aprendizes de inglês (Fraction of English learners)
Seja FracELi a fração de aprendizes de inglês no i-ésimo distrito, que varia entre 0 e 1. Se a variável FracELi fosse incluída
como terceiro regressor, além de STRi e PctELi, os regressores seriam perfeitamente multicolineares. A razão é que
PctEL é a porcentagem de aprendizes de inglês, de modo que PctELi = 100 × FracELi para todo distrito. Assim, um dos
regressores (PctELi) pode ser escrito como uma função linear perfeita de outro regressor (FracELi).
Exemplo 2: Turmas “não muito pequenas” (“Not very small” classes)
Seja NVSi uma variável binária que é igual a 1 se a razão aluno–professor no i-ésimo distrito for “não muito pequena”;
especificamente, NVSi é igual a 1 se STRi ≥ 12 e igual a 0 caso contrário. Essa regressão também exibe
multicolinearidade perfeita, mas por uma razão mais sutil do que a do exemplo anterior.
De fato, não há distritos no conjunto de dados com STR < 12; como se pode ver no diagrama de dispersão da Figura
4.2, o menor valor de STR é 14. Assim, NVSi = 1 para todas as observações. Lembre-se agora de que o modelo de
regressão linear com intercepto pode ser equivalentemente pensado como incluindo um regressor X 0i que é igual a 1
para todo i, como mostrado na Equação (6.6). Assim, pode-se escrever NVSi = 1 × X0i para todas as observações do
conjunto de dados; isto é, NVSi pode ser escrito como uma combinação linear perfeita dos regressores —
especificamente, é igual a X0i.
Exemplo 3: Porcentagem de falantes de inglês (Percentage of English speakers)
Seja PctESi a porcentagem de falantes de inglês no i-ésimo distrito, definida como a porcentagem de alunos que não
são aprendizes de inglês. Novamente os regressores serão perfeitamente multicolineares. Como no exemplo anterior,
a relação linear perfeita entre os regressores envolve o regressor constante X0i. Para todo distrito:
PctESi = 100 − PctELi = 100 × X0i − PctELi, pois X0i = 1 para todo i.
A armadilha da variável dummy (The dummy variable trap)
Outra possível fonte de multicolinearidade perfeita surge quando múltiplas variáveis binárias (dummies) são usadas
como regressores. Por exemplo, suponha que os distritos escolares tenham sido particionados em três categorias:
rural, suburbano e urbano. Cada distrito pertence a uma (e apenas uma) categoria. Sejam essas variáveis binárias
Rurali, Suburbani e Urbani. Se as três variáveis binárias forem incluídas na regressão junto com uma constante, os
regressores serão perfeitamente multicolineares: como cada distrito pertence a uma e apenas uma categoria,
Rurali + Suburbani + Urbani = 1 = X0i,
em que X0i denota o regressor constante introduzido na Equação (6.6).
Soluções para a multicolinearidade perfeita (Solutions to perfect multicollinearity)
A multicolinearidade perfeita tipicamente surge quando foi cometido um erro na especificação da regressão. Às vezes
o erro é fácil de detectar (como no primeiro exemplo), mas às vezes não é (como no segundo exemplo). De uma forma
ou de outra, o software avisará que existe tal erro, porque não consegue calcular o estimador de MQO quando ele
ocorre.
Multicolinearidade Imperfeita (Imperfect Multicollinearity)
Apesar do nome semelhante, a multicolinearidade imperfeita é conceitualmente bastante diferente da
multicolinearidade perfeita. Multicolinearidade imperfeita significa que dois ou mais regressores são altamente
correlacionados, no sentido de que existe uma função linear dos regressores que é altamente correlacionada com
outro regressor.
A multicolinearidade imperfeita não representa problema algum para a teoria dos estimadores de MQO; pelo
contrário, um dos usos do MQO é justamente separar as influências independentes dos vários regressores quando
estes são correlacionados.