Эконометрика в Gretl. Часть 1 — учебное пособие Орловой И.В.

Федеральное государственное образовательное бюджетное учреждение высшего образования «ФИНАНСОВЫЙ УНИВЕРСИТЕТ ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ» (Финансовый университет) Департамент анализа данных, принятия решений и финансовых технологий И. В. Орлова Эконометрика в Gretl (часть 1) Учебное пособие для проведения семинаров по дисциплинам Эконометрика, Эконометрические исследования, Эконометрическое моделирование. для студентов, обучающихся по направлениям подготовки 38.03.01 «Экономика» Электронное издание Москва 2019 1 Федеральное государственное образовательное бюджетное учреждение высшего образования «ФИНАНСОВЫЙ УНИВЕРСИТЕТ ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ» (Финансовый университет) Департамент анализа данных, принятия решений и финансовых технологий И. В. Орлова Эконометрика в Gretl (часть 1) Учебное пособие для проведения семинаров по дисциплинам Эконометрика, Эконометрические исследования, Эконометрическое моделирование. для студентов, обучающихся по направлениям подготовки 38.03.01 «Экономика» Электронное издание Утверждено на заседании Совета Департамента анализа данных, принятия решений и финансовых технологий (протокол №14 от 28 мая 2019г.) Москва 2019 2 УДК 330.43:004(076:5) ББК 65 в 631 О66 Рецензент: Л. О. Бабешко., д.э.н., профессор Департамента анализа данных, принятия решений и финансовых технологий Орлова И. В. Учебное пособие «Эконометрика в Gretl (часть 1))». – М.: Финансовый университет, Департамент анализа данных, принятия решений и финансовых технологий, 2019 – 88 с. Предлагаемое учебное пособие охватывает круг вопросов, связанных с эконометрическими методами оценки параметров отдельных регрессионных моделей, проверки их статистической значимости. Включены подробные решения задач в программе Gretl. Предлагаемое учебное пособие адресовано студентам бакалавриата и магистратуры, обучающимся по направлению «Экономика», учебный план которого предусматривает дисциплины «Эконометрика», «Эконометрические исследования». УДК 330.43(075.8) ББК 65 в 631 Учебное издание Орлова И. В. Эконометрика: точечные и интервальные оценки, диагностика, системы одновременных уравнений (в Excel и программной среде R) Учебное пособие Компьютерный набор, верстка: Орлова И. В. Формат 60x90/16. Гарнитура Times New Roman Усл. п.л. _5.3_ Изд. № __.__ - 2019. Тираж – ___экз. Заказ № ____ Отпечатано в Финансовом университете ©© © Орлова И. В. 2019 © Финуниверситет, 2019 3 Оглавление Введение ........................................................................................................................................5 1. Общие сведения о пакете Gretl ........................................................................................6 2. Импорт данных в Gretl и поддерживаемые форматы данных .................................7 3. Оценка тесноты линейной связи...................................................................................15 4. Множественная линейная регрессия .................................................................................29 4.1. Оценка параметров модели линейной регрессии с помощью метода наименьших квадратов (МНК) .......................................................................................................................30 4.2. Основные предпосылки метода наименьших квадратов ...........................................31 4.3. Оценка качества модели множественной регрессии. Прогнозирование по модели регрессии. ....................................................................................................................................32 5. Некоторые вопросы применения модели регрессии ......................................................46 5.1. Мультиколлинеарность. Причины, последствия, тестирование в Gretl. ..............46 5.2. Обнаружение влиятельных наблюдений и выбросов. ................................................63 5.3. Модели бинарного выбора................................................................................................70 Литература ..................................................................................................................................87 4 Введение Использование Gretl при решении задач эконометрического моделирования можно обосновать следующим образом. Во-первых, это свободно распространяемый, бесплатный, достаточно удобный и универсальный пакет для выполнения эконометрических расчетов. Вовторых, это кроссплатформенный пакет, т. е., его можно установить под Windows, Mac и Linux. Во-третьих, легкий в изучении. Gretl значительно проще в работе чем статистический пакет R, и предоставляет более широкие возможности чем Excel, что повышает уровень усвоения учебного материала. В то же время способность Gretl работать с языком программирования R расширяет его возможности. Есть много статистических процедур, доступных при подключении R. Хотя Gretl сам по себе достаточно мощный, есть еще много методов, которые в нем не реализованы. Способность сочетать Gretl и R позволяет исследователю решать сложные задачи с относительной легкостью. Для пользователей Gretl доступно множество примеров файлов данных, которые автоматически подключаются при установке; многие образцы данных взяты из ведущих учебников по эконометрике, что делает Gretl идеальным педагогическим инструментом для преподавания и изучения эконометрики. В учебном пособии изложено применение пакета Gretl для решения задач по основным темам дисциплины Эконометрики, теоретическая часть сведена к минимуму, приведены формулы и алгоритмы, необходимые для решения задач. Решение всех задач сопровождается иллюстративным материалом. Наличие расчетных формул и пошагового описания выполнения эконометрических расчетов позволяют применять учебно-методическое пособие для самостоятельной работы студентов всех видов обучения по дисциплинам Эконометрика, Эконометрические исследования, Эконометрическое моделирование. 5 1. Общие сведения о пакете Gretl Пакет программ Gretl (GNU Regression Econometrics and Time Series Library) представляет собой инструментарий для практической реализации сложных вычислительных процедур эконометрического моделирования. Gretl в доступен на Интернет-сайтах http://gretl.sourceforge.net или http://www.kufel.torun.pl. Возможности программы: 1. Основные описательные статистики (среднее арифметическое, медиана, минимальное и максимальное значения, среднеквадратическое отклонение, коэффициент изменчивости (вариации), коэффициент асимметрии, коэффициент эксцесса). 2. Проверка нормальности распределения, распределение частот случайной величины, распределение плотности вероятностей, определение коэффициентов корреляции и т.д. 3. Предусматривает непосредственный доступ к статистическим таблицам. Пакет Gretl содержит встроенные статистические таблицы для следующих распределений: нормального, t-распределения Стьюдента, Fраспределения Фишера, хи-квадрат, Пуассона, биномиального и распределения Дарбина- Уотсона. Существует возможность вычисления критических значений, p-value. 4. Анализ временных рядов (набор методов оценивания обобщённым МНК, модели ARMAX и GARCH, система уравнений авторегрессии (VAR), проверка коинтеграции; построение линии тренда, кореллограммы, периодограммы; проверка единичных (одношаговый метод корней, моделирование типа ARIMA). 5. Регрессионный анализ наименьших квадратов (1МНК), взвешенный МНК, двухшаговый МНК - оценка систем одновременных уравнений, методы оценивания логит и пробит моделей, нелинейных моделей, и т.д.) 6 6. Метод главных компонент. 7. Панельные оценки данных, включая инструментальные модели динамических панелей. 8. Построение графиков и др. Запуск программы осуществляется через Пуск-Программы-Gretl-Gretl или двойным щелчком мыши по иконке Gretl на рабочем столе. 2. Импорт данных в Gretl и поддерживаемые форматы данных В начале работы с пакетом Gretl необходимо создать или открыть набор статистических данных. Меню Файл содержит команды по созданию, открытию и сохранению файлов с данными и командами Gretl. Каждый набор данных может быть одним из трёх типов: 1. Пространственные данные (cross-sectional). Пространственные данные — характеризуют ситуацию по конкретной переменной (или набору переменных), относящейся к пространственно разделенным сходным объектам в один и тот же момент времени. 2. Временные ряды (time series). Временные ряды — отражают изменения (динамику) какой-либо переменой на промежутке времени 3. Панельные данные (panel). Панельные данные — представляют собой прослеженные во времени пространственные выборки, которые состоят из наблюдений одних и тех же экономических объектов в последовательные периоды времени. Панельные данные состоят из трех измерений: признаки — объекты — время. Возможен ручной ввод информации с клавиатуры или импорт заранее подготовленной таблицы Excel (рис.2.1), а также некоторых других типов файлов. Подробнее о вводе информации [9], [11]. Возможно редактирование введенной информации. Поддерживаемые форматы данных 7 Gretl поддерживает работу с данными в разных форматах (рис.2.1): csv (с различными разделителями); листы Excel (*.xls и *.xlxs), текстовые файлы (*.txt) файлы (*.dta ) из Stata; файлы (*.sav) из SPSS; рабочие файлы Eviews и другие. Рис. 2.1. Типы файлов в Gretl. Импорт данных из Excel в Gretl Пример 2.1. В фале 2.1.xlxs приведена информация за 16 месяцев c января 2012 г. об объемах продаж одного из продуктов кондитерской фирмы и влияющих на объем продаж факторов (рис.2.2) [2]. В этом примере количество наблюдений n = 16, количество факторов k = 5. 8 Рис.2.2. Исходные данные. Требуется:  Передать данные из Excel в Gretl.  Сохранить данные в файл 3.1 формате gbt (Gretl datafiles). Решение 1) Открыть Gretl. 2) Меню Файл Открыть  Пользовательские (Рис.2.3) Рис. 2.3. Открытие файла (меню главного окна). 9 3) Указать расположение файла (если книга Excel не отображается в нужной папке, сменить фильтр по расширениям файлов в правой нижней части экрана) – рис. 2.4. Рис.2.4.Выбор файла для загрузки. 4) Выбрать лист для импорта, указать, что данные начинаются со первого столбца и с первой строки (рис. 2.5). Появится информация о введенных переменных (рис. 2.6). 5) Данные представляют собой перекрёстные данные (другими словами, пространственную выборку). На вопрос Gretl, нужно ли интерпретировать их как временной ряд или панельные данные, следует ответить «Да» и указать «Временные ряды» (рис. 2.7). 6) Далее следует указать, что данные являются ежемесячными (рис. 2.8) и указать первое наблюдение 2012.01 (рис. 2.9). 7) После подтверждения структуры данных (рис. 2.10) можно посмотреть на данные ДанныеПоказать значения (меню главного окна) (рис.2.11-2.12). 10 Рис. 2.5. Выбор листа для импорта данных. Рис.2.6. Отображение информации о вводе 6 переменных и 16 наблюдений. 11 Рис. 2.7. Выбор структуры данных. Рис.2.8. Данные ежемесячные. Рис. 2.9. Дата первого наблюдения. 12 Рис. 2.10. Подтверждение структуры данных. Рис. 2.11. В меню Данные указать Показать значения. 13 Рис. 2.12. Просмотр введенных данных. 8) Для того, чтобы сохранить введенные данные в меню ФайлСохранить как надо указать имя файла, его расположение и выбранный формат gdt (рис.2.13). 14 Рис. 2.13. Сохранение данных. Ввод других типов данных будет показан на примерах в следующих параграфах. 3. Оценка тесноты линейной связи Эконометрические модели используются для анализа и прогнозирования взаимосвязей экономических объектов и процессов. В зависимости от решаемых задач эконометрические модели строятся на основе временных рядов или пространственных данных. В последнее время все чаще при эконометрическом моделировании используются панельные данные. Пространственные данные — характеризуют ситуацию по конкретной переменной (или набору переменных), относящейся к пространственно разделенным сходным объектам в один и тот же момент времени. 15 Временные ряды — отражают изменения (динамику) какой-либо переменой на промежутке времени. Панельные данные — представляют собой прослеженные во времени пространственные выборки, которые состоят из наблюдений одних и тех же экономических объектов в последовательные периоды времени. Панельные данные состоят из трех измерений: признаки — объекты — время. Переменные, участвующие в эконометрической модели любого типа, разделяются на следующие типы. Результирующая характеризует (эндогенная, результат или зависимая) переменная эффективность (Y) — функционирования экономической системы. Значения ее формируются в процессе и внутри функционирования этой системы под воздействием ряда других переменных и факторов, часть из которых поддается регистрации, управлению и планированию. В регрессионном анализе результирующая переменная играет роль функции, значение которой определяется значениями объясняющих переменных, выполняющих роль аргументов. По своей природе результирующая переменная всегда случайна (стохастична). Объясняющие (экзогенные, независимые) переменные (X) — переменные, которые поддаются регистрации и описывают условия функционирования реальной экономической системы. Они в значительной мере определяют значения результирующих переменных. Обычно часть из них поддается регулированию и управлению. Значение этих переменных могут задаваться вне анализируемой системы, поэтому их называют экзогенными, или факторными признаками. По своей природе они могут быть как случайными, так и неслучайными. Переменные, выступающие в системе в роли факторов-аргументов или объясняющих переменных, называют предопределенными. Множество предопределенных переменных формируется из всех экзогенных переменных и так называемых лаговых эндогенных переменных, то есть таких эндогенных 16 переменных, значения которых входят в уравнения анализируемой эконометрической системы, измеренных в прошлые моменты времени, а, следовательно, являются уже известными, заданными. Можно сказать, что любая эконометрическая модель предназначена для объяснения значений текущих эндогенных переменных (одной или нескольких) в зависимости от значений заранее определенных переменных. Изучая взаимосвязи между переменными, применяют ковариацию и корреляцию. Используемые обозначения: 𝐸(𝜉) — математическое ожидание случайной величины ξ; 𝑉𝑎𝑟(𝜉) — дисперсия случайной величины ξ; 𝐶𝑜𝑣(𝜉, 𝜂) — коэффициент ковариации между случайными величинами ξ и η; 𝐶𝑜𝑟𝑟(𝜉, 𝜂) = 𝑟𝜉,𝜂 — коэффициент корреляции между случайными величинами ξ и η. Если между случайными величинами Х и У существует стохастическая связь, то одним из параметров, характеризующих меру этой связи, является ковариация Cov (x, y). Ковариацию вычисляют по формуле С𝑜𝑣(𝑋, 𝑌) = 𝐸[(𝑥 − 𝐸𝑥 )(𝑦 − 𝐸𝑦 )] = 𝐸(𝑋𝑌) − 𝐸𝑥 𝐸𝑦 . Если случайные величины x и y независимы, то Cov(X, Y) = 0. Если ковариация случайных величин отлична от нуля, то между ними существует стохастическая связь, мерой которой и является величина ковариации. Следует отметить, что Cov (X, X) =Var(X) и Cov(Y, Y) = Var(Y). Выборочный коэффициент ковариации между двумя переменными x и y рассчитывается следующим образом: 17 𝑛 1 𝐶𝑜𝑣(𝑋, 𝑌) = ∑(𝑥𝑖 − 𝑥̄ )(𝑦𝑖 − 𝑦̄ ) = 𝑥𝑦 − 𝑥̄ ⋅ 𝑦̄ , 𝑛−1 𝑖=1 где (x1, y1), (x2, y2), …, (xn, у) — фактические значения случайных переменных X и Y; 1 1 𝑛 𝑛 𝑦̄ = ∑𝑛𝑖=1 𝑦𝑖 ; 𝑥̄ = ∑𝑛𝑖=1 𝑥𝑖 . Ковариация зависит от единиц, в которых измеряются переменные x и y, поэтому для измерения силы связи между двумя переменными используется другая статистическая характеристика, называемая коэффициентом корреляции 1 𝑛 𝐶𝑜𝑣(𝑋, 𝑌) 𝑛 − 1 ∑𝑖=1(𝑥𝑖 − 𝑥̄ )(𝑦𝑖 − 𝑦̄ ) 𝐶𝑜𝑟𝑟(𝑋, 𝑌) = 𝑟𝑥,𝑦 = = 𝑆𝑥 𝑆𝑦 𝑆𝑥2 𝑆𝑦2 ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̄ )(𝑦𝑖 − 𝑦̄ ) = , √∑𝑛𝑖=1(𝑥𝑖 − 𝑥̄ )2 ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̄ )2 где 𝑆𝑥 и 𝑆𝑦 — оценки среднеквадратических отклонений (СКО) величин xиy 𝑆𝑥 = √ 1 𝑛−1 ∑(𝑥𝑖 − 𝑥̄ ) ; 𝑆𝑦 = √ 1 𝑛−1 ∑(𝑦𝑖 − 𝑦̄ ). Коэффициенты корреляции характеризуют степень линейной связи. При наличии нелинейной зависимости между варьирующими признаками следует использовать другие показатели связи. Коэффициент корреляции принимает значение на отрезке [–1, 1]. Коэффициент корреляции может быть равен +1 или -1, только если Х и Y линейно зависят друг от друга, т.е. если между ними существует функциональная связь. Оценка значимости коэффициента корреляции при малых объемах выборки выполняется с использованием t-критерия Стьюдента. При этом 18 фактическое (наблюдаемое) значение этого критерия определяется по формуле 𝑡набл = √ 2 𝑟𝑦,𝑥 2 1−𝑟𝑦,𝑥 (𝑛 − 2). Вычисленное по этой формуле значение tнабл сравнивается с критическим значением t-критерия, которое берется из таблицы значений критерия Стьюдента с учетом заданного уровня значимости и числа степеней свободы (n – 2). Если tнабл > tкр, то полученное значение коэффициента корреляции признается значимым (то есть нулевая гипотеза, утверждающая равенство нулю генерального коэффициента корреляции, отвергается). И таким образом делается вывод о том, что между исследуемыми переменными есть статистическая взаимосвязь. Значимость коэффициентов корреляции можно проверить, используя критическое значение коэффициента корреляции. При условии, что нулевая гипотеза H0 : rij = 0, критическое значение коэффициента корреляции определяется статистикой 2 𝑡(𝛼,𝑛−2) 2 , 𝑟∗ = √ 𝑛 − 2 𝑡(𝛼,𝑛−2) 1+ 𝑛−2 где t(2,n  2) — критическое значение t-статистики Стьюдента для уровня значимости α и числа степеней свободы, равном (n – 2). Матрица коэффициентов парной корреляции R. Коэффициенты парной корреляции используются для измерения силы линейных связей различных пар признаков из их множества. Для множества признаков получают матрицу коэффициентов парной корреляции R. Пусть вся совокупность данных состоит из переменной Y=(𝑦1 , 𝑦2 , . . . , 𝑦𝑛 ) и m переменных (факторов) X, каждая из которых содержит 19 n наблюдений. На основании этих данных можно вычислить матрицу коэффициентов парной корреляции R: 1 𝑟𝑦𝑥1 𝑅 = 𝑟𝑦𝑥2 ... (𝑟𝑦𝑥𝑚 Матрица 𝑟𝑦𝑥1 1 𝑟𝑥1 𝑥2 ... 𝑟𝑥1 𝑥𝑚 𝑟𝑦𝑥2 𝑟𝑥1 𝑥2 1 ... 𝑟𝑥2 𝑥𝑚 коэффициентов ... ... ... ... ... 𝑟𝑦𝑥𝑚 𝑟𝑥1 𝑥𝑚 𝑟𝑥2 𝑥𝑚 ... 1 ) парной корреляции R симметрична относительно главной диагонали. Все диагональные элементы матрицы R равны единице. Коэффициенты корреляции (элементы корреляционной матрицы), симметричные относительно главной диагонали, равны между собой: 𝑟𝑥𝑖𝑥𝑗 = 𝑟𝑥𝑗𝑥𝑖 . Анализ матрицы коэффициентов парной корреляции используют при построении моделей множественной регрессии. Одной корреляционной матрицей нельзя полностью описать зависимости между величинами. В связи с этим, в многомерном корреляционном анализе рассматривается две задачи: 1. Определение тесноты связи одной случайной величины с совокупностью остальных величин, включенных в анализ; 2. Определение тесноты связи между величинами при фиксировании или исключении влияния остальных. Эти задачи решаются с помощью коэффициентов множественной и частной корреляции, соответственно. Множественный коэффициент корреляции Решение первой задачи осуществляется с помощью выборочного коэффициента множественной корреляции по формуле 𝑹𝒋,𝟏,𝟐,…𝒋−𝟏,𝒋+𝟏,...𝒎 = √𝟏 − |𝑹| 𝑹𝒋𝒋 , где |𝑅| - определитель выборочной корреляционной матрицы R; 𝑅𝑗𝑗 - алгебраическое дополнение элемента rjj той же матрицы R. 20 Квадрат коэффициента множественной корреляции 𝑅2𝑗,1,2,…𝑗−1,𝑗+1,...,𝑚 принято называть выборочным множественным коэффициентом детерминации, который показывает, какую долю вариации (случайного разброса) исследуемой величины Хj объясняет вариация остальных случайных величин X1 , X2 , . . . , Xm. Коэффициенты множественной корреляции и детерминации являются величинами положительными, принимающими значения в интервале от 0 до 1. При приближении коэффициента R2 к единице можно сделать вывод о тесноте взаимосвязи случайных величин, но не о ее направлении. Коэффициент множественной корреляции может только увеличиваться, если в модель включать дополнительные переменные и не увеличится, если из имеющихся признаков производить исключение. Проверка значимости коэффициента детерминации осуществляется путем сравнения расчетного значения критерия Фишера: 𝑹𝟐 ⋅(𝒏−𝒑) 𝑭расч = (𝟏−𝑹𝟐)⋅(𝒑−𝟏), с табличным Fтабл. Табличное значение критерия определяется заданным уровнем значимости  и степенями свободы 𝜈1 = 𝑝 − 1 и 𝜈2 = 𝑛 − 𝑝, где р – количество параметров модели. Коэффициент R2 значимо отличается от нуля, если выполняется неравенство 𝑭𝒑асч > 𝑭табл . Частный коэффициент корреляции Если рассматриваемые случайные величины коррелируют друг с другом, то на величине коэффициента парной корреляции частично сказывается влияние других величин. В связи с этим возникает необходимость исследования частной корреляции между величинами при исключении влияния одной или нескольких случайных величин. Выборочный частный коэффициент корреляции определяется по формуле: 21 𝑟𝑗𝑘(1,2,…,𝑚) = − где R jk , R jj , Rkk 𝑅𝑗𝑘 √𝑅𝑗𝑗 𝑅𝑘𝑘 , – алгебраические дополнения к соответствующим элементам корреляционной матрицы. Частный коэффициент корреляции, так же, как и парный коэффициент корреляции изменяется от –1 до +1. Выборочный частный коэффициент корреляции при условии m = 3 будет иметь вид 𝑟12(3) = 𝑟12 −𝑟13 ⋅𝑟23 2 )(1−𝑟 2 ) √(1−𝑟13 23 𝑟12(3) называется частным коэффициентом корреляции между X1 и X2 при фиксированном X3. Он симметричен относительно первичных индексов 1, 2. Его вторичный индекс 3 относится к переменной, которая фиксирована. Пример 3.1. Имеется информация за 16 месяцев c января 2012 г. об объемах продаж одного из продуктов кондитерской фирмы и влияющих на объем продаж факторов (рис. 2.2). Объем продаж – это зависимая переменная Y (тыс. руб.). В качестве независимых (объясняющих) переменных выбраны: время - X1 (мес.), расходы на рекламу X2 (тыс. руб.), цена товара X3 (руб.), средняя цена товара у конкурентов X4 (руб.), индекс потребительских расходов X5 (%). В этом примере количество наблюдений n = 16, количество факторов k = 5. Требуется: 1) Построить диаграммы рассеяния, представляющие собой зависимости Y от каждого из факторов Х. Сделать выводы о характере взаимосвязей переменных. 2) Построить матрицу коэффициентов парной корреляции, проверить их значимость, сделать выводы о направлении и тесноте связи зависимой переменной с перечисленными факторами. Решение. 22 Откроем файл 3.1.gdt (созданный в примере 2.1) с данными (рис.3.1) . Рис. 3.1. Открытие файла. 1) Создание парных диаграмм рассеяния. Важнейшим элементом эконометрического исследования является графический анализ исходных данных. Перед построением модели зависимости рекомендуется сначала посмотреть на диаграмму рассеяния. Построим, например, диаграмму рассеяния Х5-Y. В основном меню выберем пункт Вид/График/Разброс Х-Y (рис. 3.3). Далее следует указать какая переменная должна быть расположена на оси X; (независимая переменная отображается на оси абсцисс, зависимая – на оси ординат); выбираем из списка «Х5» (рис. 3.4). Нажимаем ОК и получаем график (рис.3.5). 23 Рис. 3.3. Выбор вида графика. 24 Рис. 3.4. Выбор переменных для построения графика. Рис. 3.5. Диаграмма рассеяния (корреляционное поле) Y от X5. Вывод: Вытянутость облака точек на диаграмме рассеяния вдоль наклонной прямой позволяет сделать предположение, что существует некоторая объективная тенденция прямой линейной связи между значениями переменных x и y, то есть при увеличении Индекса потребительских расходов X5 (%) в среднем возрастает Объем продаж (Y, тыс. руб.). Gretl позволяет строить сразу несколько графиков. В основном меню выберем пункт Вид Несколько графиковРазброс Х-Y. Количество графиков равно количеству выбранных переменных (рис.3.6). На рис. 3.7 приведены диаграммы рассеяния Y от каждого Хj. 25 Рис. 3.6. Выбор переменных для построения нескольких графиков. Рис. 3.7. Диаграммы рассеяния Y от каждого Хj. 26 Если при выборе нескольких графиков указать Временные ряды, то можно получить на одном рисунке графики динамики для всех переменных (рис. 3.8). Рис. 3.8. Графики изменения каждой переменной во времени. 3) Построение матрицы коэффициентов парной корреляции. Чтобы вычислить корреляцию средствами Gretl в основном меню выберем пункт ВидКорреляционная матрица. В открывшемся окне перенесём все переменные из списка в левой части окна в правую часть и нажмём кнопку ОК (Рис.3.9) 27 Рис. 3.9. Ввод данных для команды корреляция. В результате будет получена матрица коэффициентов парной корреляции (рис. 3.10). Рис. 3.10. Матрица коэффициентов парной корреляции. 28 Вывод: Все факторы Хj имеют прямую связь с Y. Наиболее тесно зависимая переменная Y - объем продаж связана с индексом потребительских расходов - X5 (𝑟𝑦𝑥5 = 0,816), значимая связь с временем - X1 и расходами на рекламу - X2. Сравнивая числовые значения коэффициентов корреляции с критическим значением видим, что 𝑟𝑦𝑥3 = 0,233, и 𝑟𝑦𝑥4 = 0,226, меньше критического значения, равного 0,497, то есть полученные значения коэффициентов корреляции незначимы. 4. Множественная линейная регрессия Используемые обозначения: — зависимая (эндогенная) переменная; Y X1, X2, …, Xk — объясняющие (экзогенные, независимые) переменные, регрессоры; Х — матрица объясняющих переменных размерностью n  k , k количество объясняющих факторов, n- количество наблюдений. ХТ—транспонированная матрица объясняющих переменных; εi — случайная составляющая; €i  Yi  Y€i — ошибка, разница между фактическими и предсказанными по модели значениями эндогенной переменной, остаток; Y€i — предсказанное по модели значение Y, прогноз, прогнозное значение. Регрессионный анализ предназначен для исследования зависимости исследуемой переменной от различных факторов и отображения их взаимосвязи в форме регрессионной модели. Спецификация регрессионной модели имеет следующую структуру Y  f ( X 1 , X 2 , , X k )   , (4.1) где Y — эндогенная (зависимая) переменная, X1, X2, …, Xk — независимые (экзогенные, объясняющие) переменные, или факторы, f ( X 1 , X 2 , , X k ) — детерминированная составляющая эндогенной переменной (уравнение регрессии), полностью объясняемая значением экзогенной переменной,  — 29 случайная составляющая эндогенной переменной (случайное возмущение), которая не может быть объяснена значениями X1, X2, …, Xk. Зависимость между экономическими переменными типа (4.1) называется регрессионной зависимостью, эконометрические модели со спецификацией вида (4.1) — регрессионными моделями. В зависимости от количества включенных в модель факторов Хj модели делятся на однофакторные (парная модель регрессии) и многофакторные (модель множественной регрессии), которые, в свою очередь, в зависимости от вида функции f(X1, X2, …, Xk) модели делятся на линейные и нелинейные. В то время как зависимая переменная должна быть непрерывной (за исключением логистической регрессии), независимые переменные могут быть как прерывными, так и категориальными, то есть как «пол» или «тип применяемого препарата». 4.1. Оценка параметров модели линейной регрессии с помощью метода наименьших квадратов (МНК) Если между эндогенной переменной Y и k регрессорами существует линейная регрессионная зависимость, то (4.1) можно записать 𝑌𝑖 = 𝑏0 +𝑏1 𝑋𝑖1 + 𝑏2 𝑋i2 +. . . +𝑏𝑗 𝑋𝑖𝑗 +. . . +𝑏𝑘 𝑋𝑘 + 𝜀𝑖 , (4.2) где n — количество наблюдений; k — количество факторов, включенных в модель. Коэффициент уравнения регрессии 𝑏𝑗 показывает на сколько единиц в среднем изменится зависимая переменная, если фактор Xj изменится на одну единицу при фиксированных значениях других факторов. Оценка параметров модели выполняется методом наименьших квадратов (МНК). МНК минимизирует сумму квадратов отклонения наблюдаемых значений Yi от предсказанных по модели значений 𝑌̂𝑖 . 𝑅𝑆𝑆 = ∑ 𝜀̂𝑡2 = 𝜀̂ 𝑇 𝜀̂  min 30 Формулу для вычисления параметров модели множественной регрессии приведем без вывода 𝑏̂ = (𝑋 𝑇 𝑋)−1 𝑋 𝑇 𝑌 , (4.3) 1 X 11 ... X 1k  𝛽̂0 𝑌1 1 X  ... X 2 k ̂ 𝑌 21 где 𝑌 = [ 2 ] X  ... ... ... ...  , 𝛽̂ = 𝛽1 . ... ...   1 X ... X 𝑌𝑛 n1 nk   [𝛽̂𝑘 ] Предсказываемые моделью значения эндогенной переменной можно записать как 𝑌̂ = 𝑋𝑏̂ = X(𝑋 𝑇 𝑋)−1 𝑋 𝑇 𝑌 Свойства коэффициентов регрессии существенным образом зависят от свойств случайной составляющей. Для того чтобы полученные по МНК оценки обладали некоторым полезными статистическими свойствами необходимо выполнение ряда предпосылок относительно оцениваемой модели, называемых условиями Гаусса-Маркова. 4.2. Основные предпосылки метода наименьших квадратов В модели (4.1) предполагается линейность по переменным и линейность по оценкам. В матричном виде это можно записать в следующем виде: Предполагается, что 𝑌 = 𝑋𝛽 + 𝜀. наблюдений значительно больше, чем оцениваемых коэффициентов, то есть n >> k. Предпосылки на остаточную компоненту ε Первое условие. Математическое ожидание случайной составляющей в любом наблюдении должно быть равно нулю 𝐸(𝜀𝑖 |𝑋) = 0, 𝑖 = 1, . . . 𝑛. Если уравнение регрессии включает постоянный член, то обычно это условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции Y, которую не учитывают объясняющие переменные, включенные в уравнение регрессии. 31 Второе условие. Дисперсия случайной составляющей должна быть постоянна для всех наблюдений 𝝈𝟐 = 𝑽𝒂𝒓(𝜺𝒊 ) = 𝒄𝒐𝒏𝒔𝒕. Это условие гомоскедастичности, или равноизменчивости случайной составляющей (возмущения). Третье условие предполагает отсутствие систематической связи между значениями случайной составляющей в любых двух наблюдениях, случайные составляющие должны быть независимы друг от друга, 𝐶𝑜𝑣(𝜀𝑖 , 𝜀𝑗 |𝑋) = 0 при 𝑖 ≠ 𝑗 (условие независимости случайных составляющих в различных наблюдениях). К предпосылкам на регрессоры относятся следующие: — среди регрессоров нет линейно зависимых, и тогда матрица (𝑋 Т 𝑋)−1 существует, и определитель (𝑋 Т 𝑋) не равен нулю, 𝑑𝑒𝑡( 𝑋 Т 𝑋) ≠ 0 (условие отсутствия мультиколлинеарности). Наряду с перечисленными условиями обычно также предполагается нормальность распределения случайных возмущений  𝑁(0, 𝜎 2 = 𝑐𝑜𝑛𝑠𝑡). Если случайный член нормально распределен, то и оцени коэффициентов регрессии будут также иметь нормальное распределение. Теорема Гаусса-Маркова: если выполнены условия Гаусса-Маркова, тогда оценки 𝑏̂ = (𝑋 𝑇 𝑋)−1 𝑋 𝑇 𝑌 полученные с помощью метода наименьших квадратов являются лучшими линейными несмещёнными оценками. 4.3. Оценка качества модели множественной регрессии. Прогнозирование по модели регрессии. Качество модели регрессии проверяется путем анализа остатков регрессии ε€i  Yi  Y€i . Исследование остатков полезно начинать с изучения их графика. 0н может показать наличие какой-то зависимости, не учтенной в модели. Скажем, при подборе простой линейной зависимости между Y и X график остатков может показать необходимость перехода к нелинейной модели (квадратичной, 32 полиномиальной, экспоненциальной) или включения в модель периодических компонент. Выбросы. График остатков хорошо показывает и резко отклоняющиеся от модели наблюдения — выбросы. Подобным аномальным наблюдениям надо уделять особо пристальное внимание, так как их присутствие может грубо искажать значения оценок (более подробно в параграфе 5.2). Устранение эффектов выбросов может проводиться либо с помощью удаления этих точек из анализируемых данных, (эта процедура называется цензурированием), либо с помощью применения методов оценивания параметров, устойчивых к подобным грубым отклонениям. Качество модели регрессии оценивается по следующим направлениям: 1) проверка качества всего уравнения регрессии; 2) проверка значимости всего уравнения регрессии; 3) проверка статистической значимости коэффициентов уравнения регрессии; 4) проверка выполнения предпосылок МНК. Проверка качества всего уравнения регрессии. При анализе качества модели регрессии, в первую очередь, используется коэффициент детерминации, который определяется следующим образом: ∑𝑛 (𝑌̂𝑖 −𝑌̄)2 ∑𝑛 ̂ 𝑖2 𝐸𝑆𝑆 𝑅𝑆𝑆 𝑖=1 𝜀 = 1 − = = 1 − 𝑛 2 2 ̄ ∑𝑖=1(𝑌𝑖 −𝑌̄) 𝑇𝑆𝑆 𝑇𝑆𝑆 𝑖=1(𝑌𝑖 −𝑌 ) 𝑅2 = ∑𝑖=1 𝑛 (4.4) где 𝑌̄ — среднее значение зависимой переменной; 𝑌̂𝑖 — предсказанное (рассчитанное по уравнению регрессии) значение зависимой переменной; 𝑅𝑆𝑆 = ∑𝑛𝑖=1 𝜀̂𝑖2 = ∑𝑛𝑖=1(𝑌𝑖 − 𝑌̂𝑖 )2– сумма квадратов остатков (Residual Sum of Squares); 𝑇𝑆𝑆 = ∑𝑛𝑖=1(𝑌𝑖 − 𝑌̄ )2 — общая сумма квадратов (Total Sum of Squares); 33 𝐸𝑆𝑆 = ∑𝑛𝑖=1(𝑌̂𝑖 − 𝑌̄ )2 — объясненная сумма квадратов (Explained Sum of Squares); 𝑇𝑆𝑆 = 𝑅𝑆𝑆 + 𝐸𝑆𝑆. Коэффициент детерминации показывает долю вариации (дисперсии) результативного признака, находящегося под воздействием изучаемых факторов, то есть определяет, какая доля вариации признака y учтена в модели и обусловлена влиянием на него факторов, включенных в модель. Из формулы (4.4) следует, что  𝑅2 = 0 при 𝐸𝑆𝑆 = ∑𝑛𝑖=1(𝑌̂𝑖 − 𝑌̄)2 = 0, в этом случае регрессор Xu не улучшает качество оценки (прогноза) Y i по сравнению с тривиальной оценкой (прогнозом) 𝑌̂𝑖 = 𝑌̄;  𝑅2 = 1 при 𝑅𝑆𝑆 = ∑𝑛𝑖=1 𝜀̂𝑖2 = ∑𝑛𝑖=1(𝑌𝑖 − 𝑌̂𝑖 )2 = 0, в этом случае все точки наблюдения лежат на регрессионной прямой (т.е. Yi  Y€i , или 𝜀̂𝑡 = 0). Если свободный член не включён в спецификацию модели (4.1), то коэффициент детерминации не обязан принимать значения от нуля до единицы. В этом случае в пакетах прикладных программ для характеристики качества модели используется нецентрированный коэффициент детерминации [2]: ∑ 𝑌̂ 2 ∑ 𝜀2 𝑌𝑖 𝑌𝑖 𝑅н2 = ∑ 𝑖2 = 1 − ∑ 𝑖2. Чем ближе R2 к 1, тем выше качество модели, тем лучше качество подгонки и оценка более точно аппроксимирует наблюдения Y. В многофакторной регрессии добавление дополнительных объясняющих переменных всегда увеличивает коэффициент детерминации. Обычный коэффициент детерминации 𝑹𝟐 не уменьшается при увеличении числа регрессоров, даже если эти регрессоры статистически незначимы (не имеют никакой объясняющей способности), поэтому в моделях множественной 34 регрессии используется скорректированный (adjusted) коэффициент детерминации, 2 𝑅𝑎𝑑𝑗 = 𝑅̄2 = 1 − (1 − 𝑅2 ) ⋅ В формуле скорректированного 𝑛−1 𝑛−𝑘−1 . коэффициента (4.5) детерминации, учитывается «штраф» за введение дополнительных регрессоров, благодаря чему не происходит автоматического увеличения показателя. Для оценки качества регрессионных моделей целесообразно также использовать коэффициент множественной корреляции (индекс корреляции) R, который показывает тесноту связи эндогенной переменной со всеми включенными в модель экзогенными переменными ∑𝑛𝑖=1 𝜀̂𝑖2 ∑𝑛𝑖=1(𝑌̂𝑖 − 𝑌̄)2 𝑅 = √1 − 𝑛 =√ 𝑛 = 𝐶𝑜𝑟𝑟(𝑌̂𝑖 , 𝑌𝑖 ). ∑𝑖=1(𝑌𝑖 − 𝑌̄)2 ∑𝑖=1(𝑌𝑖 − 𝑌̄)2 Данный коэффициент является универсальным, так как он отражает тесноту связи и точность модели, а также может использоваться при любой форме связи переменных. В качестве показателей качества, учитывающих штраф за число регрессоров в часто используются информационные критерии: Акаике ( AIC ) 𝐴𝐼𝐶 = − 2𝑙 𝑛 + 2𝑘 𝑛 , Шварца ( SC ) или байесовский информационный критерий ( BIC ) 𝑆𝐶 = 𝐵𝐼𝐶 = − 2𝑙 𝑛 + 𝑘⋅𝐿𝑛(𝑛) , 𝑛 Хеннана-Куинна ( HQ ) 𝐻𝑄 = − 2𝑙 𝑛 +𝑐⋅ 𝑘⋅𝐿𝑛(𝐿𝑛(𝑛)) 𝑛 , где l — логарифмическая функция максимального правдоподобия — целевая функция метода максимального правдоподобия (ММП). Для 35 максимального значения логарифмической функции правдоподобия первое слагаемое информационных критериев равно − 2𝑙 𝑛 = 1 + 𝑙𝑛( 2𝜋) + 𝑙𝑛( 𝜎̂ 2 ) = 𝑐𝑜𝑛𝑠 + 𝑙𝑛( 𝜎̂ 2 ), и, так как константа влияет только на величину показателя, но не на результат сравнения моделей, значения информационных критериев вычисляются по формулам: 𝐴𝐼𝐶 = 𝑙𝑛( 𝜎̂ 2 ) + 2𝑘 𝑛 , 𝑆𝐶 = 𝐵𝐼𝐶 = 𝑙𝑛( 𝜎̂ 2 ) + 𝐻𝑄 = 𝑙𝑛( 𝜎̂ 2 ) + 𝑐 ⋅ 𝑘⋅𝐿𝑛(𝑛) , 𝑛 𝑘⋅𝐿𝑛(𝐿𝑛(𝑛)) 𝑛 , где €2 — оценка дисперсии возмущений, константа c  1 , обычно полагается равной 2, k – число оцениваемых параметров. Как и в скорректированном коэффициенте детерминации, второе слагаемое критериев — штраф на число регрессоров. Чем больше число регрессоров включено в модель, тем меньше оценка дисперсии возмущений, но тем больше штраф. Чем меньшее значения принимают информационные критерии, тем выше качество модели. Информационные критерии являются эффективным инструментом составления спецификации модели. В качестве меры точности применяют несмещенную оценку дисперсии остаточной компоненты, которая представляет собой отношение суммы квадратов уровней остаточной компоненты к величине (n – k – 1), где k — количество факторов, включенных в модель. Квадратный корень из этой ˆ называется стандартной ошибкой величины (σ) 𝑅𝑆𝑆 𝜎̂ = √ . 𝑛−𝑘−1 (4.6) Также для оценки качества регрессионных моделей целесообразно использовать среднюю ошибку аппроксимации 36 𝑛 |𝜀̂𝑖 | 1 𝐸отн = ∑ 100%. 𝑛 𝑌𝑖 (4.7) 𝑖=1 Чем меньше рассеяние эмпирических точек вокруг теоретической линии регрессии, тем меньше средняя ошибка аппроксимации. Ошибка аппроксимации меньше 7% свидетельствует о хорошем качестве модели. Проверка значимости модели регрессии Для модели 𝑌𝑖 = 𝑏0 +𝑏1 𝑋𝑖1 + 𝑏2 𝑋i2 +. . . +𝑏𝑗 𝑋𝑖𝑗 +. . . +𝑏𝑘 𝑋𝑘 + 𝜀𝑖 проверка гипотезы 𝐻0 : 𝑏1 = 𝑏2 … = 𝑏k = 0 при альтернативной гипотезе 𝐻1 : ∃𝑏j ≠ 0, 𝑗 = 1, … 𝑘, т. е., когда хотя бы один коэффициент отличен от нуля называется проверкой гипотезы об адекватности1 регрессии [4] или проверкой гипотезы о значимости модели регрессии. На практике вместо указанной гипотезы проверяют тесно с ней связанную гипотезу о статистической значимости коэффициента детерминации 𝑅2 : 𝐻0 : 𝑅2 = 0, 𝐻1 : 𝑅2 > 0. Для проверки этой гипотезы используется F-критерий Фишера, вычисляемый по формуле: 𝑅2 𝑘 𝐹 = (1−𝑅2 )/(𝑛−𝑘−1) (4.8) Если расчетное значение с 1= k и 2 = (n - k - 1) степенями свободы, где k – количество факторов, включенных в модель, больше табличного при заданном уровне значимости, то модель считается значимой. Анализ статистической значимости параметров модели 1 В работе [2] введено другое определение адекватности модели. 37 Значимость отдельных коэффициентов регрессии проверяется по tстатистике путем проверки гипотезы о равенстве нулю j-го параметра уравнения (кроме свободного члена) ̂𝑗 𝛽 𝑡𝛽𝑗 = ̂ , 𝜎𝛽𝑗 (4.9) где 𝜎̂𝑎𝑗 — стандартное (среднеквадратическое) отклонение коэффициента уравнения регрессии aj. Величина 𝜎̂𝑎𝑗 представляет собой квадратный корень из произведения несмещенной оценки дисперсии 𝜎̂ 2 и j-го диагонального элемента матрицы, обратной матрице системы нормальных уравнений 𝜎̂𝛽𝑗 = 𝜎̂√𝑐𝑗𝑗 , где 𝑐𝑗𝑗 — диагональный элемент матрицы (𝑋 𝑇 𝑋)−1 . Если расчетное значение t-критерия с (n – k – 1) степенями свободы превосходит его табличное значение при заданном уровне значимости, коэффициент регрессии считается значимым. В противном случае фактор, соответствующий этому коэффициенту, следует исключить из модели (при этом ее качество не ухудшится). Прогнозирование по модели регрессии. Уравнение регрессии применяют для расчета значений показателя в заданном диапазоне изменения параметров. Оно ограниченно пригодно для расчета вне этого диапазона, то есть его можно применять для решения задач интерполяции и в ограниченной степени для экстраполяции. Прогноз, полученный подстановкой в уравнение регрессии ожидаемого значения параметра, является точечным. Вероятность реализации такого прогноза ничтожно мала. Целесообразно определить доверительный интервал прогноза. Для линейной модели множественной регрессии при прогнозировании индивидуальных значений доверительный интервал рассчитывается по 38 формуле (4.10). Для этого оценивается величина отклонения от линии регрессии (обозначим ее U ( X прогн )) 𝑇 𝑈(𝑋прогн ) = 𝜎̂𝑡𝛼 √1 + 𝑋прогн (𝑋 𝑇 𝑋)−1 𝑋прогн , (4.10) 𝑇 где 𝑋прогн = (1, 𝑥1 прогн , 𝑥2 прогн , . . . , 𝑥𝑘 прогн ), то есть 𝑦прогн ∈ [𝑦̂прогн ± 𝑈(𝑋прогн )]. Для модели парной регрессии формула (4.10) может быть записана в следующем виде:     2 2 1 ( xпрогн  x ) 1 ( xпрогн  x )   yпрогн   y€прогн  € t 1   n ; y€прогн  € t 1   n  n n 2 2   ( xi  x ) ( xi  x )   i 1 i 1   Пример 4.1. Используя данные примера 2.1 построить уравнение регрессии объема продаж, оценить качество построенной модели (значимость модели в целом, значимость параметров модели, коэффициент детерминации, средняя относительная ошибка аппроксимации). Решение. В основном меню программы Gretl выберем пункт МодельМетод наименьших квадратов в появившемся окне Y перемещаем в поле Зависимая переменная, все факторы Х перемещаем в поле Регрессоры (рис. 4.1). На рис. 2.13 приведен результат оценки параметров модели МНК. 39 Рис. 4.1. Выбор регрессоров. Рис. 4.2. Результат оценки параметров модели МНК. Из рис. 4.2 можно выписать полученное уравнение регрессии: 40 𝑌̂𝑖 = −3917.40 − 13.42𝑋1 + 6.67𝑋2 − 6.48𝑋3 + 12.24𝑋4 + 30.48𝑋5 . Оцененное уравнение можно получить из Gretl, указав Файл/Посмотреть как уравнение (рис.4.3). Рис. 4.3. Уравнение регрессии в Gretl. Коэффициент детерминации: 𝑅2 = 0,89 (рис. 4.2). Он показывает долю вариации (дисперсии) результативного признака под воздействием изучаемых факторов. Следовательно, около 89% вариации зависимой переменной учтено в модели и обусловлено влиянием включенных факторов. Используя информацию, приведенную на рис. 4.2, можно проверить значимость всего уравнения регрессии в целом по критерию Фишера и значимость отдельных коэффициентов. Проверяя значимость F статистики (сравнивая ее вычисленное по выборочным данным значение, 𝐹выч , с табличным, Fкр ), можно проверить статистическую значимость коэффициента детерминации. Если 𝐹выч < 𝐹кр при заданном уровне значимости, то принимается нулевая гипотеза H0 : R2  0 , и, следовательно, коэффициент детерминации незначим (регрессия в целом статистически незначима), в противном случае нулевая гипотеза отвергается и, коэффициент детерминации признается статистически значимым (регрессия в целом статистически значима). 𝐹выч = 𝐹(5, 10)= 16,299 (рис. 2.13). Для получения критического значения критерия Фишера из Gretl надо указать Инструменты/Критические 41 значения и ввести число степеней свободы и вероятность (рис.4.4). Так как 𝐹выч = 16,3 > 𝐹крит = 5,636, то модель значима. Рис. 4.4. Получение критического значения критерия Фишера Еще для проверки значимости модели регрессии можно воспользоваться Р-значением (F). В Р-значении содержится вероятность ошибки первого рода при тестировании гипотезы, Р-значение показывает вероятность ошибиться, отвергнув гипотезу H 0 , при том, что она верна. Значение критерия Фишера равно 16,3. Р-значение (F) равно 0,000159 (рис. 4.4). Это говорит о том, что можно отвергнуть гипотезу H 0 (вероятность ошибки близка к нулю). Регрессия в целом статистически значима. В Gretl можно проверить значимость коэффициентов при отдельных регрессорах с помощью статистики Стьюдента [9], [11], [12] сравнив расчетные значения t-статистики из отчета с критическими или воспользоваться Р-значением. 42 В программе Gretl предусмотрена визуализация значимости коэффициентов регрессии на разных уровнях значимости. Для этого справа от каждого регрессора расположены звездочки: • Наличие одной звездочки говорит о том, что коэффициент значим только на 10 %-ном уровне. • Наличие двух звездочек говорит о значимости коэффициента на 5 %ном уровне. • Три звездочки информируют о значимости коэффициента на 1 %-ном уровне. • Отсутствие звездочек говорит о незначимости коэффициента на 10 %ном уровне. Используя информацию рис. 4.2, можно сделать вывод, что коэффициенты при регрессорах Х1, Х3 и Х4 незначимы на 10 %-ном уровне. Можно воспользоваться возможностью Gretl для получения доверительных интервалов для коэффициентов регрессии. Для этого вызовем пункт меню Анализ/Доверительные интервалы для коэффициентов (рис. 4.5). Рис. 4.5. Меню вызова доверительных интервалов для коэффициентов. 43 В результате получим окно с доверительными интервалами (рис. 4.6). Анализируя информацию рис. 16, можно сделать вывод о незначимости всех коэффициентов регрессии кроме коэффициента при Х5 коэффициента на 5 %ном уровне. Коэффициенты при Х1, Х2, Х3, Х4 незначимы, так как истинное значение коэффициентов при этих регрессорах с вероятностью 95% накрывается интервалом, содержащим ноль. Рис. 4.6. Доверительные интервалы для коэффициентов. 44 Точность модели можно оценить с помощью средней относительной ошибки аппроксимации (формула 4.7) в Gretl ошибка MAPE. Для этого вызовем пункт меню АнализНаблюдаемые и расчетные значения (рис. 4.7). Рис. 4.7. Выбор Наблюдаемые и расчетные значения из меню Анализ 45 Рис. 4.8. Статистки для оценки качества подгонки. Полученное значение 𝐸отн равно 11,375% больше 7%, что свидетельствует о невысокой точности модели. 5. Некоторые вопросы применения модели регрессии 5.1. Мультиколлинеарность. Причины, последствия, тестирование в Gretl. Оценки коэффициентов уравнения регрессии 𝑏̂ мы получаем, решая систему нормальных уравнений: 𝑋 𝑇 𝑋 ⋅ 𝛽̂ = 𝑋 𝑇 𝑌. Система линейных уравнений имеет единственное решение, если матрица системы (Х𝑇 𝑋) имеет полный ранг, то есть если все столбцы и строки матрицы (𝑋 𝑇 𝑋) линейно 46 независимы. Для этого необходимо, чтобы столбцы матрицы исходных данных 𝑋 были линейно независимы. Если это не так, то есть если столбцы матрицы 𝑋 коллинеарны, то говорят о мультиколлинеарности между столбцами. Виды мультиколлинеарности: строгая (perfect) мультиколлинеарность — наличие линейной функциональной связи между независимыми переменными и нестрогая (imperfect) мультиколлинеарность — наличие сильной линейной корреляционной связи между независимыми переменными. Заметим, что корреляционные связи есть всегда. Проблема мультиколлинеарности — проблема силы проявления корреляционных связей. Строгая мультиколлинеарность нарушает одно из основных условий теоремы Гаусса–Маркова [1], [2] и делает построение регрессии невозможным. Нестрогая мультиколлинеарность затрудняет работу, но не препятствует получению правильных выводов. Основные причины возникновения мультиколлинеарности Мультиколлинеарность может возникать в силу разных причин.  К мультиколлинеарности может привести неправильная спецификация модели. Ошибочное включение в уравнение двух или более линейно зависимых переменных.  В модели использованы факторные признаки, являющиеся составными элементами друг друга.  Исходные данные представлены временными рядами, имеющими одинаковые тенденции. Несколько независимых переменных могут иметь общий временной тренд, относительно которого они совершают малые колебания. Наиболее характерные признаки мультиколлинеарности 47 1. Оценки становятся очень чувствительными к незначительному изменению результатов наблюдений и объема выборки. 2. Оценки имеют большие стандартные ошибки, малую значимость, в то время как модель в целом является значимой и обладает хорошей объясняющей способностью (хорошие значения F-статистики и коэффициента детерминации R2). 3. Оценки коэффициентов имеют неправильные с точки зрения теории (и логики) знаки или неоправданно большие значения. Коэффициенты, которые по логике должны быть значимы, оказываются незначимыми. Наличие мультиколлинеарности регрессоров может иметь различные проявления. Одним из них является большое по модулю значение коэффициента корреляции между регрессорами. Обычно считают, что, если коэффициент парной корреляции между двумя переменными больше 0,8 [1], то имеет место мультиколлинеарность. К признакам мультиколлинеарности можно отнести так же ситуацию, когда коэффициент детерминации достаточно высокий, а оценки параметров статистически незначимы. Методы устранения или уменьшения мультиколлинеарности Самый простой метод — исключение одной или нескольких переменных. При этом, какую переменную оставить, а какую удалить из анализа, решают в первую очередь на основании содержательных соображений. Если с экономической точки зрения ни одной из переменных нельзя отдать предпочтение, то оставляют ту из двух переменных, которая имеет больший коэффициент корреляции с зависимой переменной. Для устранения мультиколлинеарности может быть использован переход от исходных объясняющих переменных X1, X2, …, Xk, связанных между собой достаточно тесной корреляционной зависимостью, к новым переменным, представляющим линейные комбинации исходных. В качестве таких переменных берут, например, так называемые главные компоненты 48 вектора исходных объясняющих переменных и рассматривают регрессию на главных компонентах, в которой последние выступают в качестве обобщенных объясняющих переменных, подлежащих в дальнейшем содержательной (экономической) интерпретации. Тестирование мультиколлинеарности. Существует несколько способов для определения наличия или отсутствия мультиколлинеарности. Каким именно методом пользоваться, на практике решают исходя из размерности задачи (количества экзогенных переменных) и имеющихся программ. При этом надо иметь в виду, что разные методы могут давать отличающиеся результаты. Если коэффициенты корреляции между отдельными объясняющими переменными очень мультиколлинеарности. велики, то, Как это свидетельствует о наличии уже было отмечено, явление мультиколлинеарности в исходных данных считают установленным, если коэффициент парной корреляции между двумя переменными больше 0.8. На основании результатов, полученных в примерах 2.1 и 3.1, можно предположить наличие мультиколлинеарности регрессоров. Одним из проявлений мультиколлинеарности является большое по модулю значение коэффициента корреляции между регрессорами. Факторы Х1 и Х5 тесно связаны между собой ( rx x = 0.96), что свидетельствует о наличии 1 5 мультиколлинеарности (рис.2.11). К признакам мультиколлинеарности можно отнести так же ситуацию, когда коэффициент детерминации достаточно высокий - 0,89, а оценки параметров статистически незначимы (рис.4.2 и 4.6). В программе Gretl представлен метод, основанный на вычислении и последующем исследовании так называемого фактора инфляции дисперсии VIF (Variance Inflation Factor): 𝑉𝐼𝐹𝑗 = 1 (1−𝑅𝑗2 ) Коэффициент “вздутия” дисперсии VIFj показывает, во сколько раз 49 увеличивается (вздувается) дисперсия коэффициента регрессии 𝛽̂𝑗 за счёт коррелированности регрессоров X1,…,Xk по сравнению с дисперсией этого коэффициента, если бы регрессоры были некоррелированы. Если значение 𝑉𝐼𝐹𝑗 велико, то (1 − 𝑅𝑗2 )— мало, то есть 𝑅𝑗2 близок к 1. Это приводит к большой стандартной ошибке коэффициента 𝛽̂𝑗 и, следовательно, к большому доверительному интервалу. Большие значения фактора инфляции дисперсии соответствуют почти линейной зависимости j-го столбца от остальных. Равенство единице фактора инфляции дисперсии говорит об ортогональности вектора значений признака остальным. Принято считать, что значение 𝑉𝐼𝐹𝑗 от 1 до 2 ( R 2j от 0 до 0.5) означает, что включение Хj в модель не приводит к мультиколлинеарности. Если 𝑉𝐼𝐹𝑗 = 16, то стандартная ошибка оценки параметра €j в 4 раза (√𝑉𝐼𝐹𝑗 = √16 = 4) превышает эту оценку, полученную при полном отсутствии мультиколлинеарности. Считается, что если 𝑉𝐼𝐹𝑥𝑗 > 10, , то данный регрессор приводит к мультиколлинеарности. В программе Gretl представлен ещё один метод, основанный на вычислении собственных значений и собственных векторов матрицы 𝑋 Т 𝑋, позволяющий не только выявить мультиколлинеарность среди исходных регрессоров, но и определить переменные, которые показывают наибольшую вовлеченность в зависимости. Этот метод известен как метод Бэлсли [6]. В Gretl метод представлен как диагностика коллинеарности Belly-Kuhl-Welsh (BKW). Если матрица 𝑋 Т 𝑋 обратима, то (𝑋 Т 𝑋)−1 = 𝑈𝛬−1 𝑈 Т [6], 1 где  - матрица, обратная к диагональной матрице собственных значений матрицы 𝑋 Т 𝑋, расположенных в порядке убывания; U – матрица, столбцами которой являются нормированные собственные векторы, то есть сумма квадратов координат каждого вектора равна 1. 50 Дисперсия коэффициента регрессии 𝛽̂𝒋 равна 𝑉𝑎𝑟(𝛽̂𝑗 ) = 𝜎̂ 2 (𝑋 Т 𝑋)−1 𝑗𝑗 , где 𝜎̂ 2 - выборочная дисперсия остатков. Вычислив диагональные элементы матрицы 𝑈𝛬−1 𝑈 Т , получаем представление oценки дисперсии параметров регрессии в виде суммы p слагаемых 𝜎̂ −2 𝑉𝑎𝑟(𝛽̂𝑖 ) = (𝑋 Т 2 2 2 𝑢𝑖𝑝 𝑢𝑖1 𝑢𝑖2 −1 −1 Т 𝑋)𝑖𝑖 = (𝑈𝛬 𝑈 )𝑖𝑖 = ( + +. . . + ) = 𝜆1 𝜆2 𝜆𝑝 𝑝 𝑢𝑖𝑙2 = (𝑞𝑖1 + 𝑞𝑖2 +. . . +𝑞𝑖𝑝 ) ∑ , 𝜆𝑙 𝑙=1 где qij - доля j-го собственного вектора в дисперсии I-го коэффициента 2 2 𝜆𝑗 𝜆𝑙 𝑢𝑖𝑗 𝑝 𝑢 регрессии 𝛽̂𝒊 : 𝑞𝑖𝑗 = / ∑𝑙=1 𝑖𝑙 . Коэффициент (индекс) обусловленности i вычисляется по формуле: 𝜆 𝜂𝑖 = √ 𝑚𝑎𝑥⁄𝜆 , 𝑖 = 1,2, … 𝑝, где 𝜆𝑖 -собственное число 𝑖 -го собственного 𝑖 Т вектора матрицы X X , p – количество параметров в модели регрессии. 𝜆1 > 𝜆2 >. . . 𝜆𝑖 >. . . > 𝜆𝑝 . Для обнаружения мультиколлинеарности признаков построим таблицу (табл. 5.1), в которой каждому индексу обусловленности i соответствуют значения qij — долевые коэффициенты, которые в сумме по индексу j дают единицу. Они представляют собой части от общей величины 𝜎̂ −2 𝑉𝑎𝑟(𝛽̂𝑖 ). Таблица 5.1. Разложение дисперсии коэффициентов регрессии. Собственные Индекс числа обусловленности матрицы Доли дисперсии х1 х2 … хрю XТ X 51 1 1 q11 q21 … q p1 2 2 q12 q22 … qp 2 … … … … … … p p q1 p q2 p 1 1  p j 1 qij  1 q pp … 1 Большие величины 𝜂𝑗 означают, что возможно есть зависимость между признаками. Большие значения 𝑞𝑖𝑗 в соответствующих строках относятся к признакам, между которыми эта зависимость существует. Относительно близкое к нулю 𝜆𝑗 приводит к большим коэффициентам обусловленности. Нулевое значение 𝜆𝑗 означает, что существует строгая мультиколлинеарность. Большие значения коэффициентов обусловленности свидетельствуют о наличии зависимостей; большие значения долевых коэффициентов 𝑞𝑖𝑗 внутри соответствующих строк указывают столбцы матрицы Х, участвующие в зависимостях. Отметим также, что если больших коэффициентов обусловленности больше одного, то в зависимостях могут участвовать все переменные, которые имеют большие суммарные значения коэффициентов в последних строках таблицы с большими коэффициентами обусловленности. Выявив с помощью метода Бэлсли переменные, участвующие в зависимости, удаляем из регрессионной модели одну из этих переменных. Если обнаружена другая зависимость, не включающая переменные из первой зависимости, исключаем из модели одну из переменных второй группы и далее повторяем исследование на мультиколлинеарность. Вопрос о том, какое значение коэффициента обусловленности считать большим, решается в каждом конкретном случае индивидуально, в зависимости от ценности 52 информации, её объёма, целей и задач исследования. Часто значения коэффициента обусловленности считаются большими, если они больше 10. Пример 5.1. (Продолжение решения примера 4.1). 1) для модели, полученной в примере 4.1, выполнить тестирование мультиколлинеарности; 2) для уменьшения мультиколлинеарности использовать пошаговую процедуру отбора наиболее информативных объясняющих переменных; 3) прогнозирование  оценить объем продаж на следующий месяц, если расходы на рекламу составят 5 тыс. руб., а индекс потребительских расходов составит 112,5%. Решение 1) Тестирование мультиколлинеарности В окне оцененной регрессии вызовем пункт меню АнализМультиколлинеарность (рис.5.1.1) и получим результат проверки на мультиколлинеарность (рис.5.1.2), состоящий из двух частей. Первая часть Метод инфляционных факторов и вторая — диагностика коллинеарности Belsleyк – Welsch. В первой части рис. 5.1.2 во второй колонке после колонки, состоящей из X j расположены 𝑉𝐼𝐹𝑗 . Мы видим, что значения 𝑉𝐼𝐹1 =21,112 и 𝑉𝐼𝐹5 =23,389 больше 10. Эти регрессоры приводят к мультиколлинеарности. 53 Рис. 5.1.1. Вызов теста на мультиколлинеарность. Рис. 5.1.2. Результат теста на мультиколлинеарность модели со всеми факторами. 54 Рассмотрим вторую часть результатов проверки на мультиколлинеарность – диагностику Belsley-Kuh-Welsch. В первой колонке XТ X , где столбцы Х lambda приведены собственные числа матрицы нормированы, сумма квадратов элементов каждого столбца равна 1. Во втором столбце cond приведены индексы обусловленности. Далее идёт матрица весовых коэффициентов 𝑞𝑖𝑗 . Первый столбец матрицы соответствует константе, следующий столбец – регрессору X1 , затем X2 и так далее. Самый большой индекс обусловленности 𝜂6 , 𝜂6 = 376. В шестой строке большие значения 𝑞6𝑗 наблюдаются в столбцах, соответствующих константе, X1 и X5 . Чтобы убедиться в зависимости этих переменных построим уравнение регрессии одной из них по остальным. В качестве зависимой переменной выберем X1 . Коэффициент множественной корреляции в данном случае равен коэффициенту парной корреляции между X1 и X5 и равен 0,96. Как видим, X1 связан тесной линейной зависимостью с X5 и константой. Второй по величине индекс обусловленности 𝜂5 , 𝜂5 = 72,8. Это не очень большое значение. В пятой строке большие значения q5 j наблюдаются в столбцах, соответствующих X3 и X4 - цена и средняя цена конкурентов. Коэффициент корреляции этих переменных равен 0.7, что говорит о наличии связи, но не очень тесной, так как 0, 72 = 0,49, то 49% изменчивости одного из этих показателей может быть объяснено изменчивостью другого. Анализируя строки матрицы весов с малыми значениями индекса обусловленности, видим, что в них нет больших значений 𝑞𝑖𝑗 и потому никакой дополнительной информации о зависимостях регрессоров эти строки не дают. Как мы видели, максимальный индекс обусловленности 𝜂6 связан с тесной зависимостью между константой, X1 и X5 . 55 2) Устранение (уменьшение) мультиколлинеарности. Одним из наиболее распространённых методов устранения или уменьшения мультиколлинеарности является использование шагового отбора. Применим пошаговую процедуру отбора наиболее информативных объясняющих переменных в Gretl, исключив при этом мультиколлинеарность. На рис. 4.2. была приведена модель с полным набором факторов все коэффициенты, которого незначимы при 1%-ном уровне значимости. В главном меню выберем ТестыИзбыточные переменные (рис.5.1.3). В следующем окне выберем переменные для тестирования, метод последовательного исключения переменных и укажем р-значение (рис. 5.1.4). Рис. 5.1.3. Переход к исключению переменных. 56 Рис. 5.1.4. Выбор переменных для тестирования. На рис. 5.1.5 приведен результат пошагового исключения переменных. Процесс исключения факторов останавливается на том шаге, при котором все регрессионные коэффициенты значимы (рис. 5.1.5). Получено уравнение регрессии, все коэффициенты которого значимы не только при 5%-ном уровне значимости, но и при 1%-ном уровне значимости. В скобках указано значение t- статистики. 𝑦̂𝑖 = −1471.31 + 9.57𝑋2 + 15.75𝑋5 Протестируем полученную модель на мультиколлинеарность по методу инфляционных факторов (рис. 5.6). Значения параметров VIF близки к единице (VIFх2=1,081 и VIFх5 =1,081). Факторы X2 и X5 почти ортогональны. Коэффициент 𝑏̂2 показывает, что при увеличении затрат на рекламу на одну тыс. рублей объём реализации в среднем увеличивается на 9,57 тыс. руб., а коэффициент 𝑏̂5 показывает, что при увеличении индекса потребительских расходов на один процент объём реализации в среднем увеличивается на 15,75 тыс. руб. 57 Рис. 5.1.5. Результат последовательного исключения с использованием двухстороннего р-значения = 0,05. 58 Рис. 5.1.6. Результат теста на мультиколлинеарность модели с двумя факторами. Вывод. Получено уравнение регрессии, все коэффициенты которого значимы и мультиколлинеарность отсутствует. Следует отметить, что метод пошагового исключения далеко не всегда помогает решить проблему мультиколлинеарности. С другими методами устранения мультиколлинеарности можно ознакомиться в [2]. [12]. 3) Прогнозирование - оценить объем продаж на следующий месяц Для получения прогнозных оценок зависимой переменной по модели 𝑌̂ = −1471.31 + 9.57𝑋1 + 15.75𝑋2 подставим в нее прогнозные значения факторов X1 и X2: Y€прогн  1471,31  9,57  6  15,75 112,5  358,29 . В основном окне выделим переменную, в которую будем добавлять наблюдения, укажем ДанныеДобавить наблюдения, в появившемся окне укажем количество добавляемых наблюдений – 1. Затем при редактировании 59 переменной Х2 введем значение переменной для семнадцатого наблюдения (рис. 5.1.7). Рис. 5.1.7. Добавление наблюдения Х2. Аналогично введем семнадцатое наблюдение переменной Х5 – индекс потребительских расходов. В окне результатов моделирования (модель 3) выберем пункт Прогноз меню Анализ (рис. 5.8). В открывшемся окне для составления прогноза укажем Горизонт прогнозирования - май 2013 года, Количество предварительных прогнозов на графике -16, доверительную вероятность - 0,90. Результаты прогнозирования представлены на рисунках 5.1.9 и 5.1.10. 60 Рис. 5.1.8. Ввод информации для прогнозирования. 61 Рис. 5.1.9. График результатов моделирования и прогнозирования объема реализации. 62 Рис. 5.1.10. Результаты прогнозирования. Вывод. С вероятностью 90% доверительный интервал прогноза продаж на следующий месяц будет иметь следующие границы: от 277,04 тыс. руб. до 439,55 тыс. руб. 5.2. Обнаружение влиятельных наблюдений и выбросов. В данном разделе предполагается, что между эндогенной переменной 𝑌 и 𝑘 регрессорами существует линейная регрессионная зависимость 𝑌 = 𝑏0 +𝑏1 𝑋1 + 𝑏2 𝑋2 +. . . +𝑏𝑗 𝑋𝑗 +. . . +𝑏𝑘 𝑋𝑘 + 𝜀, где k — число регрессоров модели, 𝑋𝑗 — j-ый регрессор, 𝑏𝑗 — j-ый параметр модели, 𝑗 = 1, … , 𝑘; 𝑝 − количество параметров модели (𝑝 = 𝑘 + 1); ε — случайное возмущение. Качество модели регрессии может в значительной мере зависеть от характера наблюдений или наличия выбросов. Различные способы 63 определения, идентификации и обработки выбросов существенно изменяют выводы исследования, поэтому задача выявления необычных наблюдения является важной. Показатель воздействия наблюдения или «разбалансировки» (leverage). Наблюдения, представленные необычным сочетанием значений экзогенных переменных (англ. leverage point) в силу их положения могут повлиять на параметры модели непредсказуемым образом, а следовательно, и на оцениваемый вектор 𝑌̂. Точки с высокой напряженностью – это выбросы в отношении других экзогенных переменных. В литературе показатель влияния обозначатся обычно ℎ𝑖𝑖 – этот символ происходит из матричной формы записи, где ℎ𝑖𝑖 является диагональным элементом матрицы H (hat matrix). Использование этой информации совместно с регрессионными остатками дает возможность исследовать характер влияния выбросов. Для пояснения матрицы Н напомним, что вектор оценок регрессионных коэффициентов 𝑏̂ модели (1.1) получают следующим образом: 𝑏̂ = (𝑋 𝑇 𝑋)−1 𝑋 𝑇 𝑌, откуда предсказываемые моделью значения эндогенной переменной можно записать как 𝑌̂ = 𝑋𝑏̂ = X(𝑋 𝑇 𝑋)−1 𝑋 𝑇 𝑌. Выражение X(𝑋 𝑇 𝑋)−1 𝑋 𝑇 обозначают через H, т. е. 𝑌̂ = 𝐻 ∙ 𝑌 или 𝑌̂𝑖 = ℎ𝑖1 𝑌1 +ℎ𝑖2 𝑌21 +…+𝒉𝒊𝒊 𝒀𝒊 +…+ℎ𝑖𝑛 𝑌𝑛 for i=1,…n. Рычаг (leverage), ℎ𝑖𝑖 , количественно определяет влияние 𝑌𝑖 на его предсказанное значение 𝑌̂𝑖 . Диагональные элементы матрицы проекции Н изменяются от 0 до 1 и отражают силу воздействия отдельных наблюдений на оценки регрессионных коэффициентов. Чем дальше то или иное наблюдение находится от центра многомерного распределения значений регрессоров, тем выше будет соответствующий диагональный элемент. Сумма диагональных элементов матрицы проекции Н равна числу коэффициентов регрессионного уравнения, включая свободный член. К классу "leverage point" относят наблюдения с большими значениями ℎ𝑖𝑖 . Правило, по которому определяют 64 оказывает ли некоторое наблюдение существенное влияние на параметры модели  ℎ𝑖𝑖 > 2p 𝑛 [20]. Не все наблюдения, которые можно отнести к классу "leverage point" являются влиятельными. Влиятельное наблюдение оказывает существенное влияние на оценки параметров модели (англ. influential point или influential observation), удаление такого влиятельного наблюдения из выборки приведет к значительному изменению предсказываемых моделью значений. Обнаружение влиятельных наблюдений и выбросов рассмотрим на данных примера 5.2. Пример 5.2. На основе информации, приведенной в табл. 5.2 оценить параметры линейной модели парной регрессии зависимости затрат от количества выпущенных изделий. Проанализировать наличие необычных наблюдений и выбросов и оценить их влияние на качество модели. Таблица 5.2. Данные о количестве выпущенных изделий и затратах. Количество изделий - X 1 22.00 2 30.00 3 26.00 4 31.00 5 36.00 6 30.00 7 22.00 8 45.00 9 38.00 Затраты, дол. - Y 3470.00 3783.00 3856.00 3910.00 4489.00 3876.00 3221.00 4579.00 4325.00 3.00 11 30.00 12 38.00 13 41.00 14 27.00 15 28.00 16 31.00 17 37.00 18 32.00 19 59.00 14131.00 3589.00 3999.00 4158.00 3666.00 3885.00 3574.00 4495.00 3814.00 6000.00 10 Анализ выбросов и влиятельных наблюдений в Gretl возможен после оценки параметров уравнения регрессии. Для этого в меню укажем следующий путь к функции leverage: окно модели  Анализ  Значимость наблюдений (рис.5. 2.1). На рис. 5.2.2 приведен график остатков в зависимости от 𝑌̂𝑖 . 65 Рис.5.2.1. Переход к анализу выбросов и влиятельных наблюдений. 8000 6894,85 6000 Остатки 4000 2000 0 0 -2000 2000 4000 6000 8000 Предсказанные значения зависимой переменной -4000 Рис.5.2.2. График зависимости остатков от 𝑌̂𝑖 . В результате выполнения функции leverage (рис.5.2.3) были получены:  остатки 𝜀𝑖 = 𝑌𝑖 − 𝑌̂𝑖 , где 𝑌̂𝑖 предсказанные моделью 𝑌̂𝑖 = 7513.02 − 92.29𝑋𝑖 значения эндогенной переменной 𝑌𝑖 . Самое большое значение 𝜀10 = 𝟔𝟖𝟗𝟒. 𝟖𝟓 (рис. 5.2.2) соответствует наблюдению 10 (в протоколе Gretl остатки 𝜀𝑖 обозначаются как 𝑢𝑖 ). 66  рычаг (leverage), ℎ𝑖 , количественно определяет влияние 𝑌𝑖 на его предсказанное значение 𝑌̂𝑖 . В нашем примере критическое значение ℎ𝑖𝑖 > 0.2105, два наблюдения 10 и 19 имеют леверидж больше 0.2105.  воздействие, или DFFIT DFFIT – разность между ожидаемым значением для данного наблюдения и удалённым ожидаемым значением для него 𝐷𝐹𝐹𝐼𝑇𝑖 = 𝑌̂𝑖 − 𝑌̂(−𝑖) . 𝑌̂10 = 7513.02 − 92.29𝑋10 = 7236.15 𝑌̂(−10) = 1882.44 + 64.35𝑋10 = 2075.498 𝐷𝐹𝐹𝐼𝑇10 = 𝑌̂1𝑖 − 𝑌̂(−10) = 7236.15 − 2075.498 = 5160.65 𝐷𝐹𝐹𝐼𝑇𝑖 = 𝜀𝑖 ∙ℎ𝑖𝑖 , наибольшее значение (1−ℎ𝑖𝑖 ) 𝟔𝟖𝟗𝟒.𝟖𝟓 ∙0.428 (1−0.428) =5160.7 соответствует наблюдению 10.  Статистика DFFITS Статистика DFFITS  это масштабируемая мера изменения, прогнозируемого значении i-го наблюдения, и вычисляется путем удаления iго наблюдения. Большое значение указывает на то, что i-е наблюдение является влиятельным. Стандартизованное значение DFFITS вычисляется по формуле: 𝐷𝐹𝐹𝐼𝑇𝑆𝑖 = 𝐷𝐹𝐹𝐼𝑇𝑖 𝑆𝜀(−𝑖) √ℎ𝑖 . , где 𝑆𝜀(−𝑖)  стандартная ошибка модели без i- го наблюдения. В качестве порогового значения для 𝐷𝐹𝐹𝐼𝑇𝑆𝑖 в [20] указывается 𝐷𝐹𝐹𝐼𝑇𝑆𝑖 > 2√(𝑘 + 1)(𝑛 − 𝑘 − 1). Наибольшее значение DFFITS =34.168 соответствует наблюдению 10. В примере только 𝐷𝐹𝐹𝐼𝑇𝑆10 = 34.168 больше порогового значения 5.83. Наблюдение 10 можно считать влиятельным. 67 Рис.5.2.3. Результат выполнения функции leverage. На рис.5.2.4. представлены графики левериджа и воздействия в зависимости от номера наблюдения 68 Леверидж 1 0,8 0,6 0,4 0,2 0 2 4 6 8 10 12 14 16 18 12 14 16 18 Воздействие 6000 5000 4000 3000 2000 1000 0 -1000 2 4 6 8 10 Рис.5.2.4. Леверидж и воздействие в зависимости от номера наблюдения. К удалению выявленных аномальных наблюдений следует относится с осторожностью, опираясь на содержательный анализ. Построим два уравнения регрессии. Первое по всем наблюдениям и второе, исключив 10 наблюдение. Графики этих двух уравнений приведены на рис.5.2.5, основные характеристики моделей приведены в табл. 5.3. В первом уравнении даже знак минус при коэффициенте 𝑏1 противоречит экономическому смыслу задачи. Стандартная ошибка при коэффициенте 𝑏1 в 7 раз больше в первой модели, а стандартная ошибка модели 1 почти в 10 раз больше стандартной ошибки второй модели. Наличие аномального значения 10 наблюдения связано с влиянием на признак редкого события – на фабрике был пожар, в результате которого резко возросли затраты на ликвидацию последствий. Так, в рассматриваемом примере только наблюдение 10 можно рекомендовать к удалению. 69 16000,00 14000,00 Затраты, дол. 12000,00 10000,00 8000,00 6000,00 4000,00 2000,00 0,00 0,00 10,00 20,00 30,00 40,00 50,00 60,00 70,00 Количество изделий Рис.5.2.5. Две линии двух регрессий: с учетом 10 наблюдения и без него. Таблица 5.3. Сравнительные характеристики двух моделей. 1 модель 2 модель 𝑏0 𝑏1 7513.02 1882.44 -92.29 64.35 Стандартная Стандартная Коэффициент детерминации ошибка ошибка модели 𝑏1 𝑅2 47.13 6.30 2222.53 230.85 0.18 0.86 При исследовании данных, представленных временными рядами выявленные выбросы, можно заменить сглаженными значениями. 5.3. Модели бинарного выбора В регрессионном анализе обычно предполагается, что результирующий показатель 𝑌𝑖 , является количественной величиной, которая может принимать любые значения на множестве действительных чисел. Однако в экономических и социальных исследованиях часто приходится сталкиваться с задачами, когда зависимая переменная может принимать только целочисленные значения: 0, 1, 2,... 70 В зависимости от типа переменных модели с дискретными зависимыми переменными разделяются на модели выбора среди конечного числа альтернативных вариантов и модели счетных данных. К числу последних относятся модели, где Y – это, например, количество обанкротившихся предприятий в текущем году или число аварий, совершенных водителем за исследуемый период. В зависимости от числа конечных вариантов, среди которых осуществляется выбор, различают модели бинарного выбора и модели множественного выбора. В моделях бинарного выбора результирующий показатель может принимать только два значения: 0 и 1. Например, результаты голосования (за, против), решение о выдаче кредита (кредит выдан, в кредите отказано), решение о покупке товара (0-нет, 1-да), результат трудоустройства (примут на работу или нет), состояние обследуемого пациента (заболел, чувствует себя хорошо). К моделям множественного выбора относятся модели с неупорядоченными и упорядоченными альтернативными вариантами. Рассмотрим бинарную логистическую регрессию, когда исследуется зависимость дихотомической переменной от одной или нескольких независимых переменных, имеющих любой тип шкалы. Логистическую регрессию применяют для решения задачи регрессии и классификации. ROC-анализ применяют для анализа качества моделей. Логистическая регрессия получила распространение в скоринге для расчета рейтинга заемщиков и управления кредитными рисками. Логистическая регрессия выражает статистическую связь в виде зависимости P{Y=1|X}=f(X), т.е. прогнозируется вероятность события {Y = 1}, обусловленная значениями независимых переменных 𝑋1 , 𝑋2 , . . . , 𝑋𝑘 . Задача регрессии может быть сформулирована следующим образом: вместо предсказания бинарной переменной, мы предсказываем непрерывную 71 переменную со значениями на отрезке [0,1] при любых значениях независимых переменных. Логистическая регрессия выражает связь между откликом и переменными в виде формулы ̂ 𝑃{𝑌 = 1/𝑋1 , 𝑋2 , . . . 𝑋𝑘 } = 𝑒𝑌 ̂ 1+𝑒 𝑌 = 1 ̂ 1+𝑒 −𝑌 (5.1) где 𝑃{•} – вероятность того, что произойдет интересующее событие; e – основание натуральных логарифмов 2.718…; Y€ – линейное уравнение регрессии 𝑌̂ = 𝑎0 + 𝑎1 𝑋1 + 𝑎2 𝑋2 +. . . +𝑎𝑘 𝑋𝑘 Название "логистическая регрессия" происходит от названия логистического распределения, имеющего функцию распределения 𝐹(𝑥) = 𝑒𝑥 1+𝑒 𝑥 . Таким образом, модель, представленная этим видом регрессии, по сути, является функцией распределения этого закона, в которой в качестве аргумента используется линейная комбинация независимых переменных. Отношение вероятности того, что событие произойдет к вероятности того, что оно не произойдет P/(1-P) называется отношением шансов. С этим отношением связано еще одно представление логистической регрессии. Разрешив (5.1) относительно Y€ , получаем 𝑌̂ = 𝐿𝑛(𝑃/(1 − 𝑃)), где 𝑃 = 𝑃{𝑌 = 1/𝑋1 , 𝑋2 , . . . 𝑋𝑘 }. Тогда отношение шансов может быть записано в виде 𝑃/(1 − 𝑃) = 𝑒 𝑎0+𝑎1 𝑋1+𝑎2𝑋2+...+𝑎𝑘𝑋𝑘 = 𝑒 𝑎0 𝑒 𝑎1𝑋1 𝑒 𝑎2𝑋2 . . . 𝑒 𝑎𝑘𝑋𝑘 = 𝑒 𝑎0 (𝑒 𝑎1 )𝑋1 . . . (𝑒 𝑎𝑘 )𝑋𝑘 Отсюда получается, что, если модель верна, при независимых 𝑋1 , 𝑋2 , . . . , 𝑋𝑘 изменение 𝑋𝑗 на единицу вызывает изменение отношения шансов в 𝑒 𝑎𝑗 раз. Зависимость, связывающая вероятность события 72 ̂ 𝑒𝑌 𝑃{𝑌 = 1/𝑋1 , 𝑋2 , . . . 𝑋𝑘 } = 𝐹(𝑌̂) = ̂ 1+𝑒 𝑌 и величину 𝑌̂ показана на следующем графике (рис. 5.3.1): 1 P 0.5 0 -4 -3 -2 -1 0 1 2 3 4 Y Рис.5.3.1. Логистическая кривая. Эта зависимость носит нелинейный характер, причем P не может выходить за пределы диапазона 0 — 1. Если вместо функции распределения логистического распределения 𝐹(𝑌) = 1 1+𝑒 −𝑌 F(Y) = выбрать функцию распределения нормального закона 1 𝑌 ∫ 𝑒 √2𝜋 −∞ −𝑥 2⁄ 2 , то получим вместо логит-модели близкую ей пробит- модель. Различить, когда следует применять логит-модель, а когда – пробитмодель, в случае малых выборок невозможно, коэффициентов модели 𝑌̂ = 𝑎0 + 𝑎1 𝑋1 +. . . 𝑎𝑘 𝑋𝑘 поскольку оценки отличаются множителем, который практически постоянен. Существует несколько способов нахождения коэффициентов логистической регрессии. В Gretl используют метод максимального правдоподобия. Он применяется в математической статистике для получения оценок параметров генеральной совокупности по данным выборки. Основу 73 метода составляет функция правдоподобия (likehood function), выражающая плотность вероятности (вероятность) совместного появления результатов выборки Y1, Y2,…,Уk: 𝐿(𝑌1 , 𝑌2 , … , 𝑌𝑘 ; 𝜃) = 𝑃(𝑌1 ; 𝜃), … , 𝑃(𝑌𝑘 ; 𝜃) Согласно методу максимального правдоподобия в качестве 𝜃 оценки неизвестного параметра 𝜃 принимается такое значение Θ = Θ(𝑌1 , 𝑌2 , … , 𝑌𝑘 ), которое максимизирует функцию L. Пример 5.3. По 50 водителям был зарегистрирован возраст (Х1), состояние зрения (имеются проблемы со зрением – значение переменной Х2 равно единице, нет проблем – нулю) уровень образования водителя и наличие дорожнотранспортных происшествий (ДТП) в течение последнего года (0 – нет, 1 – да) (табл. 5.4) Таблица 5.4. Статистика по ДТП с учетом возраста, результатов анализа зрения, образования и стажа водителя 1 Y-происходило ли с данным водителем дорожно-транспортное Прошел курсы происшествие в последний Возраст- Зрение- для водителейгод? Х1 Х2 Х3 1 19 1 1 2 0 44 0 1 3 1 48 1 0 4 1 55 0 0 5 1 75 1 1 … … … … 0 19 0 1 50 74 Требуется выяснить, могут ли выбранные переменные - возраст, состояние зрения и образование водителя использоваться для того, чтобы предсказать, были ли у этого водителя ДТП в прошедшем году (0 = нет, 1 = да). Решение. В основном меню программы Gretl выберем пункт Модель Limited dependent variable ЛогитБинарный (рис.5.3.2). В появившемся окне Y перемещаем в поле Зависимая переменная, все факторы Х перемещаем в поле Регрессоры. Рис. 5.3.2. Выбор модели логистической регрессии. На рис. 5.3.3 приведен результат оценки параметров логистической модели (модель 1). const X1 X2 X3 Модель 1: Логит, использованы наблюдения 1-50 Зависимая переменная: Y Стандартные ошибки рассчитаны на основе Гессиана Коэффициен Ст. ошибка z P-значение т −0,746593 1,03778 −0,7194 0,4719 0,0138982 0,0186145 0,7466 0,4553 2,17334 0,762946 2,8486 0,0044 *** −2,1703 0,762963 −2,8446 0,0044 *** Среднее зав. перемен R-квадрат Макфаддена 0,500000 0,327886 Ст. откл. зав. перемен Испр. R-квадрат 0,505076 0,212471 75 Лог. правдоподобие Крит. Шварца −23,29368 62,23545 Крит. Акаике Крит. Хеннана-Куинна 54,58736 57,49980 Количество 'корректно предсказанных' случаев = 40 (80,0%) f(beta'x) для среднего значения независимых переменных = 0,250 Критерий отношения правдоподобия: Хи-квадрат(3) = 22,7274 [0,0000] Предсказанные 0 Наблюдаемые 1 0 20 5 1 5 20 Исключая константу, наибольшее р-значение получено для переменной 2 (X1) Рис. 5.3.3. Результаты построения логистической модели. На основе модели логистической регрессии можно строить предсказание - произойдет или не произойдет событие {Y=1}. Правило предсказания, по умолчанию заложенное в процедуру логистической регрессии, устроено по следующему принципу: если предсказанная вероятность события больше 0.5, считаем, что событие произойдет; если 0.5, считаем, что событие не произойдет. В табл. 5.5 приведены результаты классификации предсказаний по модели 1. Таблица 5.5 Таблица классификации (модель 1) Предсказанное Наблюденное ДТП в прошлом году ДТП в .00 прошлом году 1.00 Общий процент Процент корректных .00 1.00 20 5 80.0 5 20 80.0 80.0 Разделяющее значение = 0.50 76 В протоколе регрессии (рис. 5.3.3) видно, что значимы переменные Х2 и Х3. Коэффициент при переменной Х1(Возраст) не значим. Анализируя данные, можно обратить внимание, что для группы, которая не попадала в дорожно-транспортные происшествия, имеется значительно большее количество водителей среднего возраста, но в группе, попадавших в дорожно-транспортные происшествия, кажется, есть некоторый избыток крайне молодых и крайне пожилых индивидуумов. Базируясь на этих результатах, мы создаем новую дихотомическую переменную Х4, которая будет равна 0 для водителей возрастом от 21 года до 65 лет и 1 в других случаях (рис. 5.3.4). 77 Рис. 5.3.4. Добавлена новая переменная Х4. Рис. 5.3.5. Спецификация модели 2. Построим уравнение логистической регрессии (модель 2). Спецификация модели указана на рис. 5.3.5. На рис. 5.3.6 приведен результат оценки параметров логистической модели (модель 2). const X2 X3 X4 Модель 2: Логит, использованы наблюдения 1-50 Зависимая переменная: Y Стандартные ошибки рассчитаны на основе Гессиана Коэффициен Ст. ошибка z P-значение т −1,52841 0,893066 −1,7114 0,0870 2,71266 0,934496 2,9028 0,0037 −2,13178 0,840895 −2,5351 0,0112 2,35979 0,910774 2,5910 0,0096 * *** ** *** Среднее зав. перемен 0,500000 Ст. откл. зав. перемен 0,505076 R-квадрат Макфаддена 0,443061 Испр. R-квадрат 0,327645 Лог. правдоподобие Крит. Акаике 46,60410 −19,30205 Крит. Шварца 54,25219 Крит. Хеннана-Куинна 49,51654 Количество 'корректно предсказанных' случаев = 43 (86,0%) f(beta'x) для среднего значения независимых переменных = 0,505 Критерий отношения правдоподобия: Хи-квадрат(3) = 30,7106 [0,0000] Предсказанные 0 1 Наблюдаемые 0 21 4 1 3 22 78 Рис. 5.3.6. Результаты построения логистической модели 2. Проанализируем полученные результаты. Качество модели заметно улучшилось. Значение Лог. правдоподобие, которое отражено в результатах теперь равно −19,3 (в модели 1 было −23,29). В Таблице классификации тоже произошли изменения к лучшему, так, процент корректно предсказанных событий увеличился с 80% до 86%. Таблица 5.6 Таблица классификации (модель 2) Предсказанное Наблюденное ДТП в прошлом году ДТП в .00 прошлом году 1.00 Процент корректных .00 1.00 21 4 84.0 3 22 88.0 Общий процент 86.0 Разделяющее значение = 0.50 Уравнение регрессии будет выглядеть следующим образом: ̂ = −𝟏. 𝟓𝟐𝟖 + 𝟐. 𝟕𝟏𝟑𝑿𝟐 − 𝟐. 𝟏𝟑𝟐𝑿𝟑 + 𝟐. 𝟑𝟓𝟗𝑿𝟒 . 𝒀 Если мы подставим соответствующие значения независимых переменных в это уравнение, результатом будет log (шансов попадания в дорожно-транспортное происшествие). Для того чтобы определить сами шансы, необходимо возвести число е (основание натуральных логарифмов) в эту степень. Для того чтобы рассчитать вероятность того, что человек попадет в аварию, базируясь на информации о его зрении, уровне образования и возрастной группе, можно использовать следующее соотношение: ОШ = Р/(1–Р), где ОШ – отношение шансов; Р-это вероятность попадания в ДТП. Разрешив это уравнение относительно Р, получаем: Р=ОШ/(1+ОШ) 79 Используем это уравнение для того, чтобы предсказать шансы и вероятность попадания в дорожно-транспортное происшествие для человека, у которого нет никаких проблем со зрением (Х2= 0), и для человека, никогда не учившегося на курсах для водителей (Х3= 0) и относящегося к возрастной группе от 21 года до 65 лет (Х4= 0). Расчеты будут следующими: Log (ОШпопад в ДТП ) =𝑌̂ = −1.528 + 2.713𝑋2 − 2.132𝑋3 + 2.359𝑋4 = = −1.528 + 2.713 ⋅ 0 − 2.132 ⋅ 0 + 2.359 ⋅ 0 = −1.528 ОШпопад в ДТП = 𝑒𝑥𝑝( − 1.528) = 0.217, а соответствующая вероятность попадания в дорожно-транспортное происшествие: 𝑃попад в ДТП = 0.217/(1 + 0.217) = 0.178. Взяв аналогичного человека, но имеющего проблемы со зрением (Х2= 1), снова рассчитываем шансы и вероятность: Log (ОШпопад в ДТП ) =𝑌̂ = −1.528 + 2.713𝑋2 − 2.132𝑋3 + 2.359𝑋4 = = −1.528 + 2.713 ⋅ 1 − 2.132 ⋅ 0 + 2.359 ⋅ 0 = 1.184 ОШпопад в ДТП = 𝑒𝑥𝑝( 1.184) = 3.268, 𝑃попад в ДТП = 3.268/(1 + 3.268) = 0.766 Шансы (попадания в дорожно-транспортное происшествие) равны 3.268, Р (попадания в дорожно-транспортное происшествие) – 0,766. Мы видим, что шансы попадания в дорожно-транспортное происшествие резко увеличиваются от 0.217 до 3.268, т.е. почти в 15 раз (3.268/0.217= 15.07), у человека с проблемами со зрением. Как было сказано выше, изменение 𝑋𝑗 на единицу вызывает изменение отношения шансов в 𝑒 𝑎𝑗 раз. С помощью логистической регрессии мы прогнозируем только вероятность совершения ДТП конкретным водителем в зависимости от значений (для этого водителя) включённых в модель переменных. Далее надо определить разделяющее значение - порог вероятности для прогнозирования принадлежности водителя к группе совершивших или не совершивших ДТП. 80 Как отмечалось, по умолчанию этот порог принимается равным 0.5. Выбрать этот порог можно с использованием аппарата ROC-анализа. Процедура ROC-анализа полезна для оценки эффективности схем классификации, в которых есть одна переменная с двумя категориями, по которым классифицируются объекты. ROC-кривая (Receiver Operator Characteristic) – кривая, которая используется для представления результатов бинарной классификации. Поскольку классов два, один из них называется классом с положительными исходами, второй – с отрицательными исходами. ROC- кривая показывает зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров. В терминологии ROC-анализа первые называются истинно положительными, вторые – ложно отрицательными. При этом предполагается, что у классификатора имеется некоторый параметр, варьируя который, мы будем получать то или иное разбиение на два класса. Этот параметр часто называют порогом, или точкой отсечения. В зависимости от него будут получаться различные величины ошибок I и II рода. В логистической регрессии в качестве параметра для разбиения на классы выбирается расчетное значение уравнения регрессии. При этом порог отсечения изменяется от 0 до 1. Основные понятия и применение ROC-анализа рассмотрим на данных примера 5.3 Для понимания сути ошибок I и II рода рассмотрим Таблицу классификации (табл.5.7), которая строится на основе результатов классификации моделью (порог отсечения равен 0.5) и фактической (объективной) принадлежностью водителей к классам совершивших ДТП в прошлом году (1.00) или не совершивших (0.00). 81 Таблица 5.7 Таблица классификации Предсказанное Наблюденное ДТП в прошлом году Процент корректных .00 1.00 .00 TP 21 FN 4 84.0 1.00 FP 3 TN 22 88.0 ДТП в прошлом году Общий процент 86.0 Разделяющее значение = 0.500  TP (True Positives) – верно классифицированные положительные примеры (так называемые истинно положительные случаи);  TN (True Negatives) – верно классифицированные отрицательные примеры (истинно отрицательные случаи);  FN (False Negatives) – положительные примеры, классифицированные как отрицательные (ошибка I рода). Это так называемый "ложный пропуск" – когда интересующее нас событие ошибочно не обнаруживается (ложно отрицательные примеры);  FP (False Positives) – отрицательные примеры, классифицированные как положительные (ошибка II рода); Это ложное обнаружение, т.к. при отсутствии события ошибочно выносится решение о его присутствии (ложно положительные случаи). Что является положительным событием, а что – отрицательным, зависит от конкретной задачи. В нашем примере мы прогнозируем вероятность свершения ДТП и положительным исходом будет класс "ДТП произошло", отрицательным – "ДТП не произошло". При анализе чаще оперируют не абсолютными показателями, а относительными – долями (rates), выраженными в процентах: 82 Доля истинно положительных примеров (True Positives Rate): 𝑻𝑷𝑹 = 𝑻𝑷 ⋅ 𝟏𝟎𝟎% 𝑻𝑷 + 𝑭𝑵 Доля ложно положительных примеров (False Positives Rate): 𝑭𝑷 𝑭𝑷𝑹 = ⋅ 𝟏𝟎𝟎% 𝑻𝑵 + 𝑭𝑷 Введем еще два определения: чувствительность и специфичность модели. Ими определяется объективная ценность любого бинарного классификатора. Чувствительность (Sensitivity) – это и есть доля истинно положительных случаев: 𝑺𝒆 = 𝑻𝑷𝑹 = 𝑻𝑷 ⋅ 𝟏𝟎𝟎% 𝑻𝑷 + 𝑭𝑵 Специфичность (Specificity) – доля истинно отрицательных случаев, которые были правильно идентифицированы моделью: 𝑺𝒑 = 𝑻𝑵 ⋅ 𝟏𝟎𝟎% 𝑻𝑵 + 𝑭𝑷 Заметим, что FPR=100-Sp. В нашем примере Чувствительность=ТPR=TP/(TP+FN)*100%=21/(21+4) *100%=Se= 84% Специфичность =Sp=TN/(TN+FP) *100%==22/(22+3) *100%=88% Модель с высокой чувствительностью часто дает истинный результат при наличии положительного исхода (обнаруживает положительные примеры). Наоборот, модель с высокой специфичностью чаще дает истинный результат при наличии отрицательного исхода (обнаруживает отрицательные примеры). ROC-кривая получается следующим образом: 1. Для каждого значения порога отсечения, которое меняется от 0 до 1 с шагом dx (например, 0.01) рассчитываются значения чувствительности 83 Se и специфичности Sp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке. 2. Строится график зависимости: по чувствительность Se, по оси X-величина оси Y откладывается 100%–Sp (сто процентов минус специфичность), или, что то же самое, FPR – доля ложно положительных случаев (Рис. 5.3.7). Для идеального классификатора график ROC-кривой проходит через верхний левый угол, где доля истинно положительных случаев составляет 100% или 1.0 (идеальная чувствительность), а доля ложно положительных примеров равна нулю. Поэтому чем ближе кривая к верхнему левому углу, тем выше предсказательная способность модели. Наоборот, чем меньше изгиб кривой и чем ближе она расположена к диагональной прямой, тем менее эффективна модель. Диагональная линия соответствует "бесполезному" классификатору, т.е. полной неразличимости двух классов. Рис. 5.3.7. ROC- кривая для модели 2. 84 При визуальной оценке ROC-кривых расположение их относительно друг друга указывает на их сравнительную эффективность. Кривая, расположенная выше и левее, свидетельствует о большей предсказательной способности модели. Так, на рис. 5.3.8 две ROC-кривые совмещены на одном графике. Видно, что модель 2 лучше. 1.000 0.900 Чувствительность 0.800 0.700 0.600 0.500 0.400 0.300 0.200 модель 1 0.100 модель 2 0.000 0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000 1 - Специфичность Рис. 5.3.8. Сравнение ROC-кривых Порог отсечения нужен для того, чтобы применять модель на практике: относить новые примеры к одному из двух классов. Для определения оптимального порога нужно задать критерий его определения, т.к. в разных задачах присутствует своя оптимальная стратегия. Критериями выбора порога отсечения могут выступать: - Требование минимальной величины чувствительности (специфичности) модели. Например, нужно обеспечить чувствительность 85 теста не менее 80%. В этом случае оптимальным порогом будет максимальная специфичность (чувствительность), которая достигается при 80% (или значение, близкое к нему "справа" из-за дискретности ряда) чувствительности (специфичности). - Требование максимальной суммарной чувствительности и специфичности модели. - Требование баланса между чувствительностью и специфичностью, т.е. когда 𝑺𝒆 ≈ 𝑺𝒑. Второе значение порога обычно предлагается пользователю по умолчанию. В третьем случае порог есть точка пересечения двух кривых, когда по оси X откладывается порог отсечения, а по оси Y –чувствительность или специфичность модели (рис. 5.3.9). 1.2 1 0.8 0.6 ` 0.4 0.2 Чувствительность Специфичность 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Порог отсечения Рис. 5.3.9. "Точка баланса" между чувствительностью В последнем варианте порог отсечения равен 0,52. 86 Во второй части пособия «Эконометрика в Gretl» будут рассмотрены следующие разделы: тесты на гетероскедастичность, автокорреляцию, нормальность, тест Чоу, тест Рамсея, модели с фиктивными переменными, модели временных рядов, модели панельных данных. Литература 1. Айвазян С.А. Методы эконометрики. – М.: Магистр: ИНФРА-М, 2010. 2. Бабешко Л.О., Бич М.Г., Орлова И.В. Эконометрика и эконометрическое моделирование: учебник [Текст]/ Л.О. Бабешко, М.Г. Бич, И.В. Орлова. — М.: Вузовский учебник: ИНФРА-М,2018. — 385 с. 3. Вербик Марно. Путеводитель по современной эконометрике. — М.: Научная книга, 2008. 4. Демидова О.А. Эконометрика: Учебник и практикум для прикладного бакалавриата / О.А. Демидова, Д.И. Малахов. – М.: Издательство Юрайт, 2019. —334 с. 5. Доугерти К. Введение в эконометрику. — М.: Инфра - М,2010. 6. Дрейпер, Норман; Смит, Гарри Прикладной регрессионный анализ, 3-е изд.:. - М.: Издательский дом «Вильямс», 2007. 7. Костюнин В.И. Эконометрика. Учебник и практикум для прикладного бакалавриата — М.: Юрайт, 2015. 8. Кремер Н.Ш., Путко Б.А. Эконометрика. — М.: ЮНИТИ, 2002. 9. Куфель Т. Эконометрика. Решение задач с применением пакета программ Gretl. – M.: Горячая линия – Телеком, 2007. – 200 с. М.: Проспект, 2016. – 112 с. 10.Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс: Учебник. — 8-е изд. — М.: Дело, 2007. 11. Малова А. С. Основы эконометрики в среде Gretl: учебное пособие. М.: Проспект, 2016. — 112 с. 87 12.Математическое моделирование и количественные методы исследований в менеджменте: учеб. пособие / М.Ю. Михалева, И.В. Орлова. — М. : Вузовский учебник : ИНФРА-М, 2018. — 296 с. 13.Невежин В.П., Невежин Ю.В. Практическая эконометрика в кейсах. — М.: ИД «ФОРУМ»: ИНФРА-М, 2017. 14.Орлова И.В. Выявление и устранение информационной избыточности метрических данных в пакетах R и GRETL // Мягкие измерения и вычисления. 2018. № 11. С. 94-100. 15.Орлова И.В., Половников В.А. Экономико-математические методы и модели: компьютерное моделирование: Учебное пособие – 3-е изд., перераб. и доп. М.: Вузовский учебник: ИНФРА-М, 2012. 16.Основы математического моделирования социально-экономических процессов Бич М.Г., Орлова И.В., Рытиков С.А., Щепетова С.Е., Росс Г.В.: Практикум. (Бакалавриат) / под ред. С.А. Рытикова. — М.: КноРус, 2019. — 292 с. 17. Сток Джеймс, Уотсон Марк. Введение в эконометрику / Джеймс Сток, Марк Уотсон; пер. с англ. – М.: Издательский дом «Дело» РАНХиГС, 2015. 18. Эконометрика: учебник / В.С. Мхитарян, М.Ю. Архипова, В.А. Балаш и др.; под ред. В.С. Мхитаряна. — М.: Проспект, 2010.—384 с. 19.Эконометрика: учебник для магистров / И.И. Елисеева [и др.]; под ред. И.И. Елисеевой. — М.: Издательство Юрайт, 2012; — Серия: Магистр; Информатизация и связь. — 2014. 20.Fox John, Weisberg Sanford. An R Companion to Applied Regression. 2nd Ed. Sage Publications, 2011, р.792 88

Эконометрика в Gretl. Часть 1 — учебное пособие Орловой И.В.

Related documents

Products

Support

Эконометрика в Gretl. Часть 1 — учебное пособие Орловой И.В.

Related documents

Add this document to collection(s)

Add this document to saved

Suggest us how to improve StudyLib