Анализ регрессии в изучении экономических проблем

M(Y|X = = xi) = β0 + β1xi.  

2 Дисперсия случайных отклонений εi постоянна: 

D(εi) =  D(εj) = σ2 для любых наблюдений i и j. Данное условие подразумевает, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение может быть либо большим, либо меньшим, не должно быть некой априорной причины, вызывающей большую ошибку (отклонение).Выполнимость данной предпосылки называется гомоскедастичностью  (постоянством  дисперсии  отклонений). 

Невыполнимость  данной  предпосылки  называется  гетероскедастичностью (непосто-янством  дисперсий отклонений). Поскольку  D(εi) = M(εi − M(εi))2 = M(еi2) , то данную предпосылку можно переписать в форме:  M(еi2)= σ2. Причины невыполнимости данной предпосылки и проблемы, свяанные с этим, подробно рассматриваются в главе 8.  

3 Случайные отклонения εi и εj являются независимыми  друг от друга для i ≠ j.  Выполнимость  данной  предпосылки предполагает,  что отсутствует систематическая связь между любыми случайными отклонениями. Другими словами, величина и определенный знак любого случайного отклонения не должны быть причинами величины и знака любого другого отклонения. Поэтому, если данное условие выполняется, то говорят об отсутствии автокорреляции. С учетом выполнимости предпосылки 10 соотношение (5.6) может быть переписано в виде: M(εi εj) = 0 (i ≠ j). Причины невыполнимости данной предпосылки и проблемы, свя-занные с этим, подробно рассматриваются в главе 9.  

4 Случайное отклонение  должно  быть  независимо  от  объясняющих переменных. Обычно  это условие выполняется автоматически при условии,что объясняющие переменные не являются случайными в данной модели. Данное  условие предполагает  выполнимость  следующего  соотношения:

у  = cov(εi, xi) = M((εi − M(εi))(xi − M(xi))) = M(εi(xi − M(xi))) =

еixi = M(εi xi) − M(εi) M(xi) = M(εi xi) = 0.

Следует  отметить,  что  выполнимость  данной  предпосылки  не столь критична для эконометрических моделей.  

5   Модель является линейной относительно параметров

6 Отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.  

7 Ошибки εi имеют нормальное распределение /Выполнимость данной предпосылки важна для проверки статистических гипотез и построения интервальных оценок. 

Как и  в случае парной регрессии, истинные значения параметров βj по выборке получить невозможно. В этом случае вместо теоретического уравнения регрессии (6.3) оценивается так называемое эмпирическое уравнение регрессии. Эмпирическое уравнение регрессии представим в виде:

Y = b0 + b1X1 + b2X2 + ... + bmXm+ е.                    (2.6)                        

Здесь b0, b1, ..., bm − оценки теоретических значений  β1, β2, ..., βm коэффициентов регрессии (эмпирические  коэффициенты  регрессии); е − оценка отклонения ε. Для индивидуальных наблюдений имеем:

 yi =  b0 + b1xi1 +  … + bmxim + ei.                         (2.7)  

Оцененное  уравнение  в  первую  очередь  должно  описывать  общий  тренд (направление)  изменения  зависимой  переменной Y. При этом необходимо иметь возможность рассчитать отклонения от этого тренда. По данным выборки объема n: (xi1, xi2,… , xim, yi), i = 1, 2, … , n  требуется  оценить  значения параметров βj  вектора β,  т.  е. провести параметризацию выбранной модели (здесь xij, j = 1, 2, … , m − значение переменной Xj в i-м наблюдении). При  выполнении  предпосылок МНК  относительно  ошибок  εi оценки b0, b1, ..., bm параметров β1, β2, ..., βm множественной линейной регрессии по МНК являются  несмещенными,  эффективными  и  состоятельными (т. е. BLUE-оценками).  На  основании (6.7) отклонение  еi  значения yi  зависимой переменной Y от модельного значения  y)i , соответствующего уравнению регрессии в i-м наблюдении (i = 1, 2, …, n), рассчитывается по формуле:

 ei = yi – b0 – b1xi1 − … − bmxim.                         (2.8)

Тогда по МНК для нахождения оценок b0, b1, ..., bm минимизируется следующая функция:  

Q= ∑ei2 = ∑(yi −(b0 +∑bjxij))2 .                       (2.9)

i=1 i=1 j=1

Данная  функция  является квадратичной относительно неизвестных величин bj, j = 0, 1, ..., m. Она ограничена снизу, следовательно, имеет минимум. Необходимым условием минимума функции Q является  равенство  нулю  всех  ее  частных  производных  по bj.  Частные производные квадратичной функции (6.9) являются линейными функциями.

Приравнивая их  к нулю, мы получаем систему (m + 1) линейного уравнения с (m + 1) неизвестным:

∂Q/  ∂b0 =  −2∑n (yi −(b0 +∑m bjxij)),                          

∂Q/ ∂bj  =  −2∑(yi −(b0 +∑bjxij))xij,   j=1, 2, ... , m. (2.10)

Такая система  имеет обычно единственное решение. В исключительных случаях, когда столбцы системы линейных уравнений линейно зависимы, она имеет бесконечно много решений или не имеет решения вовсе. Однако данные реальных статистических наблюдений к таким  исключительным  случаям  практически  никогда  не  приводят. Система (6.11) называется системой нормальных уравнений. Ее решение  в  явном  виде  наиболее  наглядно  представимо  в  векторноматричной форме.  

2.2 Расчет коэффициентов множественной линейной регресcии 

Представим  данные наблюдений и соответствующие коэффициенты в матричной форме. Здесь Y − вектор-столбец размерности  n  наблюдений зависимой переменной Y; Х − матрица размерности n Ч (m + 1), в которой i-я строка (i = 1, 2, … , n) представляет наблюдение вектора значений независимых переменных X1, X2, … , Xm; единица соответствует переменной при  свободном члене b0; B − вектор-столбец размерности

(m + 1) параметров уравнения регрессии (6.6); e − вектор-столбец размерности n отклонений выборочных (реальных) значений  yi зависимой переменной Y от значений  y^i , получаемых по уравнению регрессии 

                      

Y^i = b0 + b1X1 + b2X2 + ... + bmXm.                       (2.12)  

Нетрудно  заметить, что функция  Q= ∑ei2 в  матричной форме представима  как произведение вектор-строки eT = ( e1, e2, ... , en ) на вектор-столбец e. Вектор-столбец e, в свою очередь, может быть записан в следующем виде: 

e = Y −  XB.                                        (2.13)

Отсюда :

Q = eT⋅e = (Y − XB)T⋅( Y −XB) = YT Y −BT XT Y −YT XB +BT XT XB =

= YT Y −  2BT XT Y + BTXT XB.                        (2.14)       

Здесь  eT, BT, XT, YT − векторы и матрицы, транспонированные к e, B, X, Y соответственно. При выводе формулы (6.14) мы воспользовались известными соотношениями линейной алгебры:

 (Y − XB)T = YT - (XB)T;    (XB)T = BTXT;     BT XT Y = YT XB.        (2.15)  

Эти соотношения  легко проверить, записав поэлементно все мат-рицы и выполнив с ними нужные действия. Необходимым условием экстремума функции Q является равенство нулю ее частных производных   по всем параметрам bj,  в матричном виде имеет следующий вид:

  (2.16) 

Для упрощения  изложения  обозначим матрицу XT X  размерности (m + 1) Ч (m + 1) через Z. Обозначим  вектор-столбец ХTY размерности (m + 1) через R.  Тогда BT XT Y = BTR =  ∑ajrj+1, где rj+1 – соответствующий элемент вектора R.

Следовательно, формула  (2.16) справедлива. Приравняв ∂Q/  ∂b0 нулю, получим общую формулу (2.18) вычисления коэффициентов множественной линейной регрессии.

      Здесь (XT X)−1 − матрица, обратная к XT X.   Полученные общие соотношения справедливы для уравнений регрессии  с  произвольным  количеством m объясняющих  переменных. Проанализируем полученные результаты для случаев m = 1, m = 2. Для парной регрессии Y = b0 + b1X + e имеем: (Приложения А)

Сравнивая диагональные элементы z′jj  матрицы Z−1= (XT X)−1 с формулами , замечаем, что Sb2j= S2 ⋅ z′jj ,  j = 0, 1.  Рассуждая аналогично, можно вывести формулы (осуществление выкладок рекомендуем в качестве упражнения) определения коэффициентов  регрессии  для  уравнения  с  двумя  объясняющими  переменными (m = 2). Соотношение (6.17) в этом случае в расширенной форме имеет вид системы трех линейных уравнений с тремя неизвестными b0, b1, b2:

∑yi   =    nb0  +   b1∑xi1  +  b2∑xi2 ,                    

∑xi1yi =b0∑xi1 +b1∑xi21 +b2∑xi1xi2,                (2.19)

∑xi2yi =b0∑xi2 +b1∑xi1xi2 +b2∑xi22.  
 
 

2.3 Дисперсии и стандартные ошибки коэффициентов 

      Знание  дисперсий и  стандартных ошибок позволяет  анализировать точность оценок, строить доверительные интервалы для теоретических коэффициентов, проверять соответствующие гипотезы. Наиболее удобно формулы расчета данных характеристик приводить в матричной форме. Попутно заметим, что три первые предпосылки МНК в матричной форме будут иметь вид:

1 M(ε) = 0;

2 D(ε) = σ2I;

3 K(ε) = M(εεT) = σ2E.

 

 

Как показано выше, эмпирические коэффициенты множественной линейной регрессии определяются по формуле (2.18) 

Подставляя  теоретические значения Y = Xβ + ε в  данное соотношение, имеем:

 

Построим  дисперсионно-ковариационную матрицу   

 

В силу того, что Хj не являются случайными величинами, имеем:

 

Напомним, что z′jj− j-й диагональный элемент матрицы  Поскольку истинное значение дисперсии σ2 по выборке определить  невозможно,  оно  заменяется  соответствующей  несмещенной оценкой

                                   

где m −  количество объясняющих переменных модели. Отметим, что иногда в формуле (6.22) знаменатель представляют в виде n − m − 1 = = n − k, подразумевая под k число параметров модели (подлежащих определению коэффициентов регрессии). Следовательно, по выборке мы можем определить лишь выбороч-ные дисперсии эмпирических коэффициентов регрессии:

Sb2j= S2 z′jj =  n−∑mei2−1 z′jj,  j = 0, 1, …, m.               (2.23)   

Как и  в случае парной регрессии, S =  S2 называется стандартной ошибкой регрессии. Sbj = S2bj  называется стандартной ошибкой коэффициента регрессии. В частности, для уравнения Y) =b0 +b1X1 +b2X2  с двумя объясняющими переменными дисперсии и стандартные ошибки коэффициентов вычисляются по следующим формулам (Приложение В) .Здесь r12 = rx1x2− выборочный коэффициент корреляции между

объясняющими переменными Х1 и Х2.  
 
 
 

2.4  Интервальные оценки коэффициентов теоретического уравнения регресcии  

      По  аналогии с парной регрессией после определения точечных оценок bj  коэффициентов βj (j = 0, 1, …, m) теоретического уравнения регрессии могут быть рассчитаны интервальные оценки  указанных  коэффициентов.  Для  построения  интервальной оценки коэффициента βj строится t-статистика имеющая распределение Стьюдента с числом степеней свободы  ν = = n − m − 1 (n − объем выборки, m − количество объясняющих переменных в модели).  Пусть  необходимо  построить 100(1 −  α)%-ный  доверительный интервал для коэффициента βj. Тогда по таблице критических точек распределения  Стьюдента  по  требуемому  уровню  значимости  α  и числу  степеней  свободы  ν  находят критическую точку tб ,  n−m−1=2

Таким образом, доверительный интервал, накрывающий с надежностью (1 − α) неизвестное значение параметра βj, Не вдаваясь в детали, отметим, что по аналогии с парной регрессией (см. раздел 5.5) может быть построена интервальная оценка для среднего значения предсказания:

В матричной  форме это неравенство имеет  вид:

 
 

2.5  Анализ качества эмпирического уравнения множественной линейной регрессии  

      Построение  эмпирического  уравнения  регрессии  является  начальным этапом эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным  по  тем  или  иным  характеристикам.  Поэтому  следующей важнейшей задачей эконометрического анализа является проверка качества  уравнения  регрессии.  В  эконометрике  принята  устоявшаяся схема  такой проверки (по  крайней мере, на начальной  стадии). Это нашло  отражение  практически  во  всех  современных  эконометрических пакетах.  Проверка  статистического  качества  оцененного  уравнения  регрессии проводится по следующим направлениям: