Линейная регрессия и корреляция: смысл и оценка параметров

 

     Каждый  столбец этой таблицы представляет ряд наблюдений над одной переменной. Номер столбца  k показывает номер соответствующей объясняющей переменной, номер строки i показывает номер наблюдения. Значения  y_i и x_ik  являются эмпирическими или опытными данными.

     Случайная переменная , характеризующая отклонение переменной  y от средней величины ŷ, называется возмущающей переменной (латентной переменной) или возмущением. Значения u нельзя получить непосредственно. Значения возмущающей переменной u можно получить лишь после количественной оценки зависимости в виде функции регрессии. Вычисленные оценки û значений переменной u и называются остатками. Избранная функция регрессии должна отображать экономическую закономерность, поэтому перед построением функции регрессии необходимо провести качественный экономический анализ изучаемого явления, позволяющий вскрыть все сторонние связи изучаемого явления.

     При анализе зависимости между двумя переменными (например, y и x_k) по таблице можно построить в декартовой системе координат диаграмму рассеяния:

     

     В результате действия побочных факторов

     (x₁, x₂, …, x_k-1, x_k, x_k+1, …, x_m)

     каждому фиксированному значению переменной x_k может соответствовать несколько значений переменной y.

     Диаграмма рассеяния позволяет произвести визуальный анализ эмпирических данных, по ней можно графическим путем  определить функцию регрессии, которая  обязательно должна проходить через точку - центр рассеяния, и которая должна по возможности хорошо отражать характер скопления точек. 
 
 
 
 
 
 

     3. МЕТОД ЧАСТНЫХ  СРЕДНИХ 

     Среднее, связанное с определенными предположениями  или вычисленное при определенных условиях, называется частным, условным или групповым средним. Частные средние переменных x и y вычисляются по формулам:

     

 

     где - частное среднее переменной x для i –группы значений  

                  переменной y (значения переменной y разбиты q групп), 

            - частное среднее переменной y для p-группы значений

                    переменной x (значения переменной  x разбиты на  s  групп);

     n_j и n_p – число отдельных значений в группе j и группе p; 

 
 
 
 
 
 
 
 
 
 

4. ПРОСТАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

     Линейная  регрессия находит широкое применение в эконометрике в виде четкой эконометрической интерпретации ее параметров. Линейная регрессия сводится к нахождению уравнения вида:

     Ŷ = а + bx или Ŷ = a + bx + ε;

     Уравнение вида Ŷ = а + bx позволяет по заданным значениям фактора x иметь теоретические значения результативного признака, подставляя в него фактические значения фактора X. На графике теоретические значения представляют линию регрессии.

       
 
 
 
 

       
 

     Рисунок 1 – Графическая оценка параметров линейной регрессии 

     Построение  линейной регрессии сводится к оценке ее параметров – а и b. Оценки параметров линейной регрессии могут быть найдены разными методами. Можно обратится к полю корреляции и, выбрав на графике две точки, провести через них прямую линию. Далее по графику можно определить значения параметров. Параметр a определим как точку пересечения линии регрессии с осью OY, а параметр b оценим, исходя из угла наклона линии регрессии, как dy/dx, где dy – приращение результата y, а dx – приращение фактора x, т.е. Ŷ = а + bx.

     Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

     МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака (y) от расчетных (теоретических) минимальна:

     ∑(Y_i – Ŷ _xi)² → min

     Иными словами, из всего множества линий  линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной.

     ε_i = Y_i – Ŷ _xi.

     следовательно ∑ε_i² → min 

       
 
 
 
 
 
 

      Рисунок 2 – Линия регрессии с минимальной дисперсией остатков 

     Чтобы найти минимум функции, надо вычислить  частные производные по каждому из параметров a и b и приравнять их к нулю.

     Обозначим ∑ε_i² через S, тогда

     S = ∑ (Y –Ŷ _xi)² =∑(Y-a-bx)²;

     Дифференцируем  данное выражение, решаем систему нормальных уравнений, получаем следующую формулу  расчета оценки параметра b:

     b = (ух – у•x)/(x²-x²).

     Параметр  b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу. Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.

     Формально а – значение у при х=0. Если признак-фактор х не имеет и не может иметь нулевого значения, то вышеуказанная трактовка свободного члена а не имеет смысла. Параметр а может не иметь экономического содержания. Попытки экономически интерпретировать параметр а могут привести к абсурду, особенно при а<0.

     Интерпретировать  можно лишь знак при параметре  а. Если а>0, то относительное изменение результата происходит медленнее, чем изменение фактора. Иными словами, вариация результата меньше вариации фактора – коэффициент вариации по фактору х выше коэффициента вариации для результата у: Vx>Vy. Для доказательства данного положения сравним относительные изменения фактора х и результата у:

     

 или  ; ;

     Откуда  0<а.

     Оценку  коэффициента регрессии можно получить проще, не обращаясь к методу наименьших квадратов. Альтернативную оценку параметра  b можно найти, исходя из содержания данного коэффициента: изменение результата сопоставляют с изменением фактора .

     Эта величина является приближенной, потому что большая часть информации, имеющейся в данных, не используется при ее расчете. Она основана только на мини-максных значениях переменных.

     Парная  линейная регрессия используется в  эконометрике нередко при изучении функции потребления:

     

,

     где - потребеление;

           - доход;

         и - параметры функции.

     Данное  уравнение линейной регрессии используется обычно в увязке с балансовым равенством:

     

,

     где - размер инвестиций;

           - сбережения.

     Для простоты предположим, что доход расходуется на потребление и инвестиции и рассматривается система уравнений.

     Наличие в данной системе балансового  равенства накладывает ограничение  на величину коэффициента регрессии, которая не может быть больше единицы, т. е. .

     Если  коэффициент регрессии оказывается  больше единицы, то , т. е. на потребление расходуются не только доходы, но и сбережения.

     Коэффициент регрессии в функции потребления используется для расчета мультипликатора

     

,

     где - мультипликатор;

            b – коэффициент регрессии в функции потребления.

     Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции . Существуют разные модификации формулы линейного коэффициента корреляции:

     

     Как известно, линейный коэффициент корреляции находится в границах: .

     Если  коэффициент регрессии   , то , и,   наоборот, при , .

     Чем ближе величина коэффициента корреляции к единице, тем больше зависимость.

     Величина  коэффициента корреляции оценивает  тесноту связи рассматриваемых  признаков в ее линейной форме. Поэтому  близость абсолютной величины линейного  коэффициента корреляции к нулю еще  не означает отсутствие связи между признаками. При иной спецификации модели связь между признаками может оказаться достаточно тесной.

     Для оценки качества подбора линейной функции  рассчитывается квадрат линейного коэффициента корреляции , называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей результативного признака:

     

     Соответственно  величина характеризует долю дисперсии у, вызванную влиянием остальных не учтенных в модели факторов.

     Величина  коэффициента детерминации служит одним  из критериев оценки качества линейной модели. Чем больше доля объясненной  вариации, тем соответственно меньше роль прочих факторов, и, следовательно, линейная модель хорошо аппроксимирует исходные данные и ею можно воспользоваться для прогноза значений результативного признака. 
 
 
 
 
 
 
 

     ЗАКЛЮЧЕНИЕ 

     Эконометрические  методы следует использовать как  составную часть научного инструментария практически любого технико-экономического исследования. Оценка точности и стабильности технологических процессов, разработка адекватных методов статистического приемочного контроля и статистического контроля технологических процессов, оптимизация выхода полезного продукта методами планирования экстремального эксперимента в химико-технологических системах, повышение качества и надежности изделий, сертификация продукции, диагностика материалов, изучение предпочтений потребителей в маркетинговых исследованиях, применение современных методов экспертных оценок в задачах принятия решений, в частности, в стратегическом, инновационном, инвестиционном менеджменте, при прогнозировании - везде полезна эконометрика.

     Бесспорно совершенно, что практически любая  область экономики и менеджмента имеет дело со статистическим анализом эмпирических данных, а потому имеет те или иные эконометрические методы в своем инструментарии. Например, перспективно применение этих методов для анализа научного потенциала России, при изучении рисков инновационных исследований, в задачах контроллинга, при проведении маркетинговых опросов, сравнении инвестиционных проектов, эколого-экономических исследований в области химической безопасности биосферы и уничтожения химического оружия, в задачах страхования, в том числе экологического, при разработке стратегии производства и продажи специальной техники и во многих других областях.