Однофакторный дисперсионный анализ

Тогда можно считать: корреляционная зависимость имеет место, если при  изменении Х изменяется условное математическое ожидание Y.

Аналогично вводится понятие условного  математического ожидания для с.в. Х.

Функции g(x) = М(Y/Х = х) и f(y) = М(Х/Y = у) мы назвали функциями регрессии, а линию на плоскости, соответствующую этому уравнению – линией регрессии соответственно Y на Х и Х на Y. Эта линия показывает, как в среднем зависит Y от Х или Х от Y.

Корреляционная  зависимость между случайными величинами Х и Y называется линейной корреляцией, если обе функции регрессии f(y) и g(x) являются линейными. В этом случае линии регрессии – прямые и называются прямыми регрессии.

Выведем уравнение прямой регрессии Y на Х, т.е. найдем коэффициенты линейной функции g(x) = AX +B.

Введем  обозначения М(Х) = а, М(Y) = b, D(X) = , D(Y) = , М(ХY) – М(Х)×М(Y) = К_xy.

Используем  свойства математического ожидания:

М(Y) = М(g(x))= M(AX +B) = AM(X) +B, тогда B = b – A×a.

M(XY) = M(Xg(x)) = M(AX ² + BX) = AM(X²) + BM(X) = AM(X²) + (b – Aa)×a, откуда

= ρ(Y/X).

Величина ρ(Y/X) называется коэффициентом регрессии Y на Х.

Уравнение прямой регрессии Y на Х имеет вид:

y = ρ(Y/X)×(x – a) + b.     (7.1)

Аналогично  получим уравнение прямой регрессии Х на Y:

y = ρ(X/Y)×(y – b) + a.      (7.2)

Выразим коэффициенты регрессии через коэффициент  корреляции:

.

Тогда уравнения (7.1), (7.2) примут вид:

y – b =

.

  Обе прямые проходят через  общую точку (a, b).

Чем ближе |r| к единице, тем меньше угол между прямыми регрессии, и только в случае |r| = 1 прямые сливаются.

Расчет  прямых регрессии по выборочным данным. Метод наименьших квадратов

Пусть каждый объект генеральной совокупности характеризуется двумя количественными  признаками x и y. Например, деталь может иметь два размера – длину и ширину. В этом случае генеральная совокупность представляет собой двумерную случайную величину (Х, Y). Эта случайная величина принимает значения (x_i, y_i) на множестве объектов генеральной совокупности. Не зная закона совместного распределения случайных величин X и Y, мы не можем говорить о наличии или глубине корреляционной связи между ними, однако, некоторые выводы можно сделать, используя выборочный метод.

Выборку объема n в этом случае представим в виде таблицы, где 
i-й отобранный объект (i = 1, 2, ... n) представлен парой чисел x_i, y_i:

Таблица 7.1

x1	x2	...	xn
y1	y2	...	yn

Пусть по этой выборке требуется  оценить генеральный коэффициент  корреляции

.

Естественной  оценкой ρ_хy служит выборочный коэффициент корреляции

,      (7.3)

который конструируется по методу аналогии (подстановки).

Здесь

– выборочная ковариация (корреляционный момент);

,

– выборочные дисперсии компонент.

Линейная  регрессия является самым простым  и в то же время наиболее часто  используемым типом регрессии. Классическим алгоритмом линейной регрессии является метод наименьших квадратов, суть которого состоит в следующем.

Пусть имеется n экспериментальных точек (x₁ y₁), …, (x_n y_n). Требуется найти многочлен y(x) вида y = a_kx^k + a_k-1x^k-1 + … + b так, чтобы сумма квадратов отклонений многочлена в точках x_i от наблюденных значений y_i (i = 1, … , n) имела наименьшее значение:

    (7.4)

Метод нахождения коэффициентов многочлена y(x) по экспериментальным данным на основе минимизации суммы квадратов отклонений (3.1) называется методом наименьших квадратов.

Рассмотрим  этот метод для построения простой  линейной регрессии. Графически выполнить  условие (3.1) для линейной функции y = ax + b означает провести прямую между экспериментальными точками так, чтобы сумма квадратов отклонений была минимальной (рис. 3.1).

Пусть

   (7.5)

Коэффициенты а, b рассматриваются как переменные, обращающие функцию Q в минимум.

Параметры аппроксимирующей функции выбираем так, чтобы обратилась в минимум функция Q. Для этого используем необходимые условия экстремума:

Отсюда

Разделим  оба уравнения на n:

   (7.6)

С помощью  введенных ранее обозначений  запишем (7.6) в виде

     (7.7)

Неизвестный коэффициент а находим по формулам Крамера:

   (7.8)

Коэффициент b находим непосредственно из первого уравнения (7.7):

     (7.9)

Выражение для а можно записать с использованием выборочного коэффициента кореляции:

Таким образом,

     (7.10)

Заметим, что определитель системы (7.7) равен

если  среди значений x₁,…, x_n есть различные, что и будем предполагать. В этом случае система (7.7) имеет единственное решение.

Пример 7.1. Данные опыта приведены в таблице:

Таблица 7.2

xi	2	4	6	8	10
yi	4,5	7	8	7,5	9

Составить для этих данных уравнение  аппроксимирующей функции y = ax + b.

Решение. Найдем выборочные средние:

;

Выборочная  ковариация:

;

выборочная  дисперсия:

.

Находим коэффициент а по формуле (7.8):

.

Коэффициент b находим из уравнения (7.9):

= 7,2 − 6∙0,475 = 4,35.

С учетом найденных коэффициентов а и b уравнение аппроксимирующей функции имеет вид: y = 0,475x + 4,35.