Метод наименьших квадратов

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ АГЕНСТВО ПО ОБРАЗОВАНИЮ

Московский  Авиационный институт

(Государственный  технический университет)

«МАИ»

Кафедра 804 
 

Курсовая  работа по курсу 

«Теория вероятностей и математическая статистика»  
 

На тему «Метод наименьших квадратов» 
 
 
 
 

Выполнила курсовую работу

студентка     группы    05-206

Зуева Татьяна Анатольевна

                                                                                   Дата сдачи КР                  

                                                                                  Проверил курсовую работу

                                                                                 Шин     Галина    Захаровна 

Москва 2005

Оглавление

1. Исходные данные………………………………………………….3
2. Постановка задачи…………………………………………………4
3. Теоретическая часть……………………………………………….5
4. Расчетная часть……………………………………………………10
5. График …………………………………………………………….16
6. Приложение………………………………………………………..17
7. Список литературы………………………………………………  18

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

1.Исходные данные 
 

 
 
 

Постановка  задачи

1. а).Задано множество пар значений {(x_t,y_t)}, t= (n=41), представляющих собой результаты измерений функции. Дан прибор, который генерирует функцию y(x)=ax+b. На вход поступает сигнал x₁,x₂,..,x_n; на выходе: y₁,y₂,…,y_n.

  Числа не соответствуют внутренним числам, так как прибор имеет шумы

y_t=ax_t+b +ε_t, t=

,

где a,b – неизвестные коэффициенты, а ε_t – независимые в       совокупности случайные величины с нормальным законом распределения:  ε_t~N(0,σ²), где σ² неизвестная дисперсия; 0 – математическое ожидание шума ε_t. М ε_t=0, D ε_t= σ².

  Требуется найти методом наименьших квадратов  неизвестные параметры кривой регрессии.

  y(x)=ax+b – кривая регрессии – условное матожидание случайной величины Y при аргументе x, М(y/x).

   б). Построить график линии регрессии  ỹ(x).

2. Найти точечную оценку для неизвестного параметра неизвестной дисперсии σ² , которая входит в нормальный закон распределения.
3. Построить интервальные оценки для неизвестных коэффициентов a,b и дисперсии σ² на уровне доверия j₁=0,9; j₂=0,95.
4. С помощью критерия Снедекера-Фишера проверить гипотезу H_o: a=0 и гипотезу H_o: b=0 на уровне доверия j₁=0,9 и j₂=0,95.

 
 
 
 
 
 
 

Теоретическая часть

1.Выборка.

     Математическая  статистика – наука о математических методах, позволяющих по статистическим данным, например по реализациям случайной величины (СВ), построить теоретико-вероятностную модель исследуемого явления. Задачи математической статистики являются, в некотором смысле, обратными к задачам теории вероятностей. Центральным понятием математической статистики является выборка.

     Определение 1. Однородной выборкой (выборкой) объема n при n 1 называется случайный вектор Z_n=col(X₁,…,X_n), компоненты которого X_i, i= , называемые элементами выборки, являются независимыми СВ с одной и той же функцией распределения F(x). Будем говорить, что выборка Z_n соответствует функции распределения F(x).

     Числа, данные, полученные после опыта –  апостериорная выборка.

     Определение 2. Реализацией выборки называется неслучайный вектор z_n=col(x₁,…,x_n), компонентами которого являются реализации соответствующих элементов выборки _Xi, i= .

     Из  этих определений вытекает, что реализацию выборки zn можно также рассматривать как последовательность x1,…,xn из n реализаций одной и той же СВ X, полученных в серии из n независимых одинаковых опытов, проводимых в одинаковых условиях. Поэтому можно говорить, что выборка Zn порождена наблюдаемой СВ X, имеющей распределение F_x(x)=F(x).

     Определение 3. Если компоненты вектора Zn независимы, но их распределения F₁(x₁),…,F_n(x_n) различны, то такую выборку называют неоднородной.

     Определение 4. Множество S всех реализаций выборки Z_n называется выборочным пространством.

     Выборочное  пространство может быть всем n-мерным евклидовым пространством Irn или его частью, если СВ X непрерывна, а также может состоять из конечног или счетного числа точек из Irn, если СВ X дискретна.

     На  практике при исследовании конкретного  эксперимента распределения F₁(x₁),…,F_n(x_n) СВ X₁,…,X_n редко бывают известны полностью. Часто априори (до опыта) можно лишь утверждать, что распределение F_Zn(z_n)=F₁(x₁),…F_n(x_n) случайного вектора Z_n принадлежит некоторому классу (семейству) F.

     Определение 5. Пара (S,F) называется статистической моделью описания серии опытов, порождающих выборку Z_n.

     Определение 6. Если распределение F_Zn(z_n,Ө) из класса F определены с точностью до некоторого векторного параметра Ө Θ IR^s, то такая статистическая модель называется  параметрической и обозначается  (S _Ө, F_Zn(z_n, Ө)), Ө Θ IR^s.

      В некоторых случаях выборочное пространство может не зависеть от неизвестного параметра Ө распределения F_Zn(z_n,Ө).

      В зависимости от вида статистической модели в математической статистике формулируются соответствующие задачи по обработке информации, содержащейся в выборке.

      Определение 7. СВ Z=φ(Z_n), где φ(Z_n) – произвольная функция, определенная на выборочном пространстве S и не зависящая от распределения F_Zn(z_n,Ө), называется статистикой. 
 
 
 
 

2. Точечные оценки.

     Определение 2.1. Параметром распределения Ө Θ IR¹ СВ X называется любая числовая характеристика этой СВ ( математическое ожидание, дисперсия и т.п.) или любая константа, явно входящая в выражение для функции распределения.

      В общем случае будем предполагать, что параметр распределения Ө может быть векторным, т.е. Ө Θ IR^s.

      В случае параметрической статистической модели (S _Ө, F_Zn(z_n,Ө)) таким параметром распределения может служить неизвестный вектор Ө Θ IR^s, характеризующий распределение F_Zn(z_n,Ө).

Пусть имеется выборка Z_n=col(X₁,…X_n) с реализацией z_n=(x₁,…x_n).

      Определение 2.2. Точечной (выборочной) оценкой неизвестного параметра распределения Ө Θ IR^s называется произвольная статистика (Z_n), построенная по выборке Z_n и принимающая значения в множестве Θ.

      Замечание 2.1. Реализацию (z_n) оценки (Z_n), принимают, как правило, за приближенное значение неизвестного параметра Ө.

      Ясно, что существует много разных способов построения точечной оценки которые учитывают тип статистической модели. Для параметрической и не параметрической моделей эти способы могут быть различны. Рассмотрим некоторые свойства, которые характеризуют качество введенной оценки.

      Определение 2.3. Оценка (Z_n) параметра Ө называется несмещенной, если ее МО равно Ө , т.е. M[ (Z_n)]= Ө для любого Ө Θ.

      Определение 2.4. Оценка (Z_n) параметра Ө называется состоятельной, если она сходится по вероятности к Ө, т.е. (Z_n) Ө при n → ∞ для любого Ө Θ.

      Определение 2.5. Оценка (Z_n) параметра Ө называется сильно состоятельной, если она сходится почти наверное к Ө, т.е. (Z_n) Ө при n → ∞ для любого Ө Θ.

      Определение 2.6. Несмещенная оценка *(Z_n) скалярного параметра Ө называется эффективной, если D[ *(Z_n)]≤ D[ (Z_n)] для всех несмещенных оценок (Z_n) параметра Ө, т.е. ее дисперсия минимальна по сравнению с дисперсиями других несмещенных оценок при одном и том же объеме n выборки Z_n.

      Вообще  говоря, дисперсии несмещенных оценок могут зависеть о параметра Ө. В этом случае под эффективной оценкой понимается такая, для которой вышеприведенное неравенство является строгим хотя бы для одного значения параметра Ө.

3.Интервальные  оценки.

      Пусть имеется параметрическая статистическая модель (S_Ө,F_Zn(z_n,Ө)), Ө Θ IR¹, и по выборке Z_n=col(X₁,…X_n), соответствующей распределению F(x,Ө), наблюдаемой СВ X, требуется оценить неизвестный параметр Ө. Вместо точечных оценок, рассмотренных ранее, рассмотрим другой тип оценок неизвестного параметра Ө Θ IR¹.

      Определение 3.1. Интервал [θ₁(Z_n),θ₂(Z_n)] со случайными концами, «накрывающий» с вероятностью 1-α, 0<α<1, неизвестный параметр θ, т.е.

P{ θ₁(Z_n)≤ θ ≤ θ₂(Z_n)}= 1-α,

называется  доверительным интервалом (или интервальной оценкой) уровня надежности 1-α параметра θ.

      Аналогично  определяется доверительный интервал для произвольной функции от параметра  θ.

      Определение 3.2. Число δ=1-α называется доверительной вероятностью или уровнем доверия (надежности). 
 
 

     Определение 3.3. Доверительный интервал [θ₁(Z_n),θ₂(Z_n)] называется центральным, если выполняются следующие условия:

P{ θ≥ θ₂(Z_n)}=

, P{ θ₁(Z_n) ≥ θ}= .

      Часто вместо двусторонних доверительных интервалов  рассматривают односторонние доверительные интервалы, полагая θ₁(Z_n)= -∞ или θ₂(Z_n)= +∞.

      Определение 3.4. Интервал, границы которого удовлетворяют условию:

P{ θ≥ θ₂(Z_n)}= α  (или P{ θ₁(Z_n) ≥ θ}= α.),

называется соответственно правосторонним (или левосторонним) доверительным интервалом. 

4.Проверка  статистических гипотез.

Определение 4.1. Статистической гипотезой H или просто гипотезой называется любое предположение относительно параметров ли законов распределения СВ X, проверяемое по выборке Z_n.