Метод наименьших квадратов

Определение 4.2. Проверяемая гипотеза называется основной  (или нулевой) и обозначается Ho. Гипотеза, конкурирующая с H_o, называется альтернативной и обозначается H₁,

Определение 4.3. Статистическая гипотеза Ho называется простой, если она однозначно определяет параметр или распределение СВ X. В противном случае гипотеза H_o называется сложной.

Определение 4.4. Статистическим критерием (критерием согласия, критерием значимости или решающим правилом) проверки гипотезы H_o называется правило, в соответствии с которым по реализации z=φ(z_n) статистики Z гипотеза H_o принимается или отвергается.

Определение 4.5. Критической областью статистического критерия называют область реализации z статистики Z, при которых гипотеза Ho отвергается.

Определение 4.6. Доверительной областью G статистического критерия называется область значений z статистики Z, при которых гипотеза H_o принимается.

Например, в качестве статистического критерия можно использовать правило:

1. Если значение z= φ(z_n) статистики Z= φ(z_n) лежит в критической области , то гипотеза Ho отвергается и принимается альтернативная гипотеза H₁;
2. Если реализация z= φ(z_n) статистики Z= φ(z_n) лежит в доверительной области G, то гипотеза H_o принимается.

При реализации этого правила возникают ошибки двух видов.

Определение 4.7. Ошибкой 1-го рода называется событие, состоящее в том, что гипотеза H_o отвергается, когда она верна.

Определение 4.8. Ошибкой 2-го рода называется событие, состоящее в том, что принимается гипотеза H_o, когда верна гипотеза H₁.

Определение 4.9. Уровнем значимости статистического критерия называется вероятность ошибки 1-го рода α=P{Z |H_o}, Вероятность ошибки 1-го рода α может быть вычислено, если известно распределение F(z|H_o) статистики Z.

Вероятность ошибки 2-го рода равна β=P{Z G|H_o} и может быть вычислена, если известно условное распределение F(z|H₁) статистики Z при справедливости гипотезы H₁.

Ясно. Что с уменьшением вероятности α ошибки  1-го рода возрастает вероятность β ошибки 2-го рода, и наоборот, т.е. при выборе критической и доверительной областей должен достигаться определенный компромисс. Поэтому часто при фиксированной вероятности ошибки 1-го рода критическая область выбирается таким образом, чобы вероятность ошибки второго рода была минимальна.

Определение 4.10. Мощность статистического критерия – это вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза. 
 

Проверка  статистической гипотезы может быть подразделена на следующие этапы:

1. сформулировать проверяемую гипотезу H_o и альтернативную к ней гипотезу H₁;
2. выбрать уровень значимости α;
3. выбрать статистику Z для проверки гипотезы H_o;
4. найти распределение F(z|H_o) статистики Z при условии, что гипотеза H_o верна;
5. построить, в зависимости от формулировки гипотезы H₁ и уровня значимости α, критическую область ;
6. получить выборку наблюдений x₁,..,x_n и вычислить выборочное значение z= φ(x₁,..,x_n) статистики Z критерия;
7. принять статистическое решение на уровне доверия 1-α: если Z , то отклонить гипотезу H_o как не согласующуюся с результатами наблюдений, а если Z G, то принять гипотезу H_o как не противоречащую результатам наблюдений.

 
 

Теория  к лабораторной работе №3.

Определение 1.Упорядочим элементы реализации выборки х₁,…,х_n по возрастанию: x⁽¹⁾≤x⁽²⁾≤…≤x⁽ⁿ⁾, где верхний индекс соответствует номеру элемента в упорядоченной последовательности.

Обозначим через x^(k), k= , случайные величины, которые при каждой реализации zn выборки Zn принимают k-е (по верхнему индексу) значения x(k). Упорядоченную последовательность случайных величин: x⁽¹⁾≤…≤x⁽ⁿ⁾ называют вариационным рядом выборки.

Определение 2. Элементы x^(k) вариационного ряда называются порядковыми статистиками, а крайние члены вариационного ряда x⁽¹⁾, x⁽ⁿ⁾ – экстремальными порядковыми статистиками.

Определение 3. Рассмотрим процедуру группировки выборки. Для этого действительную ось IR1=(-∞,∞) разделим точками αо,…,α_l+1 на l+1 непересекающихся полуинтервал (разряд) ∆k=[α_k, α_k+1), k= , таким образом, что -∞= αо< α₁<…< α_l< α_l+1=+∞, α₁≤ x⁽¹⁾, α_l≥ x⁽ⁿ⁾. Обычно длина разрядов ∆k, k= , выбирается одинаковой, т.е. равной hk=(αl-α1)/(l-1). Используя реализацию вариационного ряда x⁽¹⁾<…<x⁽ⁿ⁾, для каждого k-го разряда k= , вычислим частоту попадания элементов реализации выборки в этот разряд. Получаем , где n_k- число элементов реализации выборки z_n, попавших в k-й разряд. Если рассмотреть априорную выборку Zn и случайное число N_k элементов этой выборки, попавших в k-й разряд, то получим набор случайных величин .

Последовательность  пар ( ),k= , называется статистическим рядом, а его реализация ( ),k= представляется в виде таблицы: 

 

Определение 4.  На оси OX отложим разряды и на них, как на основании, постоим прямоугольники с высотой, равной , k= . Тогда площадь каждого прямоугольника будет равна . Полученная фигура называется столбцовой диаграммой, а кусочно-постоянная функция , образованная верхними гранями полученных прямоугольников,- гистограммой.

Определение 5. Случайная величина X распределена равномерно на отрезке [a,b] (X~R(a;b)), если плотность вероятности имеет вид:

Определение 6. Случайная величина X имеет экспоненциальное (показательное) распределение с параметром λ>0, т.е. X~E(λ), если плотность вероятности имеет вид:

Определение 7. Случайная величина X имеет нормальное (гауссовское) распределение с параметрами m и σ²>0, т.е. X~N(m; σ²), если

При этом случайная величина называется нормальной (гауссовской). График плотности нормального распределения, называемый кривой Гаусса, имеет единственный максимум в точке x=m. 

   Критерий  согласия  (критерий Пирсона). 

Как бы хорошо ни была подобрана теоретическая  кривая, между нею и статистическим распределением неизбежны некоторые расхождения. Для выяснения их пользуются «критериями согласия». Одним из наиболее применяемых- является так  называемый «критерий » Пирсона.

 
 
 
 
 
 
 
 

Расчетная часть.

1.Построение  оценок

и неизвестных коэффициентов.

Суть метода наименьших квадратов состоит в  том, что и находятся из условия минимума функции S(a,b):

S(a,b)=

, где n=41.

 

1.1 Составим систему нормальных уравнений: , решив эту систему, найдем и . 

=163,835/41= -3,99598;

= -67,3532/14,35= -4,6936.

1.2 Построение  оценки  при условии, что b=0.

=0

67,3532+14,35а=0

ã = - 4,6936 

1.3 Построение  оценки  при условии, что а=0.

 

=0

163,835+41b=0

b= - 3,99598

2.Построение  оценки 

  неизвестной дисперсии σ² шумов ε_t.

²= , где S²=(y-ỹ)^T*( y-ỹ), n=41(число измерений), m=2(количество неизвестных параметров).

n - m=41-2=39

S²= , где - оценка кривой регрессии, = x_i+

   S²= 17329,02; 

    ²= =444,334 

= -4,6936X- 3,99598

3. Построение интервальных оценок коэффициентов a,b и дисперсии s² на уровне доверия 0,9 и 0,95.

 

,

где - квантиль уровня для - распределения с n степенями свободы.

 Квантили распределения для интервала :

а). ,