5. 2. Доверительные интервалы для коэффициентов регрессии

В некотором эксперименте измерены значения пары случайных величин y и x

(x₁, y₁), (x₂, y₂), …(x_n, y_n).

Без ограничения общности можно считать, что величина x измерена точно, в то время как измерение величины y содержит случайные погрешности. Это означает, что погрешность измерения величины x пренебрежимо мала по сравнению с погрешностью измерения величины y. Таким образом, результаты эксперимента можно рассматривать как выборочные значения случайной величины h(x), зависящей от x  как от параметра.

Пусть требуется построить зависимость y(x).

 Регрессией называют зависимость условного математического ожидания величины h(x)  от x:

.

Задача регрессионного анализа состоит в восстановлении по результатам измерений {(x_i,y_i)}, i = 1, 2, …, n  функциональной зависимости y(x).

Аппроксимируем искомую зависимость y(x) функцией f(x; a₀, a₁, …, a_k).

Это означает, что результаты измерений можно представить в виде

,

где a₀, a₁, …, a_k — неизвестные параметры регрессии, а e_i — случайные величины, характеризующие погрешности эксперимента.

Обычно предполагается, что e_i — это независимые нормально распределенные случайные величины с M(e_i) = 0  и одинаковыми дисперсиями D(e_i) = s².

В случае простейшей линейной регрессии выдвигается  гипотеза о том, что функция f(x; a₀, a₁, …, a_k) зависит от двух параметров и имеет вид  , .

Точечные оценки параметров регрессии известны, они вычисляются по формулам

, .

M(e_i) = 0,   D(e_i) = s²  обычно неизвестна, её оценку s² можно получить, например, методом максимального правдоподобия:

.

 

Оценки  — несмещенные состоятельные оценки параметров регрессии .

Важно понимать, что точечные оценки — случайные величины, о которых известно, что они распределены нормально с  математическими ожиданиями  и дисперсиями .

 

Используя информацию о статистических свойствах оценок , можно построить доверительные интервалы для оцениваемых параметров  s², a, b.

Доверительный интервал для  константы b

Если дисперсия s² известна, то случайная величина

 имеет стандартное нормальное распределение и доверительный интервал

 

накрывает неизвестный параметр b с вероятностью 1– a. Здесь критическая точка x_a  — решение уравнения , где — функция Лапласа.

Если дисперсия s²  неизвестна, то используем её оценку , в качестве критерия можно взять величину

,

 

она имеет распределение Стьюдента с (n – 2) степенями свободы и доверительный интервал

 

накрывает неизвестный параметр b с вероятностью 1– a.

Здесь критическая точка t_{n- 2, a}  — корень уравнения , F_n-2(t_{n- 2, a} )— функция распределения Стьюдента с (n – 2) степенями свободы. Величину  —  стандартную ошибку регрессии, вычисляют по формуле :

.

Для того чтобы найти границы доверительного интервала, задаём малое значение a,

находим соответствующую критическую точку, затем вычисляем точечную оценку параметра b и  наконец — границы соответствующего доверительного интервала.

 

Доверительный интервал для  наклона a

Если дисперсия s² известна, то случайная величина

 

имеет стандартное нормальное распределение.

Если a — доверительная вероятность, и критическая точка x_a  — решение уравнения

, где Φ(x) — функция Лапласа, то доверительный интервал

 

накрывает оцениваемый параметр a с вероятностью 1– a.

 

Если же дисперсия неизвестна, то в качестве критерия можно взять величину

,

 

она имеет распределение Стьюдента с (n – 2)  степенями свободы и поэтому интервал

 

накрывает оцениваемый параметр a с доверительной вероятностью 1– a.

Здесь  критическая точка t_{n- 2, a} — корень уравнения , где F(t_{n- 2, a}) — функция распределения Стьюдента с (n – 2) степенями свободы.

Для того чтобы найти границы доверительного интервала, задаём малое значение a,

находим соответствующую критическую точку, затем вычисляем точечную оценку параметра a и  наконец — границы доверительного интервала.

 

Доверительный интервал для  дисперсии

Интервал  накрывает неизвестную дисперсию  s² с доверительной вероятностью 1– a.

Здесь критические точки  и  — решения уравнений   и , где F_n-2(x)— функция распределения  с (n – 2) степенями свободы.

Для того чтобы найти границы доверительного интервала, задаём малое значение a, находим критические точки, затем вычисляем точечную оценку параметра  и  наконец — границы соответствующего доверительного интервала.

Внимание!

Функция Excel СТЬЮДРАСПОБР(p, k)  возвращает значение t, при котором P(|x| > t) = p, x — значение случайной величины, имеющей распределение Стьюдента с k  степенями свободы. Поэтому решение уравнения  в Excel возвращает функция СТЬЮДРАСПОБР(a/2, n – 2). 

В Excel функция распределения случайной величины определена нестандартно: F_x(x) = P(x >x). Поэтому решение уравнения  возвращает  функция ХИ2ОБР(1–a/2, n – 2) , а решение уравнения  — ХИ2ОБР(a/2, n – 2).