5. 0. Парная линейная регрессия. Обсуждение

Предмет регрессионного анализа – построение функциональных зависимостей между двумя группами числовых переменных.

Пусть требуется найти зависимость , причем величины y и x измеряются в одних и тех же экспериментах. Без ограничения общности можно считать, что величина x измеряется точно, в то время как измерение величины y  содержит случайные погрешности.

Это означает, что погрешность измерения величины x пренебрежимо мала по сравнению с погрешностью измерения величины y. Таким образом, результаты эксперимента можно рассматривать как выборочные значения случайной величины , зависящей от x как от параметра.

Переменную x называют фактором, регрессором, объясняющей переменной, переменную y — откликом, предиктором, объясняемой переменной.

Регрессией называют зависимость условного математического ожидания величины  от :

.

Задача регрессионного анализа состоит в восстановлении функциональной зависимости  по результатам измерений, i =1, 2, …, n.

Аппроксимируем искомую зависимость  функцией  f(x; a₀, a₁, …, a_k).

Это означает, что результаты измерений можно представить в виде

y_i = f(x_i; a₀, a₁, …, a_k) + e_i,

где a₀, a₁, …, a_k  — неизвестные параметры регрессии, а e_i — случайные величины, характеризующие погрешности эксперимента.

Обычно предполагается, что e_i —  независимые нормально распределенные случайные величины с M(e_i) = 0 и одинаковыми дисперсиями D(e_i) = s².

Первый шаг в решении задачи — предположение о виде функциональной связи y_i = f(x; a₀, a₁, …, a_k).

Иногда вид функциональной зависимости известен из теоретических предположений.

Иногда — поможет график разброса (график, на котором изображены точки с координатами , i =1, 2, …, n).

Следующий шаг — оценка параметров a₀, a₁, …, a_k .

 Параметры a₀, a₁, …, a_k  следует выбирать таким образом, чтобы отклонение значений предложенной функции от результатов эксперимента было минимальным.

Часто в качестве меры отклонения выбирают сумму квадратов отклонений — величину

.

Такой метод построения оценок называют методом наименьших квадратов.

После того как оценка параметров модели получена, подобрана регрессионная модель, следует оценить качество модели, понять насколько хорошо модель описывает имеющиеся данные.

Для оценки качества модели чаще всего используют некоторые численные характеристики модели:

доверительные интервалы для параметров a₀, a₁, …, a_k,          

коэффициент детерминации R².

Другой способ оценки качества модели — анализ остатков.

Остатками называют случайные величины .

Остатки — независимые, нормально распределенные случайные величины с нулевым математическим ожиданием и одинаковыми дисперсиями

M(e_i) = 0 и D(e_i) = s².

 

Примеры