Оцените по мнк коэффициенты уравнения регрессии

Метод наименьших квадратов регрессия

Метод наименьших квадратов (МНК) заключается в том, что сумма квадратов отклонений значений y от полученного уравнения регрессии — минимальное. Уравнение линейной регрессии имеет вид

y=ax+b

a, b – коэффициенты линейного уравнения регрессии;

x – независимая переменная;

y – зависимая переменная.

Нахождения коэффициентов уравнения линейной регрессии через метод наименьших квадратов:

частные производные функции приравниваем к нулю

отсюда получаем систему линейных уравнений

Формулы определения коэффициентов уравнения линейной регрессии:

Также запишем уравнение регрессии для квадратной нелинейной функции:

Система линейных уравнений регрессии полинома n-ого порядка:

Формула коэффициента детерминации R 2 :

Формула средней ошибки аппроксимации для уравнения линейной регрессии (оценка качества модели):

Чем меньше ε, тем лучше. Рекомендованный показатель ε
Формула среднеквадратической погрешности:

Для примера, проведём расчет для получения линейного уравнения регрессии аппроксимации функции, заданной в табличном виде:

xy
34
47
611
716
918
1122
1324
1527
1630
1933

Решение

Расчеты значений суммы, произведения x и у приведены в таблицы.

Расчет коэффициентов линейной регрессии:

при этом средняя ошибка аппроксимации равна:

ε=11,168%

Получаем уравнение линейной регрессии с помощью метода наименьших квадратов:

y=1,7871x+0,79

График функции линейной зависимости y=1,7871x+0,79 и табличные значения, в виде точек

Коэффициент корреляции равен 0,988
Коэффициента детерминации равен 0,976

Насколько публикация полезна?

Нажмите на звезду, чтобы оценить!

Средняя оценка 4.4 / 5. Количество оценок: 12

МНК и регрессионный анализ Онлайн + графики

Данный онлайн-сервис позволяет найти с помощью метода наименьших квадратов уравнения линейной, квадратичной, гиперболической, степенной, логарифмической, показательной, экспоненциальной регрессии и др., коэффициенты и индексы корреляции и детерминации. Показываются диаграмма рассеяние и график уравнения регрессии. Также калькулятор делает оценку значимости параметров уравнения регрессии с помощью F-критерия Фишера, t-критерия Стьюдента и критерия Дарбина-Уотсона.

Можно задать уровень значимости и указать, до какого знака после запятой округлять расчётные величины.

Примечание: дробные числа записывайте через точку, а не запятую.

Линейная регрессия
Степенная регрессия
Квадратичная регрессия
Кубическая регрессия

Гиперболическая регрессия
Показательная регрессия
Логарифмическая регрессия
Экспоненциальная регрессия

Очистить

Округлять до
-го
знака после запятой.

Оцените по мнк коэффициенты уравнения регрессии

При различных значениях а и b можно построить бесконечное число зависимостей вида yx=a+bx т.е на координатной плоскости имеется бесконечное количество прямых, нам же необходима такая зависимость, которая соответствует наблюдаемым значениям наилучшим образом. Таким образом, задача сводится к подбору наилучших коэффициентов.

Линейную функцию a+bx ищем, исходя лишь из некоторого количества имеющихся наблюдений. Для нахождения функции с наилучшим соответствием наблюдаемым значениям используем метод наименьших квадратов.

Обозначим: Yi — значение, вычисленное по уравнению Yi=a+bxi. yi — измеренное значение, εi=yi-Yi — разность между измеренными и вычисленными по уравнению значениям, εi=yi-a-bxi.

В методе наименьших квадратов требуется, чтобы εi, разность между измеренными yi и вычисленными по уравнению значениям Yi, была минимальной. Следовательно, находим коэффициенты а и b так, чтобы сумма квадратов отклонений наблюдаемых значений от значений на прямой линии регрессии оказалась наименьшей:

Исследуя на экстремум эту функцию аргументов а и с помощью производных, можно доказать, что функция принимает минимальное значение, если коэффициенты а и b являются решениями системы:

Если разделить обе части нормальных уравнений на n, то получим:

Учитывая, что (3)

Получим , отсюда , подставляя значение a в первое уравнение, получим:

При этом b называют коэффициентом регрессии; a называют свободным членом уравнения регрессии и вычисляют по формуле:

Полученная прямая является оценкой для теоретической линии регрессии. Имеем:

Итак, является уравнением линейной регрессии.

Регрессия может быть прямой (b>0) и обратной (b 2 =4+0+1+4+16=25
xiyi=-2•0.5+0•1+1•1.5+2•2+4•3=16.5
yi=0.5+1+1.5+2+3=8

и нормальная система (2) имеет вид

Решая эту систему, получим: b=0.425, a=1.175. Поэтому y=1.175+0.425x.

Пример 2. Имеется выборка из 10 наблюдений экономических показателей (X) и (Y).

xi180172173169175170179170167174
yi186180176171182166182172169177

Требуется найти выборочное уравнение регрессии Y на X. Построить выборочную линию регрессии Y на X.

Решение. 1. Проведем упорядочивание данных по значениям xi и yi. Получаем новую таблицу:

xi167169170170172173174175179180
yi169171166172180176177182182186

Для упрощения вычислений составим расчетную таблицу, в которую занесем необходимые численные значения.

xiyixi 2xiyi
1671692788928223
1691712856128899
1701662890028220
1701722890029240
1721802958430960
1731762992930448
1741773027630798
1751823062531850
1791823204132578
1801863240033480
∑xi=1729∑yi=1761∑xi 2 299105∑xiyi=304696
x=172.9y=176.1xi 2 =29910.5xy=30469.6

Согласно формуле (4), вычисляем коэффициента регрессии

Таким образом, выборочное уравнение регрессии имеет вид y=-59.34+1.3804x.
Нанесем на координатной плоскости точки (xi; yi) и отметим прямую регрессии.

На рис.4 видно, как располагаются наблюдаемые значения относительно линии регрессии. Для численной оценки отклонений yi от Yi, где yi наблюдаемые, а Yi определяемые регрессией значения, составим таблицу:

xiyiYiYi-yi
167169168.055-0.945
169171170.778-0.222
170166172.1406.140
170172172.1400.140
172180174.863-5.137
173176176.2250.225
174177177.5870.587
175182178.949-3.051
179182184.3952.395
180186185.757-0.243

Значения Yi вычислены согласно уравнению регрессии.

Заметное отклонение некоторых наблюдаемых значений от линии регрессии объясняется малым числом наблюдений. При исследовании степени линейной зависимости Y от X число наблюдений учитывается. Сила зависимости определяется величиной коэффициента корреляции.


источники:

http://mathhelpplanet.com/static.php?p=onlayn-mnk-i-regressionniy-analiz

http://testent.ru/publ/studenty/vysshaja_matematika/linejnaja_regressija_ispolzovanie_metoda_naimenshikh_kvadratov_mnk/35-1-0-1149