Оценка точности уравнения множественной линейной регрессии

Уравнение множественной регрессии

Назначение сервиса . С помощью онлайн-калькулятора можно найти следующие показатели:

• уравнение множественной регрессии, матрица парных коэффициентов корреляции, средние коэффициенты эластичности для линейной регрессии;
• множественный коэффициент детерминации, доверительные интервалы для индивидуального и среднего значения результативного признака;

Кроме этого проводится проверка на автокорреляцию остатков и гетероскедастичность.

• Шаг №1
• Шаг №2
• Видеоинструкция
• Оформление Word

Отбор факторов обычно осуществляется в два этапа:

1. теоретический анализ взаимосвязи результата и круга факторов, которые оказывают на него существенное влияние;
2. количественная оценка взаимосвязи факторов с результатом. При линейной форме связи между признаками данный этап сводится к анализу корреляционной матрицы (матрицы парных линейных коэффициентов корреляции). Научно обоснованное решение задач подобного вида также осуществляется с помощью дисперсионного анализа — однофакторного, если проверяется существенность влияния того или иного фактора на рассматриваемый признак, или многофакторного в случае изучения влияния на него комбинации факторов.

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.
2. Каждый фактор должен быть достаточно тесно связан с результатом (т.е. коэффициент парной линейной корреляции между фактором и результатом должен быть существенным).
3. Факторы не должны быть сильно коррелированы друг с другом, тем более находиться в строгой функциональной связи (т.е. они не должны быть интеркоррелированы). Разновидностью интеркоррелированности факторов является мультиколлинеарность — тесная линейная связь между факторами.

Пример . Постройте регрессионную модель с 2-мя объясняющими переменными (множественная регрессия). Определите теоретическое уравнение множественной регрессии. Оцените адекватность построенной модели.
Решение.
К исходной матрице X добавим единичный столбец, получив новую матрицу X

1	5	14.5
1	12	18
1	6	12
1	7	13
1	8	14

Матрица Y

9

13

16

14

21

Транспонируем матрицу X, получаем X T :

1	1	1	1	1
5	12	6	7	8
14.5	18	12	13	14

Умножаем матрицы, X T X =

5 38 71,5 38 318 563,5 71,5 563,5 1043,25

В матрице, (X T X) число 5, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X T и 1-го столбца матрицы X

Умножаем матрицы, X T Y =

73 563 1032,5

Находим обратную матрицу (X T X) -1

13.99	0.64	-1.3
0.64	0.1	-0.0988
-1.3	-0.0988	0.14

Вектор оценок коэффициентов регрессии равен

(X T X) -1 X T Y = y(x) =

13,99 0,64 -1,3 0,64 0,1 -0,0988 -1,3 -0,0988 0,14

*

73 563 1032,5

=

34,66 1,97 -2,45

Получили оценку уравнения регрессии: Y = 34.66 + 1.97X₁-2.45X₂
Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности. Для ее проверки используют F-критерий Фишера.
R 2 = 1 — s 2 _e/∑(y_i — y_ср) 2 = 1 — 33.18/77.2 = 0.57
F = R 2 /(1 — R 2 )*(n — m -1)/m = 0.57/(1 — 0.57)*(5-2-1)/2 = 1.33
Табличное значение при степенях свободы k₁ = 2 и k₂ = n-m-1 = 5 — 2 -1 = 2, Fkp(2;2) = 19
Поскольку фактическое значение F = 1.33 Пример №2 . Приведены данные за 15 лет по темпам прироста заработной платы Y (%), производительности труда X₁ (%), а также по уровню инфляции X₂ (%).

Год	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
X1	3,5	2,8	6,3	4,5	3,1	1,5	7,6	6,7	4,2	2,7	4,5	3,5	5,0	2,3	2,8
X2	4,5	3,0	3,1	3,8	3,8	1,1	2,3	3,6	7,5	8,0	3,9	4,7	6,1	6,9	3,5
Y	9,0	6,0	8,9	9,0	7,1	3,2	6,5	9,1	14,6	11,9	9,2	8,8	12,0	12,5	5,7

Решение. Подготовим данные для вставки из MS Excel (как транспонировать таблицу для сервиса см. Задание №2) .

Включаем в отчет: Проверка общего качества уравнения множественной регрессии (F-статистика. Критерий Фишера, Проверка на наличие автокорреляции),

После нажатия на кнопку Дале получаем готовое решение.
Уравнение регрессии (оценка уравнения регрессии):
Y = 0.2706 + 0.5257X₁ + 1.4798X₂
Скачать.

Качество построенного уравнения регрессии проверяется с помощью критерия Фишера (п. 6 отчета).

Пример №3 .
В таблице представлены данные о ВВП, объемах потребления и инвестициях некоторых стран.

ВВП	16331,97	16763,35	17492,22	18473,83	19187,64	20066,25	21281,78	22326,86	23125,90
Потребление в текущих ценах	771,92	814,28	735,60	788,54	853,62	900,39	999,55	1076,37	1117,51
Инвестиции в текущих ценах	176,64	173,15	151,96	171,62	192,26	198,71	227,17	259,07	259,85

Решение:
Для проверки полученных расчетов используем инструменты Microsoft Excel «Анализ данных» (см. пример).

Пример №4 . На основе данных, приведенных в Приложении и соответствующих Вашему варианту (таблица 2), требуется:

1. Построить уравнение множественной регрессии. При этом признак-результат и один из факторов остаются теми же, что и в первом задании. Выберите дополнительно еще один фактор из приложения 1 (границы наблюдения должны совпадать с границами наблюдения признака-результата, соответствующего Вашему варианту). При выборе фактора нужно руководствоваться его экономическим содержанием или другими подходами. Пояснить смысл параметров уравнения.
2. Рассчитать частные коэффициенты эластичности. Сделать вывод.
3. Определить стандартизованные коэффициенты регрессии (b-коэффициенты). Сделать вывод.
4. Определить парные и частные коэффициенты корреляции, а также множественный коэффициент корреляции; сделать выводы.
5. Оценить значимость параметров уравнения регрессии с помощью t-критерия Стьюдента, а также значимость уравнения регрессии в целом с помощью общего F-критерия Фишера. Предложить окончательную модель (уравнение регрессии). Сделать выводы.

Решение. Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор получается из выражения:
s = (X T X) -1 X T Y
Матрица X

1	3.9	10
1	3.9	14
1	3.7	15
1	4	16
1	3.8	17
1	4.8	19
1	5.4	19
1	4.4	20
1	5.3	20
1	6.8	20
1	6	21
1	6.4	22
1	6.8	22
1	7.2	25
1	8	28
1	8.2	29
1	8.1	30
1	8.5	31
1	9.6	32
1	9	36

Матрица Y

7
7
7
7
7
7
8
8
8
10
9
11
9
11
12
12
12
12
14
14

Матрица X T

1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1
3.9	3.9	3.7	4	3.8	4.8	5.4	4.4	5.3	6.8	6	6.4	6.8	7.2	8	8.2	8.1	8.5	9.6	9
10	14	15	16	17	19	19	20	20	20	21	22	22	25	28	29	30	31	32	36

Умножаем матрицы, (X T X)

Умножаем матрицы, (X T Y)

Находим определитель det(X T X) T = 139940.08
Находим обратную матрицу (X T X) -1

Уравнение регрессии
Y = 1.8353 + 0.9459X ₁ + 0.0856X ₂
Для несмещенной оценки дисперсии проделаем следующие вычисления:
Несмещенная ошибка e = Y — X*s

0.62
0.28
0.38
0.01
0.11
-1
-0.57
0.29
-0.56
0.02
-0.31
1.23
-1.15
0.21
0.2
-0.07
-0.07
-0.53
0.34
0.57

se 2 = (Y — X*s) T (Y — X*s)
Несмещенная оценка дисперсии равна

Оценка среднеквадратичного отклонения равна

Найдем оценку ковариационной матрицы вектора k = σ*(X T X) -1

k(x) = 0.36

0,619 -0,0262 -0,0183 -0,0262 0,126 -0,0338 -0,0183 -0,0338 0,0102

=

0,222 -0,00939 -0,00654 -0,00939 0,0452 -0,0121 -0,00654 -0,0121 0,00366

Дисперсии параметров модели определяются соотношением S 2 _i = K_ii, т.е. это элементы, лежащие на главной диагонали
С целью расширения возможностей содержательного анализа модели регрессии используются частные коэффициенты эластичности, которые определяются по формуле

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции (от 0 до 1)

Связь между признаком Y факторами X сильная
Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора х_i при неизменном уровне других факторов определяются по стандартной формуле линейного коэффициента корреляции — последовательно берутся пары yx1,yx2. , x1x2, x1x3.. и так далее и для каждой пары находится коэффициент корреляции

Коэффициент детерминации
R 2 = 0.97 2 = 0.95, т.е. в 95% случаев изменения х приводят к изменению y. Другими словами — точность подбора уравнения регрессии — высокая

Значимость коэффициента корреляции

По таблице Стьюдента находим Tтабл: T_табл (n-m-1;a) = (17;0.05) = 1.74
Поскольку Tнабл Fkp, то коэффициент детерминации статистически значим и уравнение регрессии статистически надежно

Построение парной регрессионной модели

Рекомендации к решению контрольной работы.

Статистические данные по экономике можно получить на странице Россия в цифрах.
После определения зависимой и объясняющих переменных можно воспользоваться сервисом Множественная регрессия. Регрессионную модель с 2-мя объясняющими переменными можно построить используя матричный метод нахождения параметров уравнения регрессии или метод Крамера для нахождения параметров уравнения регрессии.

Пример №3 . Исследуется зависимость размера дивидендов y акций группы компаний от доходности акций x₁, дохода компании x₂ и объема инвестиций в расширение и модернизацию производства x₃. Исходные данные представлены выборкой объема n=50.

Тема I. Парная линейная регрессия
Постройте парные линейные регрессии — зависимости признака y от факторов x₁, x₂, x₃ взятых по отдельности. Для каждой объясняющей переменной:

1. Постройте диаграмму рассеяния (поле корреляции). При построении выберите тип диаграммы «Точечная» (без отрезков, соединяющих точки).
2. Вычислите коэффициенты уравнения выборочной парной линейной регрессии (для вычисления коэффициентов регрессии воспользуйтесь встроенной функцией ЛИНЕЙН (функция находится в категории «Статистические») или надстройкой Пакет Анализа), коэффициент детерминации, коэффициент корреляции (функция КОРЕЛЛ), среднюю ошибку аппроксимации.
3. Запишите полученное уравнение выборочной регрессии. Дайте интерпретацию найденным в предыдущем пункте значениям.
4. Постройте на поле корреляции прямую линию выборочной регрессии по точкам .
5. Постройте диаграмму остатков.
6. Проверьте статистическую значимость коэффициентов регрессии по критерию Стьюдента (табличное значение определите с помощью функции СТЬЮДРАСПОБР) и всего уравнения в целом по критерию Фишера (табличное значение F_табл определите с помощью функции FРАСПОБР).
7. Постройте доверительные интервалы для коэффициентов регрессии. Дайте им интерпретацию.
8. Постройте прогноз для значения фактора, на 50% превышающего его среднее значение.
9. Постройте доверительный интервал прогноза. Дайте ему экономическую интерпретацию.
10. Оцените полученные результаты — сделайте выводы о качестве построенной модели, влиянии рассматриваемого фактора на показатель.

Тема II. Множественная линейная регрессия
1. Постройте выборочную множественную линейную регрессию показателя на все указанные факторы. Запишите полученное уравнение, дайте ему экономическую интерпретацию.
2. Определите коэффициент детерминации, дайте ему интерпретацию. Вычислите среднюю абсолютную ошибку аппроксимации и дайте ей интерпретацию.
3. Проверьте статистическую значимость каждого из коэффициентов и всего уравнения в целом.
4. Постройте диаграмму остатков.
5. Постройте доверительные интервалы коэффициентов. Для статистически значимых коэффициентов дайте интерпретации доверительных интервалов.
6. Постройте точечный прогноз значения показателя y при значениях факторов, на 50% превышающих их средние значения.
7. Постройте доверительный интервал прогноза, дайте ему экономическую интерпретацию.
8. Постройте матрицу коэффициентов выборочной корреляции между показателем и факторами. Сделайте вывод о наличии проблемы мультиколлинеарности.
9. Оцените полученные результаты — сделайте выводы о качестве построенной модели, влиянии рассматриваемых факторов на показатель.

Прогноз и оценка его точности на основе уравнений парной и множественной линейной регрессии.

Классическая и обобщенная модели множественной линейной регрессии. Условия применения метода наименьших квадратов, свойства его оценок.

Основная цель множественной регрессии — построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также их совокупное влияние на результативный признак.

Для двухфакторной модели уравнение множественной линейной регрессии: .

Чтобы знать, можно ли применять метод наименьших квадратов (МНК) для оценки параметров, существуют следующие предпосылки (условия) применения МНК:

1.Y-зависимая величина является случайной (эндогенной) переменной; X – фиксированная, заданная величина (экзогенная)

2.Математическое ожидание остатков д.б. =0., т.е. М(Ei)=0. (Для справки: матем.ожидание – это аналог средней и это же есть ковариация).

3.Остатки д.б. гомоскедастичны (дисперсия остатков одинакова для всех значений фактора). Тесты на гетероскедастичность проводят (тест Уайта, тест Глейзера), если не подтверждается, то делаем вывод о гомоскедастичности.

4.Отсутствие автокорреляции остатков (то есть остатки распределены независимо друг от друга, нет связи между предыдущим и последующим), т.е. М(Еi Еj)=0. Тест на автокорреляцию остатков – это тест Дарвина-Уотсона.

Если выполняются все 4 условия, то модель будет называться классической моделью линейной регрессии.

5.Остатки подчиняются нормальному закону распределения.

Если выполняются все 5 условий, то модель уже будет называться классической нормальной моделью линейной регрессии.

6.Отсутствие коллинеарности между факторами (отсутствие связи между ними).

Последнее условие (6) если выполняется, то модель можно отнестик множественной регрессии.

Если нарушается 3 и 4 предпосылки (одновременно или одна из них), то речь идет уже обобобщенной модели регрессии.Если 3 условие НЕ выполняется, а 4 выполняется, то можно применять Взвешенный метод наименьших квадратов (ВМНК).

Модель:. Найдем параметры модели с помощью МНК, согласно которому составим систему уравнений:

Решение: ; (b-коэфф. парной (чистой) регрессии);

где ; ; ; ( ); n – число наблюдений

Свойства оценок МНК:1.Св-во несмещенности(означает, что математическое ожидание выбранных оценок параметров =0); 2. Св-во состоятельности. Оценки считаются состоятельными, если их точность увеличивается с увеличением объема выборки, т.е. чем больше выборка, тем меньше ошибок. Поэтому на каждый фактор примерно по 10 наблюдений должно быть. 3.Св-во эффективности (оценки характеризуются наименьшей дисперсией или ошибками, когда в остатках гетероскедастичность, то это свойство нарушается и тогда оценки уже неэффективные).

Прогноз и оценка его точности на основе уравнений парной и множественной линейной регрессии.

При осуществлении прогноза в модель регрессии подставляем прогнозное значение Х и получаем прогнозное значение У. Для этого можно использовать только качественные модели (в них высокий коэф. Детерминации (показывает ск-ко % вариации У зависит от учтенных в модели факторов) и параметры значимы).

При использовании уравнения множественной регрессии в целях прогнозирования необходимо давать точечную и интервальную оценку полученных прогнозных значений зависимой переменной.

Средняя ошибка для индивидуального прогноза: (для парной линейной регрессии)

Средняя ошибка для среднего прогноза:

Для прогноза Х выбирается из: Х min≤ Xn≤Xmax
Предельная ошибка прогноза:

Доверительные границы определяются:

Множественная линейная регрессия. Оценка качества уравнения регрессии

Вы будете перенаправлены на Автор24

Множественная линейная регрессия

Множественная линейная регрессия – это статистическая модель, в которой число переменных составляет две и более.

Математическая статистика широко применяется в экономических исследованиях для того, чтобы приблизить входные и выходные данные на основе линейного уравнения. Она является элементом регрессионного анализа, который используется в статистическом моделировании. Регрессионный анализ базируется на методах моделирования и исследования связей между зависимыми и независимыми переменными, называемыми регрессорами. Цель анализа — формирование представления об изменениях зависимой величины в случае, если другие переменные остаются неизменными. Обычно регрессионный анализ применяется для оценки ожиданий.

Простая линейная регрессия рассматривает зависимость между одной входной и одной выходной величиной выборки. Уравнение выглядит достаточно просто $y = ax + b$. Графически оно отображается как прямая с множеством точек отклонения. Коэффициенты уравнения являются параметрами модели. Отклонение рассчитывается через сумму квадратов.

Метод наименьших квадратов опирается на экспериментальные данные, которые могут содержать случайные отклонения. Знание параметров модели позволяет применять приближенные значения. Если величины уравнения рассчитаны, то разница между реальными и теоретическими значениями снижается.

Параметры множественной регрессии так же вычисляются с помощью метода наименьших квадратов. Ее отличительной особенностью является использование гиперплоскости. Уравнение множественной регрессии удобно тем, что увеличивает количество объясненных отклонений переменных. Результатом становится улучшение соответствия между данными модели. Добавление новых величин или параметров в исследование будет только увеличивать коэффициент его детерминации. Этот коэффициент показывает, насколько уравнение соответствует реальной действительности.

Готовые работы на аналогичную тему

Оценка качества уравнения множественной линейной регрессии

Исследование качества уравнения регрессии заключается в оценке его адекватности и точности. Анализ опирается на изучение следующих величин:

1. Коэффициент детерминации.
2. Индекс корреляции или коэффициент множественной регрессии.
3. Средняя относительная ошибка.

Коэффициент детерминации в уравнении множественной регрессии равен квадрату коэффициента корреляции между зависимой и независимой переменными. Индекс корреляции анализирует тесноту связи переменных. Если он используется для нелинейных уравнений, то применяется критерий Фишера. Множественный коэффициент корреляции применяется для исследования связей между случайной величиной и другими величинами. Средняя относительная ошибка помогает вычислить отклонение расчетных значений уравнения от фактических данных. Если отклонение не превышает 15%, то речь идет о хорошо подобранном уравнении регрессии.

Значимость уравнения проверяется по критерию Фишера. Далее ему присуждается критическое значение, которое сопоставляется с расчетными данными. Качество модели расценивается при помощи ряда остатков. Полученный коэффициент детерминации показывает зависимость величин друг от друга, а так же тесноту этой связи. Уравнение считается значимым в том случае, если значение критерия Фишера будет больше критического. Точность модели считается неудовлетворительной, если процент соответствия будет более 15%. Тогда модель рассматривается как неудовлетворительная, поэтому в дальнейшем она не используется.

Изучение графика остатков позволяет увидеть какие-либо зависимости, которые не были учтены в модели. Он показывает выбросы. Аномалии могут искажать конечный результат и качество анализа. Чтобы устранить выбросы, необходимо их удалить из данных исследования. Этот процесс называется цензурированием.

Таким образом, оценка качества модели регрессии проверяется качеством уравнения, проверкой его значимости, выполнением предпосылок.

Выбор оптимальной модели множественной регрессии

Исследование начинается с создания первоначальной модели множественной регрессии. Ее анализ необходим для последующего улучшения. Качество модели изучается с помощью коэффициентов, применяемых для парной регрессии. Среди них отмечают:

1. Коэффициент детерминации.
2. Статистику Фишера.
3. Стандартную ошибку регрессии.
4. Сумму квадратов остатков.

Скорректированный коэффициент детерминации обычно применяется для множественной регрессии. Он исключает или добавляет в уравнение переменные или наблюдения. Качество может определяться с помощью проверки на выполнение требований Маркова-Гаусса. Условия считаются выполненными, если математическое наблюдение остатков равно нулю для каждого значения. Дисперсия постоянна для каждого наблюдения. Системные связи между остатками отсутствуют. Зависимость между остатками и переменными так же отсутствует. Выявление соответствия требованиям Гаусса-Маркова позволяет применять метод наименьших квадратов. Полученная с его помощью модель является несмещенной, эффективной и состоятельной.

Следующий шаг – проверка модели с помощью критерия Стьюдента. Если в уравнении есть резко выделяющиеся наблюдения, то их последовательно исключают. Так же выявляются незначимые переменные, которые исключаются из модели в случае необходимости. Например, при изучении экономического поведения человека устанавливается зависимость между факторами, а так же формируется база статических показателей, которые позволяют проверить гипотезу.

Далее строится две нелинейных модели, которые учитывают квадраты двух наиболее значимых моделей и учитывают их логарифмы. Их сравнивают с линейными уравнениями, которые возникают на разных этапах проверки. Полученные модели сравниваются, из них выбирается наилучший вариант, который принимается за качественную модель.

Таким образом, оценка модели проводится для исключения незначимых событий, ошибочных наблюдений.