Проверка значимости коэффициентов уравнения множественной регрессии

Проверка значимости коэффициентов уравнения множественной регрессии

Вид множественной линейной модели регрессионного анализа: Y = b₀ + b₁x_i1 + . + b_jx_ij + . + b_kx_ik + e_i где e_i — случайные ошибки наблюдения, независимые между собой, имеют нулевую среднюю и дисперсию s.

Назначение множественной регрессии : анализ связи между несколькими независимыми переменными и зависимой переменной.

Экономический смысл параметров множественной регрессии
Коэффициент множественной регрессии b_j показывает, на какую величину в среднем изменится результативный признак Y, если переменную X_j увеличить на единицу измерения, т. е. является нормативным коэффициентом.

Матричная запись множественной линейной модели регрессионного анализа: Y = Xb + e где Y — случайный вектор — столбец размерности (n x 1) наблюдаемых значений результативного признака (y₁, y₂. y_n);
X — матрица размерности [n x (k+1)] наблюдаемых значений аргументов;
b — вектор — столбец размерности [(k+1) x 1] неизвестных, подлежащих оценке параметров (коэффициентов регрессии) модели;
e — случайный вектор — столбец размерности (n x 1) ошибок наблюдений (остатков).

На практике рекомендуется, чтобы n превышало k не менее, чем в три раза.

Задачи регрессионного анализа
Основная задача регрессионного анализа заключается в нахождении по выборке объемом n оценки неизвестных коэффициентов регрессии b₀, b₁. b_k. Задачи регрессионного анализа состоят в том, чтобы по имеющимся статистическим данным для переменных X_i и Y:

• получить наилучшие оценки неизвестных параметров b₀, b₁. b_k;
• проверить статистические гипотезы о параметрах модели;
• проверить, достаточно ли хорошо модель согласуется со статистическими данными (адекватность модели данным наблюдений).

Построение моделей множественной регрессии состоит из следующих этапов:

1. выбор формы связи (уравнения регрессии);
2. определение параметров выбранного уравнения;
3. анализ качества уравнения и поверка адекватности уравнения эмпирическим данным, совершенствование уравнения.

Множественная регрессия:

• Множественная регрессия с одной переменной
• Множественная регрессия с двумя переменными
• Множественная регрессия с тремя переменными

Пример решения нахождения модели множественной регрессии

Модель множественной регрессии вида Y = b 0 +b 1 X 1 + b 2 X 2 ;
1) Найтинеизвестные b 0 , b 1 ,b 2 можно, решим систему трехлинейных уравнений с тремя неизвестными b 0 ,b 1 ,b 2 :

Для решения системы можете воспользоваться решение системы методом Крамера
2) Или использовав формулы

Для этого строим таблицу вида:

Выборочные дисперсии эмпирических коэффициентов множественной регрессии можно определить следующим образом:

Здесь z’ jj — j-тый диагональный элемент матрицы Z -1 =(X T X) -1 .

Приэтом:

где m — количество объясняющихпеременных модели.
В частности, для уравнения множественной регрессии Y = b 0 + b 1 X 1 + b 2 X 2 с двумя объясняющими переменными используются следующие формулы:


Или

или
,,.
Здесьr 12 — выборочный коэффициент корреляции между объясняющимипеременными X 1 и X 2 ; Sb j — стандартная ошибкакоэффициента регрессии; S — стандартная ошибка множественной регрессии (несмещенная оценка).
По аналогии с парной регрессией после определения точечных оценокb j коэффициентов β j (j=1,2,…,m) теоретического уравнения множественной регрессии могут быть рассчитаны интервальные оценки указанных коэффициентов.

Доверительный интервал, накрывающий с надежностью (1- α ) неизвестное значение параметра β j, определяется как

Проверка статистической значимости коэффициентов уравнения множественной регрессии

Построение эмпирического уравнения регрессии — начальный этап эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей задачей эконометрики анализа будет проверка качества уравнения регрессии. Проверка качества уравнения регрессии проводится по следующим параметрам:

• проверка статистической значимости коэффициентов регрессионного уравнения;
• проверка качества уравнения регрессии в целом;
• проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполняемости предпосылок МНК).

Как и в случае парной регрессии, статистическая значимость коэффициентов множественной линейной регрессии с m объясняющими переменными проверяется на основе t-статистики:

имеющей в данной ситуации распределение Стьюдента с числом степеней свободы α = n — m — 1 (n — объем выборки, m — количество объясняющих переменных в модели). При требуемом уровне значимости наблюдаемое α значение t-статистики сравнивается с критической точкой t _α/2;n-m-1 распределения Стьюдента.

Если | t | > t _α/2;n-m-1, то коэффициент bj считается статистически значимым. В противном случае коэффициент bj считается статистически незначимым статистически близким к нулю. Это означает, что фактор Xj линейно не связан с зависимой переменной Y. Наличие этого фактора среди объясняющих переменных не оправдано со статистической точки зрения. Он не оказывает сколько-нибудь серьезного влияния на зависимую переменную, а лишь искажает реальную картину взаимосвязи. Если коэффициент bj статистически незначим, рекомендуется исключить из уравнения регрессии переменную Xj. Это не приведет к существенной потере качества модели, но сделает ее более конкретной.

Стандартную задачу по эконометрике на проверку значимости можете посмотреть на этой странице.

Оценка значимости уравнения множественной регрессии

Построение эмпирического уравнения регрессии является начальным этапом эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей задачей эконометрического анализа является проверка качества уравнения регрессии. В эконометрике принята устоявшаяся схема такой проверки.

Итак, проверка статистического качества оцененного уравнения регрессии проводится по следующим направлениям:

· проверка значимости уравнения регрессии;

· проверка статистической значимости коэффициентов уравнения регрессии;

· проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполнимости предпосылок МНК).

Проверка значимости уравнения множественной регрессии, так же как и парной регрессии, осуществляется с помощью критерия Фишера. В данном случае (в отличие от парной регрессии) выдвигается нулевая гипотеза Н₀ о том, что все коэффициенты регрессии равны нулю (b₁=0, b₂=0, … , b_m=0). Критерий Фишера определяется по следующей формуле:

где D_факт — факторная дисперсия, объясненная регрессией, на одну степень свободы; D_ост— остаточная дисперсия на одну степень свободы; R 2 — коэффициент множественной детерминации; т — число параметров при факторах х в уравнении регрессии (в парной линейной регрессии т = 1); п — число наблюдений.

Полученное значение F-критерия сравнивается с табличным при определенном уровне значимости. Если его фактическое значение больше табличного, тогда гипотеза Но о незначимости уравнения регрессии отвергается, и принимается альтернативная гипотеза о его статистической значимости.

С помощью критерия Фишера можно оценить значимость не только уравнения регрессии в целом, но и значимость дополнительного включения в модель каждого фактора. Такая оценка необходима для того, чтобы не загружать модель факторами, не оказывающими существенного влияния на результат. Кроме того, поскольку модель состоит из несколько факторов, то они могут вводиться в нее в различной последовательности, а так как между факторами существует корреляция, значимость включения в модель одного и того же фактора может различаться в зависимости от последовательности введения в нее факторов.

Для оценки значимости включения дополнительного фактора в модель рассчитывается частный критерий Фишера F_xi. Он построен на сравнении прироста факторной дисперсии, обусловленного включением в модель дополнительного фактора, с остаточной дисперсией на одну степень свободы по регрессии в целом. Следовательно, формула расчета частного F-критерия для фактора будет иметь следующий вид:

где R 2 _{yx1x2…xi…xp} — коэффициент множественной детерминации для модели с полным набором п факторов; R 2 _{yx1x2…x i-1 x i+1…xp} — коэффициент множественной детерминации для модели, не включающей фактор x_i; п — число наблюдений; т — число параметров при факторах x в уравнении регрессии.

Фактическое значение частного критерия Фишера сравнивается с табличным при уровне значимости 0,05 или 0,1 и соответствующих числах степеней свободы. Если фактическое значение F_xi превышает F_табл , то дополнительное включение фактора x_i в модель статистически оправдано, и коэффициент «чистой» регрессии b_i при факторе x_i статистически значим. Если же F_xi меньше F_табл , то дополнительное включение в модель фактора существенно не увеличивает долю объясненной вариации результата у, и, следовательно, его включение в модель не имеет смысла, коэффициент регрессии при данном факторе в этом случае статистически незначим.

С помощью частного критерия Фишера можно проверить значимость всех коэффициентов регрессии в предположении, что каждый соответствующий фактор x_i вводится в уравнение множественной регрессии последним, а все остальные факторы были уже включены в модель раньше.

Оценка значимости коэффициентов «чистой» регрессии b_i по критерию Стьюдента t может быть проведена и без расчета частных F-критериев. В этом случае, как и при парной регрессии, для каждого фактора применяется формула

где b_i — коэффициент «чистой» регрессии при факторе x_i ; m_bi — стандартная ошибка коэффициента регрессии b_i .

Для множественной линейной регрессии стандартная ошибка коэффициента регрессии рассчитывается по следующей формуле:

где σ_y , σ_xi — среднее квадратическое отклонение соответственно для результата у и x_i ; R 2 _{yx1x2…xi…xp} — коэффициент множественной детерминации для множественной регрессии с набором из р факторов; R 2 _{xi x1x2…x i-1 x i+1…xp} — коэффициент детерминации для зависимости фактора x_i с остальными факторами множественной регрессии.

Полученные значения t-критериев сравниваются с табличными, и на основе этого сравнения принимается или отвергается гипотеза о значимости каждого коэффициента регрессии в отдельности.

Дата добавления: 2015-10-05 ; просмотров: 5651 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ