Практическая значимость уравнения множественной регрессии оценивается с помощью

Проверка существенности факторов

И показатели качества регрессии

Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции и его квадрата – показателя детерминации.

Показатель множественной корреляции характеризует тесноту связи рассматриваемого набора факторов с исследуемым признаком или, иначе, оценивает тесноту совместного влияния факторов на результат.

Независимо от формы связи показатель множественной корреляции может быть найден как индекс множественной корреляции:

, (2.12)

Где – общая дисперсия результативного признака; – остаточная дисперсия.

Границы изменения индекса множественной корреляции от 0 до 1. Чем ближе его значение к 1, тем теснее связь результативного признака со всем набором исследуемых факторов. Величина индекса множественной корреляции должна быть больше или равна максимальному парному индексу корреляции:

При правильном включении факторов в регрессионную модель величина индекса множественной корреляции будет существенно отличаться от индекса корреляции парной зависимости. Если же дополнительно включенные в уравнение множественной регрессии факторы третьестепенны, то индекс множественной корреляции может практически совпадать с индексом парной корреляции (различия в третьем, четвертом знаках). Отсюда ясно, что сравнивая индексы множественной и парной корреляции, можно сделать вывод о целесообразности включения в уравнение регрессии того или иного фактора.

Расчет индекса множественной корреляции предполагает определение уравнения множественной регрессии и на его основе остаточной дисперсии:

. (2.13)

Можно пользоваться следующей формулой индекса множественной детерминации:

. (2.14)

При линейной зависимости признаков формула индекса множественной корреляции может быть представлена следующим выражением:

, (2.15)

Оценка качества уравнения множественной регрессии

В случае множественной регрессии оценка его качества включает в себя:

— оценку значимости уравнения регрессии в целом;

— оценку значимости параметров уравнения регрессии.

Качество модели множественной регрессии в целом оценивается с помощью показателя детерминации, определяемого как квадрат показателя множественной корреляции R 2 .

Значение показателя детерминации зависит от числа факторов, включенных в уравнение регрессии. Чем больше число факторов m, тем больше значение показателя детерминации R 2 приближается к единице. Поэтому на практике, чтобы исключить возможное завышение тесноты связи при оценке качества уравнения регрессии, используют скорректированный показатель детерминации:

.

Низкое значение показателя детерминации означает, что в регрессионную модель не включены существенные факторы — с одной стороны, а с другой стороны — рассматриваемая форма связи не отражает реальные соотношения между переменными, включенными в модель. В этом случае требуются дальнейшие исследования по улучшению качества модели и увеличению ее практической важности.

Значимость уравнения множественной регрессии в целом, также как и в парной регрессии, оценивается с помощью F-критерия Фишера:

или .

Во множественной регрессии часто оценивается значимость не только уравнения в целом, но и значимость фактора, дополнительно включенного в регрессионную модель. Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, может существенно увеличить долю объясненной вариации результативного признака. Кроме того, при наличии в модели нескольких факторов они могут вводится в модель в разной последовательности. Ввиду корреляции между факторами значимость одного и того же фактора может быть разной в зависимости от последовательности его введения в модель. Мерой для оценки значимости включения фактора x_i в регрессионную модель после того как в нее уже включены факторы x₁, x₂. x_i-1, x_i+1. x_m служит частный критерий Фишера . Значение частного F-критерия определяется по формуле

,

где — показатель детерминации, определенный без включения в модель регрессии фактора x_i.

Расчетные значения частных F-криетриев сравниваются с табличным значением при заданной доверительной вероятности p и числах степеней свободы k₁=1 и k₂=n—m-1. Если расчетное значение превышает табличное, то дополнительное включение фактора x_i в модель статистически оправдано и коэффициент чистой регрессии b_i при факторе x_i статистически значим.

Таким образом, с помощью частных F-криериев можно проверить значимость всех коэффициентов регрессии с учетом предположения, что каждый соответствующий фактор x_i вводится в уравнение множественной регрессии последним.

Частные F-критерии часто используются на стадии формирования уравнения регрессии.

На основе частных F-критериев могут определены расчетные значения t-криериев Стьюдента для оценки значимости коэффициентов чистой регрессии b_i:

.

Оценка значимости коэффициентов множественной регрессии по критерию Стьюдента может быть проведена и без расчета частных F-критериев. В этом случае, как и в парной регрессии, используется формула

,

где — стандартная ошибка коэффициента регрессии b_i.

Для линейного уравнения множественной регрессии стандартные ошибки коэффициентов чистой регрессии определяются по формуле:

.

Расчетные значения t-критерия Стьюдента сравниваются с табличным при заданном уровне значимости a и числе степеней свободы k=n—m-1. Если расчетное значение превышает табличное, то коэффициент регрессии b_i является статистически значимым. т. е. существенно отличается от нуля.

Множественная регрессия и корреляция

МНОЖЕСТВЕННАЯ РЕГРЕССИЯ И КОРРЕЛЯЦИЯ

2.1. МЕТОДИЧЕСКИЕ УКАЗАНИЯ

Множественная регрессия — уравнение связи с несколькими независимыми переменными

где у— зависимая переменная (результативный признак);

— независимые переменные (факторы).

Для построения уравнения множественной регрессии чаще ис­пользуются следующие функции:

• линейная — ;

• степенная –

• экспонента —

• гипербола —

Можно использовать и другие функции, приводимые к линейно­му виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение кото­рой позволяет получить оценки параметров регрессии:

Для ее решения может быть применён метод определителей:

, ,…, ,

где — определитель системы;

— частные определители, которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Другой вид уравнения множественной регрессии — уравнение регрессии в стандартизованном масштабе:

,

где , — стандартизованные переменные;

— стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии (β-коэффициенты) определяются из следующей системы уравнений:

Связь коэффициентов множественной регрессии со стандартизованными коэффициентами описывается соотношением

Параметр a определяется как

Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле:

.

Для расчета частных коэффициентов эластичности применяется следующая формула:

.

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:

=.

Значение индекса множественной корреляции лежит в пределах от 0 до 1 и должно быть больше или равно максимальному парному индексу корреляции:

.

Индекс множественной корреляции для уравнения в стандартизованном масштабе можно записать в виде:

=.

При линейной зависимости коэффициент множественной корреляции можно определить через матрицу парных коэффициентов корреляции:

=,

-определитель матрицы

парных коэффициентов корреляции;

-определитель матрицы

Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора х1 при неизменном уровне других факторов, можно определить по формуле

или по рекуррентной формуле

Частные коэффициенты корреляции изменяются в пределах от -1 до 1.

Качество построенной модели в целом оценивает коэффициент (индекс) детерминации. Коэффициент множественной детерминации рассматривается как квадрат индекса множественной корреляции:

.

Скорректированный индекс множественной детерминации содержит поправку на число степеней свободы и рассчитывается по формуле

где n — число наблюдений;

m- число факторов.

Значимость уравнения множественной регрессии в целом оценивается с помощью F — критерия Фишера:

Частный F-критерий оценивает статистическую значимость присутствия каждого из факторов в уравнении. В общем виде для фактора xi частный F-критерий определится как

Оценка значимости коэффициентов чистой регрессии с помощью t-критерия Съюдента сводится к вычислению значения

где mbi — средняя квадратическая ошибка коэффициента регрессии bi, она может быть определена по формуле:

.

При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов, их тесной линейной связанности.

Считается, что две переменные явно коллинеарны, т. е. находятся между собой в линейной зависимости, если rxixj≥0,7.

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы rxixj (xi≠xj) были бы равны нулю. Так, для включающего три объясняющих переменные уравнения

матрица коэффициентов корреляции между факторами имела бы определитель, равный 1:

,

так как и

Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0:

.

Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и надежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Проверка мультиколлинеарности факторов может быть проведена методом испытания гипотезы о независимости переменных Ho: . Доказано, что величина имеет приближенное распределение x2 c степенями свободы. Если фактическое значение х2 превосходит табличное (критическое) , то гипотеза Ho отклоняется. Это означает, что ,недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это означает, что для каждого значения фактора xj остатки имеют одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность.

При нарушении гомоскедастичности мы имеем неравенства

.

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Гольдфельда-Квандта. Основная идея теста Гольдфельда-Квандта состоит в следующем:

1) упорядочение n элементов по мере взрастания переменной x;

2) исключение из рассмотрения С центральных наблюдений; при этом (n—C):2>p, где p-число оцениваемых параметров;

3) разделение совокупности из (n—C) наблюдений на две группы (соответственно с малыми и с большими значениями фактора х) и определение по каждой из групп уравнений регрессии;

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F-критерию со степенями свободы ((n—C-2p):2) для каждой остаточной суммы квадратов Чем больше величина R превышает табличное значения F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Уравнения множественной регрессии могут включать в качестве независимых переменных качественные признаки (например, профессия, пол, образование, климатические условия, отдельные регионы и т. д.). Чтобы вест такие переменные в регрессионную модель, их необходимо упорядочить и присвоить им те или иные значения, т. е. качественные переменные преобразовать в количественные.