Несмещенность оценки коэффициента уравнения регрессии

Несмещенность оценки коэффициента уравнения регрессии

Несмещенность оценок параметров регрессии. Оценка параметров регрессии называется несмещенной, если для любого фиксированного числа наблюдений выполняется равенство математического ожидания параметра и значения параметра регрессии. Надо отметить, что оценки, полученные методом наименьших квадратов, обладают свойством несмещенности. [c.149]

Эффективность оценок параметров регрессии. Несмещенная оценка параметра регрессии называется несмещенной эффективной, если она среди всех прочих несмещенных оценок этого же параметра обладает наименьшей дисперсией. [c.149]

Это означает, что отсутствует систематическая ошибка в определении линии регрессии, следовательно оценки параметров регрессии являются несмещенными, то есть математическое ожидание оценки каждого параметра равно его истинному значению. [c.107]

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей б,. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у оценок б, (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции. [c.155]

Отметим, что при соблюдении прочих предпосылок МНК автокорреляция остатков не влияет на свойства состоятельности и несмещенности оценок параметров уравнения регрессии обычным МНК, за исключением моделей авторегрессии. Применение МНК к моделям авторегрессии ведет к получению смещенных, несостоятельных и неэффективных оценок. [c.280]

Однако, как было показано выше, оценка параметра с,, равная 0,440, является смещенной. Для получения несмещенных оценок параметров этого уравнения воспользуемся методом инструментальных переменных. Определим параметры уравнения регрессии (7.43) обычным МНК [c.327]

Средние квадраты s и s2 (табл. 3.3) представляют собой несмещенные оценки дисперсий зависимой переменной, обусловленных соответственно регрессий или объясняющей переменной X и воздействием неучтенных случайных факторов и ошибок т — число оцениваемых параметров уравнения регрессии п — число наблюдений. [c.72]

Оценки, определяемые вектором (4.8), обладают в соответствии с теоремой Гаусса—Маркова минимальными дисперсиями в классе всех линейных несмещенных оценок, но при наличии мультиколлинеарности эти дисперсии могут оказаться слишком большими, и обращение к соответствующим смещенным оценкам может повысить точность оценивания параметров регрессии. На рис. 5.1 показан случай, когда смещенная оценка Ру, [c.110]

Как было отмечено в 7.1, b — несмещенная и состоятельная оценка параметра р для обобщенной линейной модели множественной регрессии следовательно, и в частном случае, когда мо- [c.156]

Изучая уравнение линейной регрессии мы предполагали, что реальная взаимосвязь фактора X и отклика 7 линейна, а отклонения от прямой регрессии случайны, независимы между собой, имеют нулевое математическое ожидание и постоянную дисперсию. Если это не так, то статистический анализ параметров регрессии некорректен и оценки этих параметров не обладают свойствами несмещенности и состоятельности. Например, это может быть, если в действительности связь между переменными нелинейна. Поэтому после получения уравнения регрессии необходимо исследовать его ошибки. [c.122]

Коэффициенты регрессии, найденные исходя из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, так как только в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии bt можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям. [c.156]

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии 6, имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице. [c.156]

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии. Этой цели, как уже указывалось, служит и применение обобщенного метода наименьших квадратов, к рассмотрению которого мы и переходим в п. 3.11. [c.169]

Метод, используемый чаще других для нахождения параметров уравнения регрессии и известный как метод наименьших квадратов, дает наилучшие линейные несмещенные оценки. Он называется так потому, что при расчете параметров прямой линии, которая наиболее соответствует фактическим данным, с помощью этого метода стараются найти линию, минимизирующую сумму квадратов значений ошибок или расхождений между величинами Y, которые рассчитаны по уравнению прямой и обозначаются Y, и фактическими наблюдениями. Это показано на рис. 6.2. [c.265]

В классических предположениях мнк-оценки совпадают с оценками максимального правдоподобия и являются наилучшими среди всех несмещенных оценок в. Однако при отклонении распределения г от нормального в сторону увеличения вероятности больших отклонений мнк-оценки быстро теряют свои оптимальные свойства. В связи с этим в практической работе широко используются функции потерь р(и) Ф и2. Среди них выделяется функция ря, (и) = А,-1 (1 — ехр — А,м2/2 ), при К -> 0 стремящаяся к и2/2, а при и — оо (X > 0) имеющая горизонтальную асимптоту. Она приводит к так называемым эв-оценкам параметров регрессионной зависимости (эв-регрессия или Х-регрессия). Эти оценки устойчивы к нарушению предположения нормаль- [c.249]

Сформулируйте свойства несмещенности, состоятельности и эффективности оценок параметров. Обладают ли этими свойствами оценки. параметров линейной регрессии, полученные с помощью МНК [c.311]

Формула Q записана для парной регрессии аналогичный вид она имеет и для множественной линейной регрессии. При использовании WLS оценки параметров не только получаются несмещенными (они будут таковыми и для обычного МНК), но и более точными (имеют меньшую дисперсию), чем невзвешенные оценки. [c.355]

Почему, если известна оценка W ковариационной матрицы ошибок независимых переменных, то приведенная формула расчета оценок параметров простой регрессии обеспечивает их несмещенность [c.44]

Оценки являются несмещенными, т.е. математическое ожидание оценки каждого параметра равно его истинному значению М(а) = а М(Ь) = р. Это вытекает из того, что М(е.) = О, и говорит об отсутствии систематической ошибки в определении положения линии регрессии. [c.297]

Если матрица ковариации ошибок по наблюдениям отлична от О IN (нарушена 3-я гипотеза основной модели), то МНК-оценки параметров регрессии остаются несмещенными, но перестают быть эффективными в классе линейных. Смещенными оказываются МНК-оценки их ковариции, в частности оценки их стандартных ошибок (как правило, они преуменьшаются). [c.27]

При выполнении предпосылок 1)-4) относительно ошибок е( оценки параметров множественной линейной регрессии являются несмещенными, состоятельными и эффективными. Отклонение зависимой переменной у ву-м наблюдении от линии регрессии, ер записывается следующим образом е = у — а0 — atx — a fl -. .. — amxjm. Обозначим сумму квадратов этих величин, которую нужно минимизировать в соответствии с методом наименьших квадратов, через Q. [c.308]

При анализе временных рядов часто приходится учитывать статистическую зависимость наблюдений в разные моменты времени. Иными словами, для многих временных рядов предположение о некоррелированности ошибок не выполняется. В этом разделе мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка (точное определение будет дано ниже). Как было показано ранее (глава 5), применение обычного метода наименьших квадратов к этой системе дает несмещенные и состоятельные оценки параметров, однако можно показать (см., например, Johnston and DiNar-do, 1997), что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле. [c.184]

Состоятельное оценивание дисперсий. Предположим теперь, что в модели (6.1) с гетероскедастичностью для оценки вектора параметра ft используется обычный метод наименьших квадратов. Как установлено в главе 5, эта оценка является состоятельной и несмещенной, однако стандартная оценка ее матрицы ко-вариаций ((3.8), (ЗД9)) V»(/3OLs) — ff2(X X) l смещена и несостоятельна. Отметим, что компьютерные пакеты при оценивании коэффициентов регрессии вычисляют стандартные ошибки коэффициентов регрессии именно по этой формуле. Можно ли сделать поправку на гетероскедастичность и улучшить оценку матрицы ковариаций Положительный ответ дают приводимые ниже два способа оценивания. [c.173]

Эконометрика: Парная и множественная регрессия (стр. 3 )

Из за большого объема этот материал размещен на нескольких страницах: 1 2 3 4 5 6 7 8 9 10 11

Условия Гаусса–Маркова для модели парной регрессии:

1) случайный член регрессии в каждом наблюдении имеет нулевое математическое ожидание: , для любого i;

2) дисперсия случайного члена регрессии не зависит от номера наблюдения i;

3) случайные члены регрессии в разных наблюдениях не зависят друг от друга, то есть если i¹j;

4) случайный член регрессии и объясняющая переменная в каждом наблюдении независимы друг от друга, то есть для любого i.

Рассмотрим теперь эти условия более подробно.

1-е условие Гаусса–Маркова: , для любого i.

Иногда случайный член будет положительным, иногда отрицательным, но он не должен иметь систематическое смещение ни в одном из двух возможных направлений. Фактически, если уравнение регрессии включает постоянный член, то обычно бывает разумно предположить, что это условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции в у, которую не учитывают объясняющие переменные, включенные в уравнение регрессии.

2-е условие Гаусса–Маркова: постоянна для всех наблюдений.

Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он порождал большую ошибку в одних наблюдениях, чем в других.

Данное условие можно записать в виде , для всех i.

Так как , то данное условие можно переписать в виде , для всех i.

Величина , конечно, неизвестна, поэтому одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена. Если рассматриваемое условие не выполняется, то коэффициенты регрессии, найденные по обычному методу наименьших квадратов, будут неэффективными, а эффект, который при этом получается называется гетероскедастичностью . В этом случае можно получить более надежные результаты путем применения модифицированного метода наименьших квадратов.

3-е условие Гаусса–Маркова: если i¹j.

Это условие предполагает отсутствие систематической связи между значениями случайного члена в двух любых наблюдениях. Например, если случайный член велик и положителен в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении (или большим и отрицательным, или малым и положительным, или малым и отрицательным). Случайные члены должны быть абсолютно независимы друг от друга.

В силу того, что , данное условие можно записать следующим образом:

.

Если это условие не будет выполнено, то регрессия, оцененная по обычному методу наименьших квадратов, вновь даст неэффективные результаты, а эффект, вызванный нарушением этого условия, называется автокорреляцией.

4-е условие Гаусса–Маркова: для любого i.

Часто используется более сильное предположение о том, что объясняющая переменная не является стохастической, т. е. не имеет случайной составляющей. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, то есть полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Если это условие выполнено, то теоретическая ковариация между зависимой переменной и случайным членом равна нулю. Так как , то

.

Следовательно, данное условие можно записать также в виде: .

Наряду с условиями Гаусса–Маркова обычно также предполагается нормальность распределения случайного члена. Если случайный член u нормально распределен, то также будут распределены коэффициенты регрессии a и b.

Теорема

Если выполнены условия Гаусса–Маркова для модели парной регрессии, то МНК дает несмещенные, эффективные и состоятельные оценки параметров регрессии а и b.

При невыполнении предположений 1) и 4) нарушается свойство несмещенности. Если предположения 2) и 3) нарушены (т. е. дисперсия возмущений непостоянна и/или значения связаны друг с другом), то нарушается свойство эффективности.

Докажем, что b будет несмещенной оценкой b. Из (3.1) следует, что

.

Если использовать 4-е условие Гаусса–Маркова и предположим, что x — неслучайная величина, то можем считать известной константой и , следовательно

Таким образом, b – несмещенная оценка b. Можно получить тот же результат со слабой формой 4-го условия Гаусса–Маркова (которая допускает, что переменная x имеет случайную ошибку, но предполагает, что она распределена независимо от u).

За исключением того случая, когда случайные факторы в n наблюдениях в точности “гасят” друг друга, что может произойти лишь при случайном совпадении, b будет отличаться от b в каждой конкретной выборке. Несмещенность можно доказать и для коэффициента а.

Коэффициент регрессии a можно найти по формуле (2.6), которая имеет вид:

При выполнении 4-го условия Гаусса–Маркова, при котором , будет

.

Поскольку y определяется моделью парной регрессии (2.1), и если предположить, что выполнено 1-е условие Гаусса–Маркова, т. е. , то

.

Если перейти к средним значениям будет, то

Получим: .

Таким образом, а и b – несмещенные оценки параметров a и b при выполнения 1-го и 4-го условий Гаусса–Маркова. Безусловно, для каждой конкретной выборки фактор случайности приведет к расхождению оценки и истинного значения.

Можно доказать, что оценки a и b, полученные методом наименьших квадратов, являются состоятельными и эффективными. Условие состоятельности будет следовать непосредственно из вида стандартных отклонений, а доказательство условия эффективности более трудоемко, поэтому проводиться нами не будем.

Ранее рассматривали оценки математического ожидания m случайной величины x по данным выборочных наблюдений. Хотя использовалось выборочное среднее , было показано, что оно является лишь одной из возможных несмещенных оценок этого параметра. Причина предпочтения выборочного среднего всем другим оценкам состоит в том, что при определенных предположениях оно является состоятельной и эффективной оценкой.

Аналогичные рассуждения применимы и к коэффициентам регрессии. Можно провести прямую линию, черед два произвольных наблюдения и посмотреть, будут ли коэффициенты данной линии несмещенными оценками параметров модели. Возьмем первое и последнее наблюдение, тогда уравнение прямой будет иметь вид:

.

Выразив y, получаем уравнение

. (3.2)

Каковы свойства коэффициентов этого уравнения? Сначала мы исследуем, является ли оценка несмещённой. Имеем

Если выполняется первое условие Гаусса–Маркова, т. е. , то эта, на первый взгляд, “наивна” оценка является несмещенной. Аналогично, можно показать, что и оценка также является несмещенной оценкой для коэффициента a. Доказать данное утверждение несложно, поэтому можно провести его самостоятельно.

Это, разумеется, не единственная оценка, которая наряду с оценкой, полученной методом МНК, обладает свойством несмещенности. Можно получить сколько угодно оценок такого типа путем объединения двух или большего количества произвольно выбранных наблюдений. При этом, для их несмещенности достаточно потребовать выполнение первого условия Гаусса–Маркова.

При сравнении с менее “наивными” оценками превосходство оценки МНК в эффективности может быть не столь очевидным. Тем не менее, в том случае, если условия Гаусса–Маркова для остаточного члена выполнены, коэффициенты регрессии, построенной обычным методом наименьших квадратов, будут наилучшими линейными несмещенными оценками (best linear unbiased estimators, или BLUE).

3.2. Стандартные отклонения и стандартные ошибки коэффициентов регрессии

Рассмотрим теперь теоретические дисперсии оценок а и b. Они задаются следующими выражениями

, (3.3)

. (3.4)

Из уравнений можно сделать три очевидных заключения.

1. Данные оценки являются состоятельными. Поскольку значение n находится в знаменателе, то дисперсии стремятся к нулю, при увеличении числа элементов в выборке.

2. Дисперсии a и b прямо пропорциональны дисперсии остаточного члена . Чем больше фактор случайности, тем хуже будут оценки при прочих равных условиях.

3. Чем больше дисперсия x, тем меньше будет дисперсия коэффициентов регрессии. В чем причина этого? Коэффициенты регрессии вычисляются на основании предположения, что наблюдаемые изменения y происходят вследствие изменений x, но в действительности они лишь отчасти вызваны изменениями x, а отчасти вариациями u. Чем меньше дисперсия x, тем больше будет влияние случайного фактора при определении отклонений y. В действительности важнее не абсолютные значения величин и , а их отношение.

На практике, как правило, нельзя вычислить теоретические дисперсии a или b, так как дисперсия случайного члена модели регрессии неизвестна. Однако можно получить оценку на основе остатков. Выборочная дисперсия остатков , которую мы можем измерить, сможет быть использована для оценки , которая имеет тенденцию занижать . Действительно, можно показать, что математическое ожидание , если имеется всего одна независимая переменная, будет

.

Следовательно, , будет несмещенной оценкой .

Если рассматривать не дисперсии, а суммы квадратов отклонений, то несмещенной оценкой параметра регрессии является оценка , где ESS – необъясненная сумма квадратов отклонений.

Поскольку имеется дисперсии коэффициентов регрессии (3и оценки данных значений, необходимо разделять данные понятия, следовательно, необходимы следующие определения:

стандартное отклонение случайной величины – корень квадратный из дисперсии случайной величины;

стандартная ошибка случайной величины – оценка стандартного отклонения случайной величины, полученная по данным выборки. Стандартная ошибка функции коэффициента регрессии будем обозначать в виде и . Таким образом, для парного регрессионного анализа имеем следующие оценки дисперсии и стандартные ошибки:

, (3.5)

,

Как правило, при работе в специализированных пакетах, стандартные ошибки (а не стандартные отклонения) будут подсчитаны автоматически одновременно с оценками а и b.

Подводя итог можно заключить:

1. Оценка a для параметра a имеет нормальное распределение с математическим ожидание a и стандартным отклонением ;

2. Оценка b для параметра b имеет нормальное распределение с математическим ожидание b и стандартным отклонением ;

3. На практике, как правило, значение стандартного отклонения подсчитать невозможно, поэтому необходимо вычислять стандартные ошибками и , используя формулы (3.5) и (3.6).

§ 4. Некоторые распределения

До сих пор мы формально использовали термин нормально распределенная случайная величина. Сейчас рассмотрим основные свойства нормального распределения, а так же рассмотрим некоторые распределения, которые понадобятся для дальнейшего изложения.

4.1. Функция распределения и плотность распределения

Непрерывная случайная величина X может принимать значения из некоторого интервала. Вероятность того, что X примет значение, меньшее вещественного x, называется функция распределения случайной величины и определятся следующим образом . Иногда данную функцию называют интегральной функцией распределения.

В теории вероятностей принято обозначить случайные величины прописными (заглавными) буквами. Именно такое обозначение будет использоваться в данном параграфе.

Функция распределения для непрерывной случайной величины везде непрерывна, является неубывающей функций, при этом

При помощи функции распределения можно определить вероятность того, что случайная величина попадет в некоторый полуоткрытый полуинтервал.

Вычислим вероятность попадания случайной величины в некоторый малый интервал . Рассмотрим отношения этой вероятности к длине этого участка. Устремив к нулю, в пределе получим функцию производную от функции распределения

Функция f(x) называется плотностью распределения случайной величины (дифференциальной функцией распределения).

Плотность распределения является неотрицательной функцией, вследствие неубывания функции распределения и интеграл от минус до плюс бесконечности от функции плотности равняется 1:

Вероятность попадания случайной величины в заданный интервал через плотность распределения: .

4.2. Нормальное распределение

Плотность вероятности нормально распределенной случайной величины на интервале (-¥, +¥) задается формулой:

, (4.1)

а функция распределения

. (4.2)

Основные характеристики данного распределения имеют следующие значения , . Обычно нормально распределенная случайная величина обозначается следующим образом: .

График плотности вероятности нормального распределения имеет колоколообразный вид (рис. 5). Максимум этой функции находится в точке m ,растянутость вдоль оси y определяется параметром s. Чем меньше значение этого параметра, тем более острый и высокий максимум имеет плотность нормального распределения. Максимум данной функции достигается в точке с координатами .

Если случайная величина формируется под действием большого количества независимых факторов, вклад каждого из которых в значение случайной величины мал, то в силу центральной предельной теоремы эта случайная величина будет иметь нормальное распределение. В роли таких величин в экономике могут выступать: объем продаж, суммарные инвестиции, суммарное потребление домашних хозяйств и тому подобные величины, имеющие аддитивную природу, то есть складывающиеся из многих малых взаимно независимых величин.

Рассмотрим основные свойства нормального распределения. Главное из них – если ряд случайных величин имеет нормальное распределение, то их сумма или любая линейная комбинация также будет иметь нормальное распределение.

Распределение величины , представляющей собой взвешенную сумму n независимых нормально распределенных случайных величин с параметрами и , также будет иметь нормальное распределение с параметрами и . В частности, если все , все и одинаковы, то случайная величина имеет следующие характеристики: , .

Подобная случайная величина нами уже изучалась ранее. Данная величина называется выборочное среднее.

Плотность вероятности нормального распределения (4.1) пропорциональна безразмерной величине, , где z – определяемая выражением . Поэтому плотность нормального распределения экспоненциально убывает при удалении от среднего значения m. Случайная величина z имеет нулевое математическое ожидание и единичную дисперсию. Она, как и исходная случайная величина x, нормально распределена, но не зависит от каких-либо параметров. Поэтому ее распределение может быть протабулировано, то есть значения её плотности вероятности могут быть представлены в виде таблиц. Эта функция называется плотностью стандартного нормального распределения, а сама случайная величина стандартно нормальной и обозначается . На практике чаще используют таблицы значений функции распределения стандартной нормальной величины (приложение 1).

Операцией нормализации называется переход от произвольной случайной величины X к величине Z, определенной по правилу .

Корреляция и регрессия

Линейное уравнение регрессии имеет вид y=bx+a+ε
Здесь ε — случайная ошибка (отклонение, возмущение).
Причины существования случайной ошибки:
1. Невключение в регрессионную модель значимых объясняющих переменных;
2. Агрегирование переменных. Например, функция суммарного потребления – это попытка общего выражения совокупности решений отдельных индивидов о расходах. Это лишь аппроксимация отдельных соотношений, которые имеют разные параметры.
3. Неправильное описание структуры модели;
4. Неправильная функциональная спецификация;
5. Ошибки измерения.
Так как отклонения ε_i для каждого конкретного наблюдения i – случайны и их значения в выборке неизвестны, то:
1) по наблюдениям x_i и y_i можно получить только оценки параметров α и β
2) Оценками параметров α и β регрессионной модели являются соответственно величины а и b, которые носят случайный характер, т.к. соответствуют случайной выборке;
Тогда оценочное уравнение регрессии (построенное по выборочным данным) будет иметь вид y = bx + a + ε, где e_i – наблюдаемые значения (оценки) ошибок ε_i, а и b соответственно оценки параметров α и β регрессионной модели, которые следует найти.
Для оценки параметров α и β — используют МНК (метод наименьших квадратов).
Система нормальных уравнений.

Для наших данных система уравнений имеет вид:

10a + 356b = 49
356a + 2135b = 9485

Из первого уравнения выражаем а и подставим во второе уравнение
Получаем b = 68.16, a = 11.17

Уравнение регрессии:
y = 68.16 x — 11.17

1. Параметры уравнения регрессии.
Выборочные средние.

1.1. Коэффициент корреляции
Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

Линейный коэффициент корреляции принимает значения от –1 до +1.
Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:
0.1 Y фактором X весьма высокая и прямая.

1.2. Уравнение регрессии (оценка уравнения регрессии).

Линейное уравнение регрессии имеет вид y = 68.16 x -11.17
Коэффициентам уравнения линейной регрессии можно придать экономический смысл. Коэффициент уравнения регрессии показывает, на сколько ед. изменится результат при изменении фактора на 1 ед.
Коэффициент b = 68.16 показывает среднее изменение результативного показателя (в единицах измерения у ) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 единицу y повышается в среднем на 68.16.
Коэффициент a = -11.17 формально показывает прогнозируемый уровень у , но только в том случае, если х=0 находится близко с выборочными значениями.
Но если х=0 находится далеко от выборочных значений x , то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.
Подставив в уравнение регрессии соответствующие значения x , можно определить выровненные (предсказанные) значения результативного показателя y(x) для каждого наблюдения.
Связь между у и x определяет знак коэффициента регрессии b (если > 0 – прямая связь, иначе — обратная). В нашем примере связь прямая.

1.3. Коэффициент эластичности.
Коэффициенты регрессии (в примере b) нежелательно использовать для непосредственной оценки влияния факторов на результативный признак в том случае, если существует различие единиц измерения результативного показателя у и факторного признака х.
Для этих целей вычисляются коэффициенты эластичности и бета — коэффициенты. Коэффициент эластичности находится по формуле:

Он показывает, на сколько процентов в среднем изменяется результативный признак у при изменении факторного признака х на 1%. Он не учитывает степень колеблемости факторов.
В нашем примере коэффициент эластичности больше 1. Следовательно, при изменении Х на 1%, Y изменится более чем на 1%. Другими словами — Х существенно влияет на Y.
Бета – коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

Т.е. увеличение x на величину среднеквадратического отклонения этого показателя приведет к увеличению среднего Y на 0.9796 среднеквадратичного отклонения этого показателя.

1.4. Ошибка аппроксимации.
Оценим качество уравнения регрессии с помощью ошибки абсолютной аппроксимации.

Поскольку ошибка больше 15%, то данное уравнение не желательно использовать в качестве регрессии.

1.6. Коэффициент детерминации.
Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.
Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.
R 2 = 0.98 2 = 0.9596, т.е. в 95.96 % случаев изменения x приводят к изменению у . Другими словами — точность подбора уравнения регрессии — высокая. Остальные 4.04 % изменения Y объясняются факторами, не учтенными в модели.

2. Оценка параметров уравнения регрессии.
2.1. Значимость коэффициента корреляции.

По таблице Стьюдента с уровнем значимости α=0.05 и степенями свободы k=7 находим t_крит:
t_крит = (7;0.05) = 1.895
где m = 1 — количество объясняющих переменных.
Если t_набл > t_критич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).
Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически — значим
В парной линейной регрессии t 2 _r = t 2 _b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

2.3. Анализ точности определения оценок коэффициентов регрессии.
Несмещенной оценкой дисперсии возмущений является величина:

S 2 _y = 94.6484 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).
S_y = 9.7287 — стандартная ошибка оценки (стандартная ошибка регрессии).
S _a — стандартное отклонение случайной величины a.

S_b — стандартное отклонение случайной величины b.

2.4. Доверительные интервалы для зависимой переменной.
Экономическое прогнозирование на основе построенной модели предполагает, что сохраняются ранее существовавшие взаимосвязи переменных и на период упреждения.
Для прогнозирования зависимой переменной результативного признака необходимо знать прогнозные значения всех входящих в модель факторов.
Прогнозные значения факторов подставляют в модель и получают точечные прогнозные оценки изучаемого показателя. (a + bx_p ± ε) где
Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X _p = 1 (-11.17 + 68.16*1 ± 6.4554)
(50.53;63.44)
С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.

Индивидуальные доверительные интервалы для Y при данном значении X.
(a + bx _i ± ε)
где

С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.

2.5. Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
1) t-статистика. Критерий Стьюдента.
Проверим гипотезу H₀ о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H₁ не равно) на уровне значимости α=0.05.
t_крит = (7;0.05) = 1.895

Поскольку 12.8866 > 1.895, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 2.0914 > 1.895, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
(b — t_крит S_b; b + t_крит S_b)
(68.1618 — 1.895 • 5.2894; 68.1618 + 1.895 • 5.2894)
(58.1385;78.1852)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
(a — t_a)
(-11.1744 — 1.895 • 5.3429; -11.1744 + 1.895 • 5.3429)
(-21.2992;-1.0496)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.

2) F-статистики. Критерий Фишера.
Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
Если расчетное значение с lang=EN-US>n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H₀: R 2 =0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:

где m=1 для парной регрессии.
3. Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 1 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=1 и k2=7, Fkp = 5.59
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (Найденная оценка уравнения регрессии статистически надежна).

Проверка на наличие автокорреляции остатков.
Важной предпосылкой построения качественной регрессионной модели по МНК является независимость значений случайных отклонений от значений отклонений во всех других наблюдениях. Это гарантирует отсутствие коррелированности между любыми отклонениями и, в частности, между соседними отклонениями.
Автокорреляция (последовательная корреляция) определяется как корреляция между наблюдаемыми показателями, упорядоченными во времени (временные ряды) или в пространстве (перекрестные ряды). Автокорреляция остатков (отклонений) обычно встречается в регрессионном анализе при использовании данных временных рядов и очень редко при использовании перекрестных данных.
В экономических задачах значительно чаще встречается положительная автокорреляция, нежели отрицательная автокорреляция. В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов.
Отрицательная автокорреляция фактически означает, что за положительным отклонением следует отрицательное и наоборот. Такая ситуация может иметь место, если ту же зависимость между спросом на прохладительные напитки и доходами рассматривать по сезонным данным (зима-лето).
Среди основных причин, вызывающих автокорреляцию, можно выделить следующие:
1. Ошибки спецификации. Неучет в модели какой-либо важной объясняющей переменной либо неправильный выбор формы зависимости обычно приводят к системным отклонениям точек наблюдения от линии регрессии, что может обусловить автокорреляцию.
2. Инерция. Многие экономические показатели (инфляция, безработица, ВНП и т.д.) обладают определенной цикличностью, связанной с волнообразностью деловой активности. Поэтому изменение показателей происходит не мгновенно, а обладает определенной инертностью.
3. Эффект паутины. Во многих производственных и других сферах экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом).
4. Сглаживание данных. Зачастую данные по некоторому продолжительному временному периоду получают усреднением данных по составляющим его интервалам. Это может привести к определенному сглаживанию колебаний, которые имелись внутри рассматриваемого периода, что в свою очередь может служить причиной автокорреляции.
Последствия автокорреляции схожи с последствиями гетероскедастичности: выводы по t- и F-статистикам, определяющие значимость коэффициента регрессии и коэффициента детерминации, возможно, будут неверными.

Обнаружение автокорреляции

1. Графический метод
Есть ряд вариантов графического определения автокорреляции. Один из них увязывает отклонения e_i с моментами их получения i. При этом по оси абсцисс откладывают либо время получения статистических данных, либо порядковый номер наблюдения, а по оси ординат – отклонения e_i (либо оценки отклонений).
Естественно предположить, что если имеется определенная связь между отклонениями, то автокорреляция имеет место. Отсутствие зависимости скоре всего будет свидетельствовать об отсутствии автокорреляции.
Автокорреляция становится более наглядной, если построить график зависимости e_i от e_i-1.