Если то уравнение парной линейной регрессии имеет вид

Парная линейная регрессия. Задачи регрессионного анализа

Будут и задачи для самостоятельного решения, к которым можно посмотреть ответы.

Понятие линейной регрессии. Парная линейная регрессия

Линейная регрессия — выраженная в виде прямой зависимость среднего значения какой-либо величины от некоторой другой величины. В отличие от функциональной зависимости y = f(x) , когда каждому значению независимой переменной x соответствует одно определённое значение величины y, при линейной регрессии одному и тому же значению x могут соответствовать в зависимости от случая различные значения величины y.

Если в результате наблюдения установлено, что при каждом определённом значении x существует сколько-то (n) значений переменной y, то зависимость средних арифметических значений y от x и является регрессией в статистическом понимании.

Если установленная зависимость может быть записана в виде уравнения прямой

то эта регрессионная зависимость называется линейной регрессией.

О парной линейной регрессии говорят, когда установлена зависимость между двумя переменными величинами (x и y). Парная линейная регрессия называется также однофакторной линейной регрессией, так как один фактор (независимая переменная x) влияет на результирующую переменную (зависимую переменную y).

В уроке о корреляционной зависимости были разобраны примеры того, как цена на квартиры зависит от общей площади квартиры и от площади кухни (две различные независимые переменные) и о том, что результаты наблюдений расположены в некотором приближении к прямой, хотя и не на самой прямой. Если точки корреляционной диаграммы соединить ломанной линией, то будет получена линия эмпирической регрессии. А если эта линия будет выровнена в прямую, то полученная прямая будет прямой теоретической регрессии. На рисунке ниже она красного цвета (для увеличения рисунка щёлкнуть по нему левой кнопкой мыши).

По этой прямой теоретической регрессии может быть сделан прогноз или восстановление неизвестных значений зависимой переменной по заданным значениям независимой переменной.

В случае парной линейной регрессии для данных генеральной совокупности связь между независимой переменной (факториальным признаком) X и зависимой переменной (результативным признаком) Y описывает модель

,

— свободный член прямой парной линейной регрессии,

— коэффициент направления прямой парной линейной регрессии,

— случайная погрешность,

N — число элементов генеральной совокупности.

Уравнение парной линейной регрессии для генеральной совокупности можно построить, если доступны данные обо всех элементах генеральной совокупности. На практике данные всей генеральной совокупности недоступны, но доступны данные об элементах некоторой выборки.

Поэтому параметры генеральной совокупности оценивают при помощи соответствующих параметров соответствующей выборки: свободный член прямой парной линейной регрессии генеральной совокупности заменяют на свободный член прямой парной линейной регрессии выборки , а коэффициент направления прямой парной линейной регрессии генеральной совокупности — на коэффициент направления прямой парной линейной регрессии выборки .

В результате получаем уравнение парной линейной регрессии выборки

— оценка полученной с помощью модели линейной регрессии зависимой переменной Y,

— погрешность,

n — размер выборки.

Чтобы уравнение парной линейной регрессии было более похоже на привычное уравнение прямой, его часто также записывают в виде

.

Уравнение парной линейной регрессии и метод наименьших квадратов

Определение коэффициентов уравнения парной линейной регрессии

Если заранее известно, что зависимость между факториальным признаком x и результативным признаком y должна быть линейной, выражающейся в виде уравнения типа , задача сводится к нахождению по некоторой группе точек наилучшей прямой, называемой прямой парной линейной регрессии. Следует найти такие значения коэффициентов a и b , чтобы сумма квадратов отклонений была наименьшей:

.

Если через и обозначить средние значения признаков X и Y,то полученная с помощью метода наименьших квадратов функция регрессии удовлетворяет следующим условиям:

• прямая парной линейной регрессии проходит через точку ;
• среднее значение отклонений равна нулю: ;
• значения и не связаны: .

Условие метода наименьших квадратов выполняется, если значения коэффициентов равны:

,

.

Пример 1. Найти уравнение парной линейной регрессии зависимости между валовым внутренним продуктом (ВВП) и частным потреблением на основе данных примера урока о корреляционной зависимости (эта ссылка, которая откроется в новом окне, потребуется и при разборе следующих примеров).

Решение. Используем рассчитанные в решении названного выше примера суммы:

Используя эти суммы, вычислим коэффициенты:

Таким образом получили уравнение прямой парной линейной регрессии:

Составить уравнение парной линейной регрессии самостоятельно, а затем посмотреть решение

Пример 2. Найти уравнение парной линейной регрессии для выборки из 6 наблюдений, если уже вычислены следующие промежуточные результаты:

;

;

;

;

Анализ качества модели линейной регрессии

Метод наименьших квадратов имеет по меньшей мере один существенный недостаток: с его помощью можно найти уравнение линейной регрессии и в тех случаях, когда данные наблюдений значительно рассеяны вокруг прямой регрессии, то есть находятся на значительном расстоянии от этой прямой. В таких случаях за точность прогноза значений зависимой переменной ручаться нельзя. Существуют показатели, которые позволяют оценить качество уравнения линейной регрессии прежде чем использовать модели линейной регрессии для практических целей. Разберём важнейшие из этих показателей.

Коэффициент детерминации

Коэффициент детерминации принимает значения от 0 до 1 и в случае качественной модели линейной регрессии стремится к единице. Коэффициент детерминации показывает, какую часть общего рассеяния зависимой переменной объясняет независимая переменная:

,

— сумма квадратов отклонений, объясняемых моделью линейной регрессии, которая характеризует рассеяние точек прямой регрессии относительно арифметического среднего,

— общая сумма квадратов отклонений, которая характеризует рассеяние зависимой переменной Y относительно арифметического среднего,

— сумма квадратов отклонений ошибки (не объясняемых моделью линейной регрессии), которая характеризует рассеяние зависимой переменной Y относительно прямой регресии.

Пример 3. Даны сумма квадратов отклонений, объясняемых моделью линейной регрессии (3500), общая сумма квадратов отклонений (5000) и сумма квадратов отклонений ошибки (1500). Найти коэффициент детерминации двумя способами.

F-статистика (статистика Фишера) для проверки качества модели линейной регрессии

Минимальное возможное значение F-статистики — 0. Чем выше значение статистики Фишера, тем качественнее модель линейной регрессии. Этот показатель представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы):

где m — число объясняющих переменных.

Сумма квадратов остатков

Сумма квадратов остатков (RSS) измеряет необъясненную часть дисперсии зависимой переменной:

—

остатки — разности между реальными значениями зависимой переменной и значениями, оценёнными уравнением линейной регрессии.

В случае качественной модели линейной регрессии сумма квадратов остатков стремится к нулю.

Стандартная ошибка регрессии

Стандартная ошибка регрессии (SEE) измеряет величину квадрата ошибки, приходящейся на одну степень свободы модели:

Чем меньше значение SEE, тем качественнее модель.

Пример 4. Рассчитать коэффициент детерминации для данных из примера 1.

Решение. На основании данных таблицы (она была приведена в примере урока о корреляционной зависимости) получаем, что SST = 63 770,593 , SSE = 10 459,587 , SSR = 53 311,007 .

Можем убедиться, что выполняется закономерность SSR = SST — SSE :

Получаем коэффициент детерминации:

.

Таким образом, 83,6% изменений частного потребления можно объяснить моделью линейной регресии.

Интерпретация коэффициентов уравнения парной линейной регрессии и прогноз значений зависимой переменной

Итак, уравнение парной линейной регрессии:

.

В этом уравнении a — свободный член, b — коэффициент при независимой переменной.

Интерпретация свободного члена: a показывает, на сколько единиц график регрессии смещён вверх при x=0, то есть значение переменной y при нулевом значении переменной x.

Интерпретация коэффициента при независимой переменной: b показывает, на сколько единиц изменится значение зависимой переменной y при изменении x на одну единицу.

Пример 5. Зависимость частного потребления граждан от ВВП (истолкуем это просто: от дохода) описывается уравнением парной линейной регрессии . Сделать прогноз потребления при доходе в 20 000 у.е. Выяснить, на сколько увеливается потребление при увеличении дохода на 5000 у.е. Меняется ли потребление, если доход не меняется?

Решение. Подставляем в уравнение парной линейной регрессии x i = 20000 и получаем прогноз потребления при доходе в 20 000 у.е. y i = 17036,4662 .

Подставляем в уравнение парной линейной регрессии x i = 5000 и получаем прогноз увеличения потребления при увеличении дохода на 5000 у.е. y i = 4161,9662 .

Если доход не меняется, то x i = 0 и получаем, что потребление уменьшается на 129,5338 у.е.

Задачи регрессионного анализа

Регрессионный анализ — раздел математической статистики, объединяющий практические методы исследования регрессионной зависимости между величинами по статистическим данным.

Наиболее частые задачи регрессионного анализа:

• установление факта наличия или отсутствия статистических зависимостей между переменными величинами;
• выявление причинных связей между переменными величинами;
• прогноз или восстановление неизвестных значений зависимых переменных по заданным значениям независимых переменных.

Также делаются проверки статистических гипотез о регрессии. Кроме того, при изучении связи между двумя величинами по результатам наблюдений в соответствии с теорией регрессии предполагается, что зависимая переменная имеет некоторое распределение вероятностей при фиксированном значении независимой переменной.

В исследованиях поведения человека, чтобы они претендовали на объективность, важно не только установить зависимость между факторами, но и получить все необходимые статистические показатели для результата проверки соответствующей гипотезы.

Проверка гипотезы о равенстве нулю коэффициента направления прямой парной линейной регрессии

Одна из важнейших гипотез в регрессионном анализе — гипотеза о том, что коэффициент направления прямой регрессии генеральной совокупности равен нулю.

Если это предположение верно, то изменения независимой переменной X не влияют на изменения зависимой переменной Y: переменные X и Y не коррелированы, то есть линейной зависимости Y от X нет.

рассматривают во взаимосвязи с альтернативной гипотезой

.

Статистика коэффициента направления

соответствует распределению Стьюдента с числом степеней свободы v = n — 2 ,

где — стандартная погрешность коэффициента направления прямой линейной регресии b 1 .

Доверительный интервал коэффициента направления прямой линейной регрессии:

.

Критическая область, в которой с вероятностью P = 1 — α отвергают нулевую гипотезу и принимают альтернативную гипотезу:

Пример 6. На основе данных из предыдущих примеров (о ВВП и частном потреблении) определить доверительный интервал коэффициента направления прямой линейной регресии 95% и проверить гипотезу о равенстве нулю коэффициента направления прямой парной линейной регрессии.

Можем рассчитать, что , а стандартная погрешность регрессии .

Таким образом, стандартная погрешность коэффициента направления прямой линейной регресии b 1 :

.

Так как и (находим по таблице в приложениях к учебникам по статистике), то доверительный интервал 95% коэффициента направления прямой парной линейной регрессии:

.

Так как гипотетическое значение коэффициента — нуль — не принадлежит доверительному интервалу, с вероятностью 95% можем отвергнуть основную гипотезу и принять альтернативную гипотезу, то есть считать, что зависимая переменная Y линейно зависит от независимой переменной X.

Уравнение парной линейной регрессии

Если зависимость между результатом и фактором установлена, то ее целесообразно представить математической функцией . При выборе типа функции (линейная или нелинейная) руководствуются характером расположения точек на поле корреляции, а также содержанием изучаемой связи, которая наилучшим образом соответствует исходным данным, иначе говоря, обеспечивает наилучшую аппроксимацию поля корреляции.

Когда влияние изменения фактора на результат постоянно, используют линейную функцию, в других случаях необходимо применять нелинейные функции.

Математическое описание зависимости в среднем изменений результативного признака от фактора называется уравнением парной регрессии.

Парная линейная регрессия имеет вид

где — среднее значение результативного признака при определенном значении факторного признака ;

— свободный член уравнения регрессии; — коэффициент регрессии.

Построение регрессионной модели включает следующие основные этапы:

— определение цели исследования;

— оценка однородности исходных данных;

— выбор формы связи между результатом и отобранными факторами;

— определение параметров модели;

— оценка тесноты связи;

— определение показателей эластичности;

— проверка качества построенной модели.

Вернемся к рассматриваемому примеру 1.1 и построим
уравнение парной линейной регрессии.

Вначале оценим однородность исходных данных,
для чего рассчитаем коэффициент вариации (см. гл. 6):

= 12,99/91 * 100% = 16,04%.

Значение коэффициента вариации менее 30%, что говорит об однородности исходных данных, а следовательно, о возможности построения уравнения регрессии.

Найдем параметры и парной линейной регрессии

Для этого используем метод наименьших квадратов (МНК). Исходное условие МНК:

Нужно подобрать такую прямую , которая отражает минимальность суммы квадратов отклонений фактических значений результативной переменной от ее теоретических значений, получаемых на основе уравнения регрессии.

Для этого воспользуемся системой нормальных уравнений МНК для прямой:

Решая эту систему, можно получить формулы для определения параметров и :

Используя расчетные данные табл. 1.2, получаем

Теперь можно записать уравнение парной регрессии:

Параметр выполняет роль доводки до соотношения между средними признаками и , никакого экономического смысла в него не вкладывается. Параметр (коэффициент регрессии) показывает, что в среднем с ростом накопленных за семестр баллов на одну единицу оценка растет на 0,069 балла.

Направление связи между признаками и определяет знак коэффициента регрессии . В нашем примере , т.е. связь является прямой. Если — связь является обратной, т.е. с ростом значений фактора значения результата уменьшаются.

В отличие от коэффициента корреляции коэффициент регрессии является асимметричной характеристикой связи: он характеризует не просто связь между переменными, а зависимость изменения от , но не наоборот.

Когда единицы измерения исследуемых показателей различаются, для оценки влияния факторов на результативный признак вычисляют коэффициенты эластичности.

В нашем примере максимально возможное число баллов, которое можно получить на экзамене, равно 5, а максимально накопленное за семестр число баллов равно 100.

Средний коэффициент эластичности для парной линейной регрессии рассчитывается по формуле

Он показывает, на сколько процентов изменяется результативный признак при изменении факторного признака на 1 % от своего среднего значения.

В нашем примере

Это означает, что при увеличении накопленных за семестр баллов на 1% оценка за экзамен увеличивается примерно на 15%.

По уравнению рассчитаем ожидаемые (теоретические) значения экзаменационной оценки для каждого студента . Результаты представлены в табл. 8.3. Значения подтверждают, что найденная линия регрессии является наилучшей для аппроксимации исходных данных.

Отклонения фактических оценок от теоретических невелики. Для оценки этих отклонений рассчитывают ошибку аппроксимации. Средняя относительная ошибка аппроксимации определяется по формуле:

Найдем ошибку аппроксимации для нашего примера.

Для этого составим расчетную таблицу (табл. 1.3).

В нашем примере , что говорит о хорошем качестве уравнения регрессии, поскольку ошибка аппроксимации в пределах

6 – 10% свидетельствует о хорошем соответствии модели исходным данным.

В последней графе табл. 1.3 показаны квадраты отклонений фактических значений от расчетных .

Сумма является составляющей общей колеблемости , которая в регрессионном анализе представлена следующим образом:

где — общая колеблемость;

— остаточная колеблемость;

— колеблемость , объясненная уравнением регрессии.

Это разложение вариации зависимой переменной лежит в основе оценки качества полученного уравнения регрессии: чем большая часть вариации объясняется регрессией, тем лучше качество регрессии, т.е. правильно выбран тип функции для описания зависимости , правильно выделена объясняющая переменная (признак-фактор) .

Отношение объясненной вариации к общей вариации
позволяет найти коэффициент детерминации

Этот коэффициент определяет степень детерминации
регрессией вариации .

Корень квадратный из коэффициента детерминации называется теоретическим корреляционным отношением, он определяет тесноту связи между результативным и факторным признаками при линейной и нелинейной зависимости. Теоретическое корреляционное отношение изменяется от 0 до 1. Чем ближе его значение к 1, тем связь между признаками теснее.

В нашем примере = 7,5 (табл.1.2) – 1,094 (табл.1.3) = 6,406.

Отсюда , или 85%, что совпадает с ранее полученным значением коэффициента детерминации.

В случае высокой детерминации уравнение регрессии может использоваться для прогнозирования зависимой переменной. В этом случае можно предсказать ожидаемое значение по уравнению регрессии на основе ожидаемого значения .

В нашем примере уравнение регрессии позволяет определить ожидаемую экзаменационную оценку на основе суммы накопленных за семестр текущих баллов.

Выполнить регрессионный анализ, можно воспользовавшись ПК и пакетами прикладных программ Excel, EViews, Statgraphics, Statistica и т.д.

Рассмотрим построение парной линейной регрессии с помощью Мiсrоsоft Office Exce12007.

Для этого надо произвести следующие действия.

1.Выбрать Данные ―> Анализ данных ―> Регрессия.

2.В диалоговом окне Регрессиясделать следующее:

— ввести в окне Редактирование Входной интервал Yдиапазон зависимой переменной;

— ввести в окне Редактирование Входной интервал Хдиапазон факторной переменной; .

— установить флажок Метки, если первая строка содержит название столбцов;

— установить флажок Константа-ноль, если в уравнении регрессии отсутствует свободный член ;

— ввести в окне Редактирование Выходной интервал
номер свободной ячейки на рабочем листе;

— нажать кнопку ОК.

В табл. 1.4 представлены результаты расчета с помощью

Мiсrоsоft Office Excel:

а) Регрессионная статистика:

— множественный R — коэффициент корреляции ;

— R-квадрат — коэффициент детерминации ;

— наблюдения — число наблюдений n=8;

б) Дисперсионный анализ:

— столбец df — число степеней свободы.

Для строки Регрессия число степеней свободы определяется количеством параметров тв уравнении регрессии: df_ф = т -1.

В нашем примере два параметра: df_ф = 2 — 1 = 1.

Для строки Остаток (остаточная вариация) число степе-
ней свободы равно: df_oc= n — т.

В примере: df_oc = 8 — 2 = 6.

Для строки Итого (общая вариация) число степеней свободы равно:

В примере: df_y= 8 — 1 = 7.

Столбец SS содержит суммы квадратов отклонении.

Для строки Регрессия — это сумма квадратов отклонений теоретических данных от среднего значения:

— колеблемость , объясненная уравнением регрессии.

Для строки Остаток — это сумма квадратов отклонений фактических данных от теоретических:

— остаточная колеблемость.

Для строки Итого — это сумма квадратов отклонений фактических данных от среднего значения:

— общая колеблемость.

В столбце MSпоказаны дисперсии на одну степень свободы:

Для строки Регрессия — это объясненная (факторная) дисперсия , для строки Остаток — это остаточная дисперсия .

В столбце показано расчетное значение F-критерия Фишера , вычисляемое по формуле

В столбце Значимость F показан уровень значимости, который зависит от вычисленного значения и числа степеней свободы df (регрессия);

df (остаток) определяется с помощью функции

В столбце Коэффициенты показаны значения коэффициентов уравнения регрессии.

В строке Y-пересечение — показано значение параметра а уравнения регрессии, в строке х — значение параметра b.

Как видим, значения в табл. 1.4 совпадают с расчетами,
полученными ранее на калькуляторе.

Модель парной линейной регрессии

Вы будете перенаправлены на Автор24

Понятие линейной регрессии

Линейная регрессия – это математический метод установления зависимости между двумя переменными.

Теоретическая экономика строится на математических вычислениях и моделировании, которые позволяют описывать события, явления, динамику их изменения. Так же язык математики позволяет прогнозировать будущее положение экономических систем, субъектов и объектов.

Теория вероятности использует регрессию, как метод математической статистики. Она позволяет выявить прямую зависимость между величинами случайной природы. Основным отличием регрессии от функциональной зависимости является факт того, что одному и тому же значению искомой переменной может соответствовать множество других переменных.

Линейная регрессия представляет зависимость в виде линейной модели с учетом ошибки распределения. При этом значения каждой величины заранее неизвестны. Параметры для уравнения описывают выборочные оценки, важные для конкретного исследования. Обычно для исчисления используются экспериментальные данные.

Модель линейной регрессии активно применяется в эконометрике. Она удобна для изучения свойств оценок параметров, а так же для исследования случайных ошибок модели. С точки зрения эконометрической науки линейность чаще всего применяется для параметров, а не для факторов. Линейная модель может иметь константу, либо рассматриваться без нее. В этом случае первый фактор модели будет равным единице, либо останется обычным фактором.

Существует частный случай парной простейшей регрессии. В этом случае на модель воздействует только один фактор. Если количество факторов увеличивается, что регрессия становится множественной. В практической деятельности линейную регрессию применятся для расчета затрат организации, потребительских расходов.

Готовые работы на аналогичную тему

Парная линейная регрессия

Зависимость меду одной переменной и средним показателем другой называется парной линейной регрессией.

Модель математически записывается следующим образом:

где x – факторная переменная, y – зависимая, e – отклонение или остаток

Решение подобных задач в математике проводится по определенному алгоритму, который позволяет найти уравнение регрессии. Для этого необходимо выполнить следующие шаги:

1. Построение модели уравнения. Для подбора данных может использоваться графический метод, который заключается в построении диаграммы рассеивания и ее последующем анализе.
2. Поиск параметров уравнения. Самым удобным считается метод наименьших квадратов.
3. Коэффициент корреляции проверяется на значимость.
4. Проверка модели на ее качественность с помощью критерия Фишера.
5. Анализ остатков.
6. Вычисление стандартной ошибки.
7. Прогноз модели, если того требует исследование.

Парная регрессия позволяет установить связь между несколькими переменными. Ее называют однофактороной, если одна независимая величина влияет на другой зависимый элемент уравнения. В практической деятельности парная регрессия используется для прогнозирования, поиска утерянных неизвестных. Если она строится для генеральной совокупности, то необходимо чтобы данные о каждом элементе были доступны. Обычно, на практике исследователь не обладает полной информацией, поэтому он использует данные об элементах из некоторой статистической выборки.

Чтобы рассмотреть генеральную совокупность, параметры заменяются на те, что известны в выборке. То есть свободный член регрессии генеральной совокупности заменяется соответствующим из выборки, параметры которой заранее известны. Такая же замена происходит для коэффициента направления регрессии.

Применение метода наименьших квадратов в парной регрессии

Если исследователь изначально знает, что зависимость между фактором и переменной линейная, то он выражает ее в форме стандартного линейного уравнения y = ax + b. Задача заключается в поиску группы точек, которые помогут построить оптимальную для заданных параметров прямую. Эта прямая и будет демонстрировать распределение точек парной линейной регрессии. Значение коэффициентов или параметров уравнения осуществляется с помощью метода наименьших квадратов.

Метод наименьших квадратов является математическим. Он применяется для решения различных задач, чтобы минимизировать отклонения результатов исследования при заданных условиях. Его применяют для решения уравнений в случае их переопределения, в случае, если количество уравнений превышает количество неизвестных, а так же для приближения точечных значений. Метод наименьших квадратов является базовым для регрессионного анализа.

Сущность метода заключается в подборе таких значений неизвестных, которые позволяет построить наиболее точную функцию к заранее заданным значениям. То есть, метод позволяет выбрать «меру близости» для левой и правой части уравнения. В регрессионном анализе он используется для уточнения заданной функциональной связи. Если в регрессионной модели единственным регрессором стала константа, то метод наименьших квадратов покажет, что она равна среднему значению той переменной, которую можно объяснить.

Уравнение регрессии устанавливает связь между фактором и результатом. Чтобы определить тип будущего уравнения строят зависимость графически. Но есть другие рекомендации, которые позволяют установить форму связи без дополнительных построений. Если факторный и результативный признаки изменяются одинаково, то между ними существует линейная связь. Если процесс идет неравномерно или в обратную сторону, то связь является гиперболической. Оценка параметров такого уравнения проводится методом наименьших квадратов. Он предполагает, что переменные независимы. Выбранный уровень регрессии должен сводить сумму квадратов отклонений к минимуму. Проверка в этом случае будет считаться законченной.