Что такое уравнение теоретической линии регрессии

Основы линейной регрессии

Что такое регрессия?

Разместим точки на двумерном графике рассеяния и скажем, что мы имеем линейное соотношение, если данные аппроксимируются прямой линией.

Если мы полагаем, что y зависит от x, причём изменения в y вызываются именно изменениями в x, мы можем определить линию регрессии (регрессия y на x), которая лучше всего описывает прямолинейное соотношение между этими двумя переменными.

Статистическое использование слова «регрессия» исходит из явления, известного как регрессия к среднему, приписываемого сэру Френсису Гальтону (1889).

Он показал, что, хотя высокие отцы имеют тенденцию иметь высоких сыновей, средний рост сыновей меньше, чем у их высоких отцов. Средний рост сыновей «регрессировал» и «двигался вспять» к среднему росту всех отцов в популяции. Таким образом, в среднем высокие отцы имеют более низких (но всё-таки высоких) сыновей, а низкие отцы имеют сыновей более высоких (но всё-таки довольно низких).

Линия регрессии

Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии:

x называется независимой переменной или предиктором.

Y – зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x, т.е. это «предсказанное значение y»

• a – свободный член (пересечение) линии оценки; это значение Y, когда x=0 (Рис.1).
• b – угловой коэффициент или градиент оценённой линии; она представляет собой величину, на которую Y увеличивается в среднем, если мы увеличиваем x на одну единицу.
• a и b называют коэффициентами регрессии оценённой линии, хотя этот термин часто используют только для b.

Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия.

Рис.1. Линия линейной регрессии, показывающая пересечение a и угловой коэффициент b (величину возрастания Y при увеличении x на одну единицу)

Метод наименьших квадратов

Мы выполняем регрессионный анализ, используя выборку наблюдений, где a и b – выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).

Наиболее простым методом определения коэффициентов a и b является метод наименьших квадратов (МНК).

Подгонка оценивается, рассматривая остатки (вертикальное расстояние каждой точки от линии, например, остаток = наблюдаемому y – предсказанный y, Рис. 2).

Линию лучшей подгонки выбирают так, чтобы сумма квадратов остатков была минимальной.

Рис. 2. Линия линейной регрессии с изображенными остатками (вертикальные пунктирные линии) для каждой точки.

Предположения линейной регрессии

Итак, для каждой наблюдаемой величины остаток равен разнице и соответствующего предсказанного Каждый остаток может быть положительным или отрицательным.

Можно использовать остатки для проверки следующих предположений, лежащих в основе линейной регрессии:

• Между и существует линейное соотношение: для любых пар данные должны аппроксимировать прямую линию. Если нанести на двумерный график остатки, то мы должны наблюдать случайное рассеяние точек, а не какую-либо систематическую картину.

• Остатки нормально распределены с нулевым средним значением;

• Остатки имеют одну и ту же вариабельность (постоянную дисперсию) для всех предсказанных величин Если нанести остатки против предсказанных величин от мы должны наблюдать случайное рассеяние точек. Если график рассеяния остатков увеличивается или уменьшается с увеличением то это допущение не выполняется;

Если допущения линейности, нормальности и/или постоянной дисперсии сомнительны, мы можем преобразовать или и рассчитать новую линию регрессии, для которой эти допущения удовлетворяются (например, использовать логарифмическое преобразование или др.).

Аномальные значения (выбросы) и точки влияния

«Влиятельное» наблюдение, если оно опущено, изменяет одну или больше оценок параметров модели (т.е. угловой коэффициент или свободный член).

Выброс (наблюдение, которое противоречит большинству значений в наборе данных) может быть «влиятельным» наблюдением и может хорошо обнаруживаться визуально, при осмотре двумерной диаграммы рассеяния или графика остатков.

И для выбросов, и для «влиятельных» наблюдений (точек) используют модели, как с их включением, так и без них, обращают внимание на изменение оценки (коэффициентов регрессии).

При проведении анализа не стоит отбрасывать выбросы или точки влияния автоматически, поскольку простое игнорирование может повлиять на полученные результаты. Всегда изучайте причины появления этих выбросов и анализируйте их.

Гипотеза линейной регрессии

При построении линейной регрессии проверяется нулевая гипотеза о том, что генеральный угловой коэффициент линии регрессии β равен нулю.

Если угловой коэффициент линии равен нулю, между и нет линейного соотношения: изменение не влияет на

Для тестирования нулевой гипотезы о том, что истинный угловой коэффициент равен нулю можно воспользоваться следующим алгоритмом:

Вычислить статистику критерия, равную отношению , которая подчиняется распределению с степенями свободы, где стандартная ошибка коэффициента

,

— оценка дисперсии остатков.

Обычно если достигнутый уровень значимости нулевая гипотеза отклоняется.

Можно рассчитать 95% доверительный интервал для генерального углового коэффициента :

где процентная точка распределения со степенями свободы что дает вероятность двустороннего критерия

Это тот интервал, который содержит генеральный угловой коэффициент с вероятностью 95%.

Для больших выборок, скажем, мы можем аппроксимировать значением 1,96 (то есть статистика критерия будет стремиться к нормальному распределению)

Оценка качества линейной регрессии: коэффициент детерминации R 2

Из-за линейного соотношения и мы ожидаем, что изменяется, по мере того как изменяется , и называем это вариацией, которая обусловлена или объясняется регрессией. Остаточная вариация должна быть как можно меньше.

Если это так, то большая часть вариации будет объясняться регрессией, а точки будут лежать близко к линии регрессии, т.е. линия хорошо соответствует данным.

Долю общей дисперсии , которая объясняется регрессией называют коэффициентом детерминации, обычно выражают через процентное соотношение и обозначают R 2 (в парной линейной регрессии это величина r 2 , квадрат коэффициента корреляции), позволяет субъективно оценить качество уравнения регрессии.

Разность представляет собой процент дисперсии который нельзя объяснить регрессией.

Нет формального теста для оценки мы вынуждены положиться на субъективное суждение, чтобы определить качество подгонки линии регрессии.

Применение линии регрессии для прогноза

Можно применять регрессионную линию для прогнозирования значения по значению в пределе наблюдаемого диапазона (никогда не экстраполируйте вне этих пределов).

Мы предсказываем среднюю величину для наблюдаемых, которые имеют определенное значение путем подстановки этого значения в уравнение линии регрессии.

Итак, если прогнозируем как Используем эту предсказанную величину и ее стандартную ошибку, чтобы оценить доверительный интервал для истинной средней величины в популяции.

Повторение этой процедуры для различных величин позволяет построить доверительные границы для этой линии. Это полоса или область, которая содержит истинную линию, например, с 95% доверительной вероятностью.

Подобным образом можно рассчитать более широкую область, внутри которой, как мы ожидаем, лежит наибольшее число (обычно 95%) наблюдений.

Простые регрессионные планы

Простые регрессионные планы содержат один непрерывный предиктор. Если существует 3 наблюдения со значениями предиктора P , например, 7, 4 и 9, а план включает эффект первого порядка P , то матрица плана X будет иметь вид

а регрессионное уравнение с использованием P для X1 выглядит как

Если простой регрессионный план содержит эффект высшего порядка для P , например квадратичный эффект, то значения в столбце X1 в матрице плана будут возведены во вторую степень:

а уравнение примет вид

Y = b 0 + b 1 P 2

Сигма -ограниченные и сверхпараметризованные методы кодирования не применяются по отношению к простым регрессионным планам и другим планам, содержащим только непрерывные предикторы (поскольку, просто не существует категориальных предикторов). Независимо от выбранного метода кодирования, значения непрерывных переменных увеличиваются в соответствующей степени и используются как значения для переменных X . При этом перекодировка не выполняется. Кроме того, при описании регрессионных планов можно опустить рассмотрение матрицы плана X , а работать только с регрессионным уравнением.

Пример: простой регрессионный анализ

Этот пример использует данные, представленные в таблице:

Рис. 3. Таблица исходных данных.

Данные составлены на основе сравнения переписей 1960 и 1970 в произвольно выбранных 30 округах. Названия округов представлены в виде имен наблюдений. Информация относительно каждой переменной представлена ниже:

Рис. 4. Таблица спецификаций переменных.

Задача исследования

Для этого примера будут анализироваться корреляция уровня бедности и степень, которая предсказывает процент семей, которые находятся за чертой бедности. Следовательно мы будем трактовать переменную 3 ( Pt_Poor ) как зависимую переменную.

Можно выдвинуть гипотезу: изменение численности населения и процент семей, которые находятся за чертой бедности, связаны между собой. Кажется разумным ожидать, что бедность ведет к оттоку населения, следовательно, здесь будет отрицательная корреляция между процентом людей за чертой бедности и изменением численности населения. Следовательно мы будем трактовать переменную 1 ( Pop_Chng ) как переменную-предиктор.

Просмотр результатов

Коэффициенты регрессии

Рис. 5. Коэффициенты регрессии Pt_Poor на Pop_Chng.

На пересечении строки Pop_Chng и столбца Парам. не стандартизованный коэффициент для регрессии Pt_Poor на Pop_Chng равен -0.40374 . Это означает, что для каждого уменьшения численности населения на единицу, имеется увеличение уровня бедности на .40374. Верхний и нижний (по умолчанию) 95% доверительные пределы для этого не стандартизованного коэффициента не включают ноль, так что коэффициент регрессии значим на уровне p . Обратите внимание на не стандартизованный коэффициент, который также является коэффициентом корреляции Пирсона для простых регрессионных планов, равен -.65, который означает, что для каждого уменьшения стандартного отклонения численности населения происходит увеличение стандартного отклонения уровня бедности на .65.

Распределение переменных

Коэффициенты корреляции могут стать существенно завышены или занижены, если в данных присутствуют большие выбросы. Изучим распределение зависимой переменной Pt_Poor по округам. Для этого построим гистограмму переменной Pt_Poor .

Рис. 6. Гистограмма переменной Pt_Poor.

Как вы можете заметить, распределение этой переменной заметно отличается от нормального распределения. Тем не менее, хотя даже два округа (два правых столбца) имеют высокий процент семей, которые находятся за чертой бедности, чем ожидалось в случае нормального распределения, кажется, что они находятся «внутри диапазона.»

Рис. 7. Гистограмма переменной Pt_Poor.

Это суждение в некоторой степени субъективно. Эмпирическое правило гласит, что выбросы необходимо учитывать, если наблюдение (или наблюдения) не попадают в интервал (среднее ± 3 умноженное на стандартное отклонение). В этом случае стоит повторить анализ с выбросами и без, чтобы убедиться, что они не оказывают серьезного эффекта на корреляцию между членами совокупности.

Диаграмма рассеяния

Если одна из гипотез априори о взаимосвязи между заданными переменными, то ее полезно проверить на графике соответствующей диаграммы рассеяния.

Рис. 8. Диаграмма рассеяния.

Диаграмма рассеяния показывает явную отрицательную корреляцию ( -.65 ) между двумя переменными. На ней также показан 95% доверительный интервал для линии регрессии, т.е., с 95% вероятностью линия регрессии проходит между двумя пунктирными кривыми.

Критерии значимости

Рис. 9. Таблица, содержащая критерии значимости.

Критерий для коэффициента регрессии Pop_Chng подтверждает, что Pop_Chng сильно связано с Pt_Poor , p .

На этом примере было показано, как проанализировать простой регрессионный план. Была также представлена интерпретация не стандартизованных и стандартизованных коэффициентов регрессии. Обсуждена важность изучения распределения откликов зависимой переменной, продемонстрирована техника определения направления и силы взаимосвязи между предиктором и зависимой переменной.

Что такое уравнение теоретической линии регрессии

Теоретическая линия регрессии

Установить связь можно с помощью группировки, но определить тесноту связи можно только путем составления уравнения корреляции и определения коэффициента (г) или индекса (р) корреляции. Уравнения корреляции являются по существу оттисками теоретической линии регрессии, в которой сумма квадратов отклонений фактических значений варьирующего признака от вычисленных по уравнению была бы наименьшей из всех возможных (на основе способа наименьших квадратов). [c.143]

Установить связь можно с помощью группировки, но определить тесноту связи можно только составляя уравнения корреляции и определяя коэффициент корреляции г или индекс корреляции р. Построение уравнений корреляции является по существу оттисками теоретической линии регрессии, в которой сумма квадратов отклонений фактических значений варьирующего признака от вычисленных по уравнению была бы наименьшей из всех возможных (т. е. на основании способа наименьших квадратов). При линейной связи их теснота определяется коэффициентом- корреляции, рассчитываемым по формуле [c.23]

Метод наименьших квадратов. Согласно этому методу прямая затрат строится таким образом, чтобы сумма квадратов отклонений расстояний от всех точек до теоретической линии регрессии была бы минимальной. Для установления зависимости между затратами и объемом и определения суммы затрат используют методы математической статистики, в частности метод наименьших квадратов (МНК). Функция Y = а + ЬХ, отражающая связь между зависимой и независимой переменными, называется уравнением регрессии, а и b -параметры уравнения. [c.98]

Чем меньше теоретическая линия регрессии (рассчитанная по уравнению) отклоняется от фактической (эмпиричной), тем меньше средняя ошибка аппроксимации. В нашем примере она составляет 0,0364, или 3,64 %. Учитывая, что в экономических расчетах допускается погрешность 5-8 %, можно сделать вывод, что исследуемое уравнение связи довольно точно описывает изучаемые зависимости. [c.152]

I—теоретическая линия регрессии //— эмпирическая линия регрессии [c.56]

График корреляционной зависимости нормы расхода проката черных металлов от грузоподъемности выпускаемых автомобилей — значения отдельных наблюдений ———-— эмпирическая линия регрессии — — теоретическая линия регрессии [c.105]

Теоретическая линия регрессии 41 [c.340]

При неограниченном увеличении числа наблюдений эта линия стремится к теоретической линии регрессии. Способ наименьших квадратов позволяет по результатам ограниченно- [c.171]

Принимая за теоретическую линию регрессии в разбираемом примере прямую вида у = а + вх, подставляем вместо У (х) в условие (132) и получим [c.173]

Предельная линия регрессии и расчет параметров теоретической линии регрессии [c.61]

Проанализируем полученные результаты. Эмпирическая и теоретическая линии регрессии изображены на рис. 10. Уравнение (5), описывающее теоретическую линию регрессии, указывает на то, что в среднем по обследованной совокупности рабочих строительных профессий увеличение возраста на 1 год повышает трудовой стаж на 5,16 месяца (12 х 0,43). [c.68]

До-сих пор мы рассматривали метод построения теоретической линии регрессии (линейной) по -данным, сгруппированным в интервалы. Но часто исследователь не может воспользоваться группировкой в силу двух причин. Во-первых, если распределение имеет сильную асимметрию, параметры уравнения регрессии, вычисленные на основе [c.72]

Теоретическая линия регрессии может быть рассчитана в этом случае по результатам отдельных наблюдений. Для решения системы нормальных уравнений нам потребуются те же данные х, у, ху и хг. Рассмотрим пример расчета. Мы располагаем данными об объеме производства цемента и объеме основных производственных фондов в 1958 г. Ставится задача исследовать зависимость между объемом производства цемента (в натуральном выражении) и объемом основных фондов. [c.73]

На основе ее сделан вывод о том, что изменение размера основных фондов на одну тысячу рублей в год приводит к изменению объема выпуска цемента на 138 т в среднем по предприятиям. Однако ясно, что приведенной выше характеристики недостаточно. Очевидно, что если бы все наблюденные величины совпадали с вычисленными по теоретической линии регрессии, то это никак не отразилось бы на параметрах уравнения регрессии. В то же время взаимозависимость в этом случае была бы более тесной. На основании этих соображений можно ввести дополнительную характеристику связи, определяющую, насколько велик разброс наблюденных величин вокруг выбранной нами теоретической линии регрессии. Пусть [c.80]

Efo принято называть теоретическим корреляционным отношением, поскольку мы сравниваем дисперсию зависимой переменной с остаточной дисперсией ао,ь рассчитанной на основе теоретической линии регрессии. [c.80]

Это свойство оказывает большое влияние на поиск параметров теоретической линии регрессии. Если бы параметры искали на основе критерия (3), то, очевидно, сумма отклонений расчетных величин признака от фактических должна отличаться от нуля не более чем на среднюю ошибку округления. ч [c.84]

Как видно, сумма отклонений имеет положительный знак и, следовательно, теоретическая линия регрессии систематически занижает расчетные величины моделируемого признака по сравнению с фактическими. Однако расчет параметров логарифмической функции по критерию (3) с использованием обычного метода решения системы уравнений в частных производных невозможен. Продифференцируем следующую форму по «а и и [c.84]

Каковы предпосылки о свойствах отклонений зависимой переменной от теоретической линии регрессии [c.311]

После определения указанных величин получается уравнение парной зависимости, графическое изображение которого в осях координат называется теоретической линией регрессии. Если на такое поле нанести все замеры, а не только теоретическую линию регрессии, то мы получим поле корреляции. [c.122]

В условных координатах уравнение теоретической линии регрессии имеет вид [c.145]

В нормальных (действительных) координатах уравнение теоретической линии регрессии Р от См примет следующий вид [c.145]

По аналогии с приведенным расчетом можно определить теоретические линии регрессии для всех названных выше зависимостей. Результаты вычислений систематизированы в табл. 38. [c.146]

Уравнения теоретическом линии регрессии [c.146]

Полученные уравнения теоретической линии регрессии могут быть использованы для целей планирования. Так, уравнения [1031, [104], [105] показывают, па сколько нужно увеличить среднегодовую численность рабочих в трестах, ведущих в основном промышленное строительство, в связи с увеличением парка строительных машин, ростом объемов работ. [c.147]

Для оценки точности уравнения связи рассчитывается средняя ошибка аппроксимации. Чем меньше теоретическая линия регрессии (рассчитанная по уравнению) отклоняется от фактической (эмпирической), тем меньше ее величина. А это свидетельствует о правильности подбора формы уравнения связи. В нашем примере она составляет 0,0364, или 3,64 %. Учитывая, что в экономических расчетах допускаемая погрешность находится в пределах 5—8 %, можно сделать вы- [c.47]

Значение функции У = а0 + а,Х называется расчетным значением и на графике образует теоретическую линию регрессии. [c.134]

Аналитическое выравнивание временных рядов аналогично определению теоретической линии регрессии в корреляционном анализе. Первая задача состоит в выборе типа кривой многочлены, дробно-рациональные функции, экспоненты, логистические кривые и др. Вид кривых предпочтительно определить из теоретических соображений внутренней логики процесса и его связей с окружающим миром. Помогает также анализ конечных разностей и их относительных значений [77, с. 266]. При выравнивании многочленами полезно предварительное вычисление конечных разностей порядок многочлена равен наивысшему порядку ненулевых разностей. На приемлемость экспоненциальной аппроксимации указывает близкая к линейной зависимость от времени логарифмов исходных данных. [c.124]

Чем меньше теоретическая линия регрессии (рассчитанная по уравнению) отклоняется от фактической (эмпирической), тем меньше средняя ошибка аппроксимации, а это свидетельствует о правильности подбора формы уравнения связи. В нашем примере она составляет 0,0364, или 3,64%. Учитывая, что в экономических расчетах допускается погрешность 5—8%, можно сделать вывод, что данное уравнение связи довольно точно описывает изучаемые зависимости. С такой же небольшой погрешностью будет делаться и прогноз уровня рентабельности по данному уравнению. [c.144]

Тип кривой выбирается на основе сочетания теоретического анализа и исследования исходных эмпирических данных. Теоретический анализ наряду с обычными логическими сопоставлениями известных научных понятий включает опыт предыдущих исследований, экспертные оценки специалистов. Эмпирический путь заключается в изучении имеющихся исходных данных посредством построения корреляционных полей и эмпирических линий регрессии, а также анализа параллельных рядов, в результате которого исследуются разности между парами значений признаков (увеличивающиеся и уменьшающиеся абсолютные разности, постоянные и изменяющиеся относительные роста и т.д.). Изучение эмпирического материала показывает наличие или отсутствие связи, ориентирует ее направление и форму. Так, если результативный признак по сравнению с факторным увеличивается с одинаковой скоростью — связь прямолинейная, одинаковым темпом — связь экспоненциальная и т.п. [c.320]

Уравнение вида ух = а + b х позволяет по заданным значениям фактора х иметь теоретические значения результативного признака, подставляя в него фактические значения факторах. На графике теоретические значения представляют линию регрессии (рис. 2.2). [c.41]

Для изображения теоретической линии мы избрали в нашем примере линейную форму связи. Оправдано ли это Эмпирическая линия регрессии, как видно из графика, довольно значительно отличается от прямой. Действительно, она имеет, по крайней мере, две точки перегиба по обе стороны от возраста в 37 лет. На этот возраст приходится в среднем меньший по сравнению с другими трудовой стаж. Он равен округленно 11 годам. Единственным оправдывающим такое понижение может быть предположение о том, что в 1947—1949 гг. в строительство был довольно большой наплыв рабочих, ранее не работавших на производстве. [c.68]

У) — значения признака по линии регрессии — теоретические значения [c.422]

Трендовый анализ носит перспективный, прогнозный характер, поскольку позволяет на основе изучения закономерности изменения экономического показателя в прошлом за-прогнозировать величину показателя на перспективу. Для этого рассчитывается уравнение регрессии, где в качестве переменной выступает анализируемый показатель, а в качестве фактора, под влиянием которого изменяется переменная, — временной интервал (годы, месяцы и т.д.). Уравнение регрессии дает возможность построить линию, отражающую теоретическую динамику анализируемого показателя рентабельности. Подставив в полученное уравнение регрессии порядковый номер планируемого года, рассчитывают прогнозное значение показателя. [c.73]

Процесс нахождения теоретической линии регрессии представляет собой выравнивание эмпирической линии регрессии на основе меюда наименьших квадратов. [c.77]

На рис. 11 изображены эмпирическая и теоретическая линии регрессии. Даже по виду эмпирической линии регрес- [c.70]

Показатель бета отдельного актива, pf = Mf /aM, представляет собой характеристику актива, общую для всех инвесторов. Бета актива измеряет степень взаимосвязанности доходности актива и доходности рыночного портфеля. Бета актива, фактически, представляет собой наклон теоретической линии регрессии доходности актива по доходности рыночного портфеля (отсюда и название). [c.284]

Если уравнение регрессии проходит через все точки корреляционного поля, что возможно только при функциональной свв-зи, когда все точки лежат на линии регрессии ух =5 ДчО ТО фактические значения результативного признака совпадают с теоретическими у = ух, т. е. они полностью обусловлены влиянием факторах. В этом случаеостаточная дисперсия Вост — 0. Впрйктичёб-ких исследованиях, как правило, имеет место некоторое рЙссея-ние точек относительно линии регрессии. Оно обусловлено влиянием прочих не учитываемых в уравнении регрессии факторов. Иными словами, имеют место отклонения фактических данных от теоретических (у — ух). Величина этих отклонений и лежит в основе расчета остаточной дисперсии [c.40]

Классический эвристический подход представлен методом управляющих коэффициентов Боумана. Этот уникальный подход создает формализованную модель принятия решений на основе опыта и интуиции менеджера. Теоретически принимается, что прошлые представления менеджера достаточно адекватны, и они могут быть использованы как базис для будущих решений. Проводится регрессионный анализ решений прошлого периода, принятых менеджером, и прогнозируется будущее решение. Линия регрессии обеспечивает связь между переменными (скажем, спросом и трудом) для будущих периодов. [c.537]

Пусть на первом этапе оценена линейная регрессионная модель с помощью обычного МНК. Предположим, что остатки et независимы между собой, но имеют разные дисперсии (поскольку теоретические отклонения et нельзя рассчитать, их обычно заменяют на фактические отклонения зависимой переменной от линии регрессии et, для которых формулируются те же исходные требования, что и для е). В этом случае квадратную матрицу ковариаций ov(eitej можно представить в виде [c.354]

Реферат: Уравнение регрессии

ВВЕДЕНИЕ

Изучение корреляционных зависимостей основывается на исследовании таких связей между переменными, при которых значения одной переменной, ее можно принять за зависимую переменную, «в среднем» изменяются в зависимости от того, какие значения принимает другая переменная, рассматриваемая как причина по отношению к зависимой переменной. Действие данной причины осуществляется в условиях сложного взаимодействия различных факторов, вследствие чего проявление закономерности затемняется влиянием случайностей. Вычисляя средние значения результативного признака для данной группы значений признака-фактора, отчасти элиминируется влияние случайностей. Вычисляя параметры теоретической линии связи, производится дальнейшее их элиминирование и получается однозначное (по форме) изменение «y» с изменением фактора «x».

Для исследования стохастических связей широко используется метод сопоставления двух параллельных рядов, метод аналитических группировок, корреляционный анализ, регрессионный анализ и некоторые непараметрические методы. В общем виде задача статистики в области изучения взаимосвязей состоит не только в количественной оценке их наличия, направления и силы связи, но и в определении формы (аналитического выражения) влияния факторных признаков на результативный. Для ее решения применяют методы корреляционного и регрессионного анализа.

ГЛАВА 1. УРАВНЕНИЕ РЕГРЕССИИ: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ

1.1. Уравнение регрессии: сущность и типы функций

Регрессия (лат. regressio- обратное движение, переход от более сложных форм развития к менее сложным) — одно из основных понятий в теории вероятности и математической статистике, выражающее зависимость среднего значения случайной величины от значений другой случайной величины или нескольких случайных величин. Это понятие введено Фрэнсисом Гальтоном в 1886. [9]

Теоретическая линия регрессии — это та линия, вокруг которой группируются точки корреляционного поля и которая указывает основное направление, основную тенденцию связи. [2, с.256]

Теоретическая линия регрессии должна отображать изменение средних величин результативного признака «y» по мере изменения величин факторного признака «x» при условии полного взаимопогашения всех прочих – случайных по отношению к фактору «x» — причин. Следовательно, эта линия должна быть проведена так, чтобы сумма отклонений точек поля корреляции от соответствующих точек теоретической линии регрессии равнялась нулю, а сумма квадратов этих отклонений была ба минимальной величиной.

y=f(x) — уравнение регрессии — это формула статистической связи между переменными.

Прямая линия на плоскости (в пространстве двух измерений) задается уравнением y=a+b*х. Более подробно: переменная y может быть выражена через константу (a) и угловой коэффициент (b), умноженный на переменную x. Константу иногда называют также свободным членом, а угловой коэффициент — регрессионным или B-коэффициентом. [8]

Важным этапом регрессионного анализа является определение типа функции, с помощью которой характеризуется зависимость между признаками. Главным основанием должен служить содержательный анализ природы изучаемой зависимости, ее механизма. Вместе с тем теоретически обосновать форму связи каждого из факторов с результативным показателем можно далеко не всегда, поскольку исследуемые социально-экономические явления очень сложны и факторы, формирующие их уровень, тесно переплетаются и взаимодействуют друг с другом. Поэтому на основе теоретического анализа нередко могут быть сделаны самые общие выводы относительно направления связи, возможности его изменения в исследуемой совокупности, правомерности использования линейной зависимости, возможного наличия экстремальных значений и т.п. Необходимым дополнением такого рода предположений должен быть анализ конкретных фактических данных.

Приблизительно представление о линии связи можно получить на основе эмпирической линии регрессии. Эмпирическая линия регрессии обычно является ломанной линией, имеет более или менее значительный излом. Объясняется это тем, что влияние прочих неучтенных факторов, оказывающих воздействие на вариацию результативного признака, в средних погашается неполностью, в силу недостаточно большого количества наблюдений, поэтому эмпирической линией связи для выбора и обоснования типа теоретической кривой можно воспользоваться при условии, что число наблюдений будет достаточно велико. [2, с.257]

Одним из элементов конкретных исследований является сопоставление различных уравнений зависимости, основанное на использовании критериев качества аппроксимации эмпирических данных конкурирующими вариантами моделей Наиболее часто для характеристики связей экономических показателей используют следующие типы функций:

1. Линейная:

2. Гиперболическая:

4. Параболическая:

5. Степенная:

6. Логарифмическая:

7. Логистическая: [2, c.258]

Модель с одной объясняющей и одной объясняемой переменными – модель парной регрессии. Если объясняющих (факторных) переменных используется две или более, то говорят об использовании модели множественной регрессии. При этом, в качестве вариантов могут быть выбраны линейная, экспоненциальная, гиперболическая, показательная и другие виды функций, связывающие эти переменные.

Для нахождения параметров а и b уравнения регрессии используют метод наименьших квадратов. При применении метода наименьших квадратов для нахождения такой функции, которая наилучшим образом соответствует эмпирическим данным, считается, что сумка квадратов отклонений эмпирических точек от теоретической линии регрессии должна быть величиной минимальной.

Критерий метода наименьших квадратов можно записать таким образом:

Следовательно, применение метода наименьших квадратов для определения параметров a и b прямой, наиболее соответствующей эмпирическим данным, сводится к задаче на экстремум. [2, c.258]

Относительно оценок можно сделать следующие выводы:

1. Оценки метода наименьших квадратов являются функциями выборки, что позволяет их легко рассчитывать.

2. Оценки метода наименьших квадратов являются точечными оценками теоретических коэффициентов регрессии.

3. Эмпирическая прямая регрессии обязательно проходит через точку x, y.

4. Эмпирическое уравнение регрессии построено таким образом, что сумма отклонений .

Графическое изображение эмпирической и теоретической линии связи представлено на рисунке 1.

Параметр b в уравнении – это коэффициент регрессии. При наличии прямой корреляционной зависимости коэффициент регрессии имеет положительное значение, а в случае обратной зависимости коэффициент регрессии – отрицательный. Коэффициент регрессии показывает на сколько в среднем изменяется величина результативного признака «y» при изменении факторного признака «x» на единицу. Геометрически коэффициент регрессии представляет собой наклон прямой линии, изображающей уравнение корреляционной зависимости, относительно оси «x» (для уравнения ).

Раздел многомерного статистического анализа, посвященный восстановлению зависимостей, называется регрессионным анализом. Термин «линейный регрессионный анализ» используют, когда рассматриваемая функция линейно зависит от оцениваемых параметров (от независимых переменных зависимость может быть произвольной). Теория оценивания

неизвестных параметров хорошо развита именно в случае линейного регрессионного анализа. Если же линейности нет и нельзя перейти к линейной задаче, то, как правило, хороших свойств от оценок ожидать не приходится. Продемонстрируем подходы в случае зависимостей различного вида. Если зависимость имеет вид многочлена (полинома). Если расчёт корреляции характеризует силу связи между двумя переменными, то регрессионный анализ служит для определения вида этой связи и дает возможность для прогнозирования значения одной (зависимой) переменной отталкиваясь от значения другой (независимой) переменной. Для проведения линейного регрессионного анализа зависимая переменная должна иметь интервальную (или порядковую) шкалу. В то же время, бинарная логистическая регрессия выявляет зависимость дихотомической переменной от некой другой переменной, относящейся к любой шкале. Те же условия применения справедливы и для пробит-анализа. Если зависимая переменная является категориальной, но имеет более двух категорий, то здесь подходящим методом будет мультиномиальная логистическая регрессия можно анализировать и нелинейные связи между переменными, которые относятся к интервальной шкале. Для этого предназначен метод нелинейной регрессии. [10]

ГЛАВА 2 . МОДЕЛИ РЕГРЕССИИ

2.1. Парная линейная регрессия

Можно выделить три основных класса моделей, которые применяются для анализа и прогнозирования экономических процессов:

1. модели временных рядов,

2. регрессионные модели с одним уравнением,

3. системы одновременных уравнений.

Модель с одной объясняющей и одной объясняемой переменными – модель парной регрессии. Если объясняющих (факторных) переменных используется две или более, то говорят об использовании модели множественной регрессии. При этом, в качестве вариантов могут быть выбраны линейная, экспоненциальная, гиперболическая, показательная и другие виды функций, связывающие эти переменные.

Линейная регрессия представляет собой линейную функцию между условным математическим ожиданием зависимой переменной Y и одной объясняющей переменной X:

,

где — значения независимой переменной в i-ом наблюбдении, i=1,2,…,n. Принципиальной является линейность уравнения по параметрам , . Так как каждое индивидуальное значение отклоняется от соответствующего условного математического ожидания, тогда вданную формулу необходимо ввести случайное слагаемое , тогда получим:

Данное соотношение называется теоретической линейной регрессионной моделью, а и — теоретическими параметрами (теоретическими коэффициентами) регрессии, — случайным отклонением. Следовательно, индивидуальные значения представляются в виде суммы двух компонент – систематической и случайной [12]

Для определения значений теоретических коэффициентов регрессии необходимо знать и использовать все значения переменных Xи Y генеральной совокупности, что невозможно. задачи регрессионного линейного анализа состоят в том, чтобы по имеющимся статистическим данным (), i=1,…,nдля переменных Xи Y:

1. получить наилучшие оценки неизвестных параметров и ;

2. проверить статистические гипотезы о параметрах модели;

3. проверить, достаточно ли хорошо модель согласуется со статистическими данными.

Парная линейная регрессия — это причинная модель статистической связи линейной между двумя количественными переменными «x» и «у», представленная уравнением , где х — переменная независимая, y — переменная зависимая. Коэффициент регрессии «b» и свободный член уравнения регрессии «a» вычисляются по формулам:

,

где r — коэффициент линейной корреляции Пирсона для переменных x и y; s_x и s_y — стандартные отклонения для переменных x и y; x,y — средние арифметические для переменных x и y.