Уравнение линеаризации нелинейных регрессионных моделей как один

Линеаризация нелинейных моделей регрессии

Вы будете перенаправлены на Автор24

Понятие регрессии

Регрессия – это односторонняя зависимость, которая устанавливает соответствие между случайными величинам.

Сущность регрессии заключается в том, чтобы через математическое выражение установить связь между зависимой и независимыми переменными. Ее отличительной особенностью от функциональной зависимости является тот факт, что каждому значению независимой соответствует одно определенное значение зависимой. В регрессионной связи одной и той же величине могут соответствовать абсолютно разные величины.

Впервые регрессию стали использовать в конце девятнадцатого века. Она была применена для установления зависимости между параметрами человека. Регрессию смогли перенести на плоскость. Точки легли на одну прямую, поэтому ее назвали линейной.

Построение линейной регрессии подразумевает, что ошибок в ней нет. Тогда распределение величин происходит под влиянием нормального закона. То есть, среднее значение равно нулю, а отклонение постоянно.

Чтобы вычислить параметры модели часто применяют программное обеспечение. Оно позволяет обрабатывать большие массивы информации с минимальными ошибками. Существуют специальные методы, позволяющие проверить величину отклонения. Ошибки необходимы для того, чтобы находить доверительные интервалы и проверять выдвинутые в начале исследования гипотезы. Например, в статистике используется критерий Стьюдента, позволяющий сопоставить средние значения двух выборок.

Самое простое представление регрессии состоит из зависимости между соотношениями случайной и независимой величины. Этот подход необходим для установления функциональной связи, если величины не случайны. В практической деятельности коэффициенты неизвестны, поэтому их исследуют с помощью экспериментальных данных.

Нелинейные модели регрессии

Построение нелинейной регрессии осуществляется для того, чтобы провести анализ. В нем экспериментальные данные записываются в функциональную зависимость, описывающей нелинейную комбинацию, представляющую модель, которая зависит от одной или нескольких переменных. Чтобы приблизить полученные данные к практическим величинам используется метод последовательных приближений.

Готовые работы на аналогичную тему

Этот метод заключается в следующем. Исследователем определяются корни уравнения или системы уравнений для того, чтобы упростить решаемую задачу, либо определить неизвестные параметры.

Структура нелинейной регрессии состоит из независимых и зависимых переменных. Для каждой переменной устанавливается случайная величина со средним значением. Погрешность может появиться, но есть ее обрабатывать, то она выйдет за пределы модели. В случае, если переменные не свободны, то модель становится ошибочной, поэтому для исследования становится непригодной.

Вот некоторые примеры нелинейных функций:

• Показательные.
• Логарифмические.
• Тригонометрические.
• Степенные.
• Функция Гаусса.
• Кривые Лоуренца.

В некоторых случаях регрессионный анализ может быть сведен к линейному, но данный способ должен применяться с осторожностью. Чтобы получить наилучший вариант расчета применяются оптимизационные алгоритмы. На практике могут применяться оценочные значения совместно с методиками оптимизации. В результате надо найти глобальный минимум суммы квадратов.

Нелинейная регрессия чаще всего применяется, как статистика линейной. Это позволяет сместить статистику, поэтому полученные данные интерпретируются с осторожностью.

Линеаризация нелинейных моделей регрессии

Линеаризация – это преобразование. Оно осуществляется для того, чтобы упростить определенные модели и вычисления. Например, применение логарифма к обеим частям линейной регрессии позволяет оценить неизвестные параметры более простым способом.

Но использование нелинейного изменения уравнения требует осторожности. Это связано с тем, что данные будут изменяться. Поэтому появятся ошибки модели. Их интерпретация может привести к ошибочному суждению о гипотезе. Обычно в нелинейных уравнениях используется модель Гаусса для исследования ошибок, что необходимо учитывать при проверке.

В которых случаях применяется уравнение Лайнуивер – Берк, либо обобщенная линейная модель.

Чтобы уточнить построенную модель и снизить вероятность ошибок, независимая переменная разбивается на классы. Вследствие этого линейная регрессия разбивается посегментно. Она может дать результат, в котором будет видно, как ведет себя параметр в зависимом положении. Отображение изменений производится графически.

То есть сущность линеаризации заключается в том, что исследователь применяет особые методики для того, чтобы провести преобразования исходных данных. Это позволяет исследовать нелинейную зависимость. Переменные нелинейного уравнения преобразуются с помощью специальных методик в линейные. Это может привести к ошибкам, что необходимо учитывать в процессе преобразования уравнения. Метод может быть опасным, так как влияет на результат вычислений.

Сущность метода заключается в том, что нелинейные переменные заменяются линейными. Регрессия сводится к линейной. Такой подход часто используется для полиномов. Далее применяются известные и простые оценки исследования линейных регрессии. Но изменение полиномов должно так же проводиться с осторожностью. Чем выше порядок полинома, тем сложнее удержаться в рамках реалистичной интерпретации коэффициентов регрессии.

В логарифмических моделях составляется линейная модель с новыми переменными. Оценка результата происходит с помощью метода наименьших квадратов. Эта методика подходит для исследования кривых спроса и предложения, производственных функций, кривых освоения связи между трудоемкостью и производственными масштабами. Такой подход актуален при запуске новых видов продукции.

Тема 11. Нелинейные регрессии и их линеаризация

Аннотация.Данная тема раскрывает особенности построения нелинейных моделей регрессии.

Ключевые слова.Нелинейная регрессия, индекс корреляции, коэффициент эластичности, подход Бокса-Кокса.

Методические рекомендации по изучению темы

· Тема содержит лекционную часть, где даются общие представления по теме.

· В качестве самостоятельной работы предлагается ознакомиться с решениями типовых задач, выполнить практические задания и ответить на вопросы для самоконтроля.

· Для проверки усвоения темы имеется тест для самоконтроля.

· Для подготовки к экзамену имеется контрольный тест.

Рекомендуемые информационные ресурсы:

2. Эконометрика: [Электронный ресурс] Учеб. пособие / А.И. Новиков. — 3-e изд., испр. и доп. — М.: ИНФРА-М, 2014. — 272 с.: (http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=1#none) С. 41-45.

3.Уткин, В. Б. Эконометрика [Электронный ресурс] : Учебник / В. Б. Уткин; Под ред. проф. В. Б. Уткина. — 2-е изд. — М.: Издательско-торговая корпорация «Дашков и К°», 2012. — 564 с.

(http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=4#none) С. 383-399.

4. Эконометрика. Практикум: [Электронный ресурс] Учебное пособие / С.А. Бородич. — М.: НИЦ ИНФРА-М; Мн.: Нов. знание, 2014. — 329 с. (http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=4#none) С.172-174.

Глоссарий

Бокса-Кокса подход – способ подбора линеаризующего преобразования.

Индекс корреляции—показатель корреляции, который определяется для нелинейных регрессий.

Коэффициент эластичности показывает, на сколько процентов изменится результативный признак Y, если факторный признак изменится на 1 процент.

Линеаризация нелинейных моделей – процедура, которая заключается в преобразовании или переменных, или параметров модели, или в комбинации этих преобразований.

Нелинейная модель, внутренне линейная, с помощью преобразований может быть приведена к линейному виду.

Нелинейная модель, внутренне нелинейная, не может быть сведена к линейной функции.

Вопросы для изучения

1. Классы и виды нелинейных регрессий.

2. Линеаризация нелинейных моделей. Выбор формы модели.

3. Индекс корреляции. Подбор линеаризующего преобразования (подход Бокса-Кокса).

Классы и виды нелинейных регрессий. Различают два класса нелинейных регрессий: регрессии, нелинейные относительно включенных в анализ объясняющих переменных; регрессии, нелинейные по оцениваемым параметрам. Нелинейная модель, внутренне линейная, с помощью преобразований может быть приведена к линейному виду. Нелинейная модель, внутренне нелинейная, не может быть сведена к линейной функции. При анализе нелинейных регрессионных зависимостей наиболее важным вопросом применения классического МНК является способ их линеаризации.

Линеаризация нелинейных моделей. Выбор формы модели. В нелинейных зависимостях, не являющихся классическими полиномами, обязательно проводится предварительная линеаризация, которая заключается в преобразовании или переменных, или параметров модели, или в комбинации этих преобразований. Рассмотрим некоторые классы таких зависимостей.

Рис. 11.1. Способы линеаризации

Замена переменных заключается в замене нелинейных объясняющих переменных новыми линейными переменными и сведении нелинейной регрессии к линейной. Логарифмирование обеих частей уравнения применяется обычно, когда мультипликативную модель необходимо привести к линейному виду. К классу степенных функций относятся: кривые спроса и предложения, производственная функция Кобба-Дугласа, кривые освоения для характеристики связи между трудоемкостью продукции и масштабами производства в период освоения и выпуска нового вида изделий, зависимость валового национального дохода от уровня занятости.

Индекс корреляции. Подбор линеаризующего преобразования (подход Бокса-Кокса). Любое уравнение нелинейной регрессии, как и линейной зависимости, дополняется показателем корреляции, который в данном случае называется индексом корреляции:

Здесь — общая дисперсия результативного признака y, — остаточная дисперсия, определяемая по уравнению нелинейной регрессии . По-другому можно записать так:

Следует обратить внимание на то, что разности в соответствующих суммах и берутся не в преобразованных, а в исходных значениях результативного признака. Иначе говоря, при вычислении этих сумм следует использовать не преобразованные (линеаризованные) зависимости, а именно исходные нелинейные уравнения регрессии. Величина R находится в границах , и чем ближе она к единице, тем теснее связь рассматриваемых признаков, тем более надежно найденное уравнение регрессии.

Если разные модели используют разные функциональные формы для зависимой переменной, то проблема выбора модели становится более сложной, так как нельзя непосредственно сравнивать коэффициенты R 2 или суммы квадратов отклонений. Например, нельзя сравнивать эти статистики для линейного и логарифмического вариантов. Пусть в линейной модели в качестве зависимой переменной используется заработок, а в нелинейной – логарифм заработка. Тогда R 2 в одном уравнении измеряет объясненную регрессией долю дисперсии заработка, а в другом — объясненную регрессией долю дисперсии логарифма заработка. В случае, если значения R 2 для двух моделей близки друг к другу, проблема выбора усложняется. Здесь следует использовать тест Бокса – Кокса. При сравнении моделей с использованием в качестве зависимой переменной y и lny проводится такое преобразование масштаба наблюдений y, при котором можно непосредственно сравнивать суммы квадратов отклонений в линейной и логарифмической моделях. Здесь выполняются следующие шаги. Вычисляется среднее геометрическое значений y в выборке. Оно совпадает с экспонентой среднего арифметического логарифмов y. Все значения y пересчитываются делением на среднее геометрическое, получаем значения y*. Оцениваются две регрессии: для линейной модели с использованием y* в качестве зависимой переменной и для логарифмической модели с использованием ln y* вместо ln y. Во всех других отношениях модели должны оставаться неизменными. Теперь значения СКО для двух регрессий сравнимы, и модель с меньшей остаточной СКО обеспечивает лучшее соответствие исходным данным. Для проверки, обеспечивает ли одна из моделей значимо лучшее соответствие, можно вычислить величину (n/2)lnz, где z – отношение значений остаточной СКО в перечисленных регрессиях. Эта статистика имеет распределение хи – квадрат с одной степенью свободы. Если она превышает критическое значение при выбранном уровне значимости α, то делается вывод о наличии значимой разницы в качестве оценивания.

Величина коэффициента эластичности показывает, на сколько процентов изменится результативный признак Y, если факторный признак изменится на 1 %:

В заключение приведем формулы расчета коэффициентов эластичности для наиболее распространенных уравнений регрессии:

Вид уравнения регрессии	Коэффициент эластичности

Вопросы и задания для самоконтроля

1. Какие модели являются нелинейными относительно: а) включаемых переменных; б) оцениваемых параметров?

2. Какие преобразования используются для линеаризации нелинейных моделей?

3. Чем отличается применение МНК к моделям, нелинейным относительно включаемых переменных, от применения к моделям, нелинейным по оцениваемым параметрам?

4. Как определяются коэффициенты эластичности по разным видам регрессионных моделей?

5. Какие показатели корреляции используются при нелинейных соотношениях рассматриваемых признаков?

6. В каких случаях используют обратные и степенные модели?

Задача 1.По группе предприятий, производящих однородную продукцию известно, как зависит себестоимость единицы продукции (Y) от факторов, приведенных в таблице:

Признак-фактор	Уравнение парной регрессии	Среднее значение фактора
Объем производства, млн. руб.
Трудоемкость единицы продукции, чел/час
Оптовая цена за 1т энергоносителя, , млн. руб.
Доля прибыли, изымаемая государством, ,%

1) определить с помощью коэффициентов эластичности силу влияния каждого фактора на результат;

2) ранжировать факторы по силе влияния на результат.

Задача 2. По группе из 10 заводов, производящих однородную продукцию, получено уравнение регрессии себестоимости единицы продукции (тыс. руб) от уровня технической оснащенности (тыс. руб.)

.

Доля остаточной дисперсии в общей составила 0,19.

1) определить коэффициент эластичности, предполагая, что стоимость активных производственных фондов составляет 200 тыс. руб.;

2) вычислить индекс корреляции;

3) оценить значимость уравнения регрессии с помощью критерия.

Эконометрика

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

ВСЕРОССИЙСКИЙ ЗАОЧНЫЙ ФИНАНСОВО-ЭКОНОМИЧЕСКИЙ

Кафедра экономико-метематических моделей

Тема 4. Множественная регрессия.

Вопросы

1. Нелинейная регрессия. Нелинейные модели и их линеаризация.

Нелинейная регрессия

При рассмотрении зависимости экономических показателей на основе реальных статистических данных с использованием аппарата теории вероятности и математической статистики можно сделать выводы, что линейные зависимости встречаются не так часто. Линейные зависимости рассматриваются лишь как частный случай для удобства и наглядности рассмотрения протекаемого экономического процесса. Чаще встречаются модели которые отражают экономические процессы в виде нелинейной зависимости.

Если между экономическими явлениями существуют не­линейные соотношения, то они выражаются с помощью со­ответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

регрессии, нелинейные относительно включенных в анализ объясняющих пе­ременных, но линейные по оцениваемым параметрам: регрессии, нелинейные по оцениваемым параметрам.

Нелинейные регрессии по включаемым в нее объясня­ющим переменным, но линейные по оцениваемым пара­метрам

Данный класс нелинейных регрессий включает уравне­ния, в которых зависимая переменная линейно связана с параметрами. Примером могут служить:

полиномы разных степеней

(полином k-й степени)

и равносторонняя гипербола

.

При оценке параметров регрессий нелинейных по объясняю­щим переменным используется подход, именуе­мый «замена переменных». Суть его состоит в замене «нели­нейных» объясняющих переменных новыми «линейными» переменными и сведение нелинейной регрессии к линейной регрессии. К новой «преобразованной» регрессии может быть приме­нен обычный метод наименьших квадратов (МНК).

Полином любого порядка сводится к ли­нейной регрессии с ее методами оценивания параметров и проверки гипотез.

Среди нелинейной полиноминальной регрессии чаще всего используется парабола второй степени; в отдельных случаях — полином третьего порядка. Ограничение в ис­пользовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и, соответственно, менее однородна совокупность по резуль­тативному признаку.

Равносторонняя ги­пербола, для оценки параметров которой используется тот же подход «замены переменных» (1/x заменяют на переменную z) хорошо известна в эконометрике.

Она может быть использована, например, для характеристики связи удельных расходов сы­рья, материалов и топлива с объемом выпускаемой продукции. Также примером использования равносторонней ги­перболы являются кривые Филлипса и Энгеля..

Регрессии нелинейные по оцениваемым параметрам

К данному классу регрессий относятся уравнения, в которых зависимая переменная нелинейно связана с параметрами. Примером таких нелинейных регрессий являются функции:

• степенная — ;

• показательная — ;

• экспоненциальная —

Если нелинейная модель внутренне линейна, то она с по­мощью соответствующих преобразований может быть при­ведена к линейному виду (например, логарифмированием и заменой переменных). Если же нелинейная модель внут­ренне нелинейна, то она не может быть сведена к линейной функции и для оценки её параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особен­ностей применяемого итеративного подхода.

Примером нелинейной по параметрам регрессии внут­ренне линейной является степенная функция, которая ши­роко используется в эконометрических исследованиях при изучении спроса от цен: , где у — спрашиваемое количество; х — цена;

Данная модель нелинейна относительно оцениваемых параметров, т. к. включает параметры а и b неаддитивно. Однако ее можно считать внутренне линейной, ибо логариф­мирование данного уравнения по основанию е приводит его к линейному виду . Заменив пе­ременные и параметры, получим линейную регрессию, оцен­ки параметров которой а и b могут быть найдены МНК.

Ши­рокое использование степенной функции связано это с тем, что параметр b в ней имеет четкое экономическое истолко­вание, т. е. он является коэффициентом эластичности. Это значит, что величина коэффициента b показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1 %.

Коэффициент эластичности можно определять и при наличии других форм связи, но только для степенной функ­ции он представляет собой постоянную величину, равную па­раметру b.

По семи предприятиям легкой промышленности региона получена информация, характеризующая зависимость объема выпуска продукции (Y, млн. руб.) от объема капиталовложений ( Х, млн. руб. ).