Путем замены переменных может быть линеаризовано уравнение

Суть и способы линеаризации нелинейных динамических систем

Линеаразиция — один из наиболее распространенных методов анализа нелинейных систем. Идея линеаризации — использование линейной системы для аппроксимации поведения решений нелинейной системы в окрестности точки равновесия.

Линеаризация позволяет выявить большинство качественных и особенно количественных свойств нелинейной системы.

Методы линеаризации имеют ограниченный характер, то есть эквивалентность исходной нелинейной системы и ее линейного приближения сохраняется лишь для ограниченных пространственных или временных масштабов системы, или для определенных процессов, причем, если система переходит из одного режима работы в другой, то следует изменить и ее линеаризованную модель.

Линеаризация нелинейных динамических систем методом замены переменных

Линеаризация системы нелинейных уравнений в окрестности точки равновесия может быть достигнута путем замены переменных так, чтобы точка равновесия превратилась в начало координат.

Уравнения, полученные в результате указанного действия, будут линейными и называться линеаризацией исходной системы. Точки исходной системы, находящиеся в окрестности точки равновесия, будут соответствовать точкам в окрестности начала координат новой системы. Нас будет интересовать:

1. значение новых переменных, близкие к нулю;
2. при каких условиях нелинейными выражениями можно пренебречь.

Рассмотрим нелинейную систему: (1) что имеет точки равновесия (p, q). Преобразование u=x-p v=y-q переводит точки равновесия p, q в начало координат. Дифференцирование дает: (2) После замены переменных, подставив их новые значения в каждое уравнение, выделим линейную часть: где F(u,v) и G(u,v) и состоят только из нелинейных выражений. Говорят, что линейная система есть линерализацией системы (1) при таких условиях: Эти последние условия обеспечивают то, что нелинейные выражения F(u,v) и G(u,v) на столько малы по сравнению с u и v при приближении к точке равновесия, что ими можно пренебречь.

Линеаризация на основе якобиана

Замену переменных можно использовать и при другой организации линеаризации. Производят замену: где Это может быть записано в виде: где называется якобиан.

Линеаризация уравнения регрессии путем замены переменных

Многие эк-ие явления более лучшим способом, чем лин-ые уравнения, описываются нелин-ми уравнениями. И в этом случае мы не можем применить к ним обычный МНК, и используем станд-ые подходы к оценке стат. надежности. В связи с этим встает задача по возможности привести нелин-ое уравнение к лин-му виду. В тех случаях, когда нелин-ть касается факториальных переменных, но не связана с нелин-тью коэф-ов ур-ия регрессии, нелин-сть обычно устраняется путем замены переменных:

Вводим нов. перемен.: и

След-но , т. е. лин-ое ур-ие.

Во всех случаях, когда можно вычислить нов. перем-ую с использованием инф-ии об исход. перм-ой до опред-ия пар-ов ур-ия регрессии. Метод замены пер-ых решает поставл. задачи линеализацией ур-ия регрессии.

Линеаризация уравнения регрессии с использованием логарфмического преобразования (степенные и показательные функции).

В тех случаях, когда связь между фактор-ми перем-ми и результ-им приз-ом имеет вид степенного ур-ия (мультиколлин-ая функция) линеализация произв-ся путем логарифмирования исх. ур-ия.

Представление случайного члена в преобразованных нелинейных ур-ях регрессии.

(1)

(2)

Если в (1) удовл-ет четырем условиям случайности, т. е. мат. ожид-е =0, независимо др. от друга, то случ. Составляющая во (2) также будет удовл-ть этим усл-ям, и найденные из (2) с пом. МНК оценки параметров будут несмещ-ми, состоят-ми и эффектив-ми оценками. Если будем иметь ур-ие вида: (3) , то случ. состав-ая должна входить как сомножитель.

(4)

Четырем усл-ям случайности должен удовл-ть lnδ_i, а само δ_i подчин.др. законам. Н-р,

В получаемые с пом. МНК оценки состоятельные и эфектив-ые для ур-ия (4) и все стат. критерии справедливы для лин-го аддитивного ур-ия (4).

Определение параметров нелин-го ур-ия герессии, не приводимого к лин-му ур-ию.

Возьмем ур-ие: .Данное ур-ие не м. б. приведено к лин-му путем замены переменных или логарифмированием. Для оценки парам-ов данного ур-ия также используем метод минимизации суммы квадратов отклонений. Алгоритм нах-ия парам-ов α и b представим в виде послед-ти процедур:

1) примем некоторые правдоподобные исходн. знач-я α и b (α =1÷10, b = 0 ÷ 1,α 0 =1,b=0,5)

2) исп-уя эти знач-я, найдем теоретич. знач-я и вычислим

3) вычислим

4)сделаем небольшой шаг по параметру α: Δ α =1+0,1= 1,1 и снова найдем величину μ (2) . Если μ (2) (1) , то шаг сделан в правильном направлении.

5) продолжаем увелич-ть α в дан. напр-ии по шагам до тех пор, пока μ не начнет расти.

6) аналогич-ую процедуру проводим с параметром b фиксиров. α.

7) фиксируем найденное b и снова начинаем изменять α. Процедура повтор-ся до тех пор, пока любые измен-ия α и b не будут приводиь к увнлич-ю μ.

Лекция по эконометрике. Лекция по эконометрике

Название	Лекция по эконометрике
Дата	21.06.2018
Размер	1.32 Mb.
Формат файла
Имя файла	Лекция по эконометрике.docx
Тип	Лекция #47509
страница	3 из 5

С этим файлом связано 6 файл(ов). Среди них: ЭКОНО Задача.docx, СТАТ в жив. Лекция №9.docx, Вопросы по АВтоматике.docx, ЛЕКЦИЯ СОЦ.СТАТ..doc, доступность к прдовольствию.pdf, Лекция по эконометрике.docx. Показать все связанные файлы Подборка по базе: 1. Лекция Особенности макетирования и верстки длинных документов, Медицинская статистика Лекция проф.Виноградова К.А.(1).pptx, 6 лекция Отбасы.ppt, 9-10 Лекция дуниетану.ppt, такт 5 лекция.doc, Тест к лекциям.doc, 3 лекция. куиз.docx, 3 лекция.pptx, антибиотики лекция.docx, ТПЭФМ_Практическое занятие 1_между лекциями 11 и 12.doc 3. Множественная корреляция и линейная регрессия Значения экономических переменных обычно определяется влиянием не одного, а нескольких факторов. Например, спрос на некоторое благо определяется не только ценой данного блага, но и ценами на замещающие и дополняющие блага, доходом потребителей и многими другими факторами. В этом случае вместо парной регрессии рассматривается множественная регрессия , где – зависимая переменная (результативный признак), – независимые, или объясняющие, переменные (признаки-факторы). Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целом ряде других вопросов эконометрики. В настоящее время множественная регрессия – один из наиболее распространенных методов в эконометрике. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель. 3.1 Спецификация модели. Отбор факторов при построении уравнения множественной регрессии Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность. Факторы не должны быть интеркоррелированы (интеркорреляция – корреляция между объясняющими переменными) и тем более находиться в точной функциональной связи. Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми. Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором факторов, то для нее рассчитывается показатель детерминации , который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как с соответствующей остаточной дисперсией . При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться: и. Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента. Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии. Коэффициенты интеркорреляции позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если . Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга. Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:
	1	0,8	0,7	0,6
	0,8	1	0,8	0,5
	0,7	0,8	1	0,2
	0,6	0,5	0,2	1

Очевидно, что факторы и дублируют друг друга. В анализ целесообразно включить фактор , а не , хотя корреляция с результатом слабее, чем корреляция фактора с , но зато значительно слабее межфакторная корреляция . Поэтому в данном случае в уравнение множественной регрессии включаются факторы , .

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

1. Затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл.
2. Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы были бы равны нулю. Так, для уравнения, включающего три объясняющих переменных

матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:
.
Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:
.
Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Существует ряд подходов преодоления сильной межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними.

Одним из путей учета внутренней корреляции факторов является переход к совмещенным уравнениям регрессии, т.е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если , то возможно построение следующего совмещенного уравнения:
.
Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по -критерию Фишера, но, как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми.

Отбор факторов, включаемых в регрессию, является одним из важнейших этапов практического использования методов регрессии. Подходы к отбору факторов на основе показателей корреляции могут быть разные. Они приводят построение уравнения множественной регрессии соответственно к разным методикам. В зависимости от того, какая методика построения уравнения регрессии принята, меняется алгоритм ее решения на ЭВМ.

Наиболее широкое применение получили следующие методы построения уравнения множественной регрессии:

1. Метод исключения – отсев факторов из полного его набора.
2. Метод включения – дополнительное введение фактора.
3. Шаговый регрессионный анализ – исключение ранее введенного фактора.

При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6–7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.
3.2 Метод наименьших квадратов (МНК)
Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. Задача оценки статистической взаимосвязи переменных формулируется аналогично случаю парной регрессии.

Теоретическое уравнение множественной линейной регрессии имеет вид:

,
где — случайная ошибка, — вектор размерности .

Для того, чтобы формально можно было решить задачу оценки параметров должно выполняться условие: объем выборки n должен быть не меньше количества параметров, т.е. .

Если же это условие не выполняется, то можно найти бесконечно много различных коэффициентов.

Если (например, 3 наблюдения и 2 объясняющие переменные), то оценки рассчитываются единственным образом без МНК путём решения системы:
.
Если же , то необходима оптимизация, т.е. выбрать наилучшую формулу зависимости. В этом случае разность называется числом степеней свободы. Для получения надежных оценок параметров уравнения объём выборки должен значительно превышать количество определяемых по нему параметров. Практически, как было сказано ранее, объём выборки должен превышать количество параметров при x_j в уравнении в 6-7 раз.

Задача построения множественной линейной регрессии состоит в определении -мерного вектора , элементы которого есть оценки соответствующих элементов вектора .

Уравнение с оценёнными параметрами имеет вид:
,

где е – оценка отклонения ε. Параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:
.
Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

Итак, имеем функцию аргумента:

Она является квадратичной относительно неизвестных величин. Она ограничена снизу, следовательно имеет минимум. Находим частные производные первого порядка, приравниваем их к нулю, и получаем систему () уравнения с () неизвестным. Обычно такая система имеет единственное решение. И называется системой нормальных уравнений:

Решение может быть осуществлено методом Крамера:
, где

,
а — частные определители, которые получаются из заменой соответствующего j – го столбца столбцом свободных членов.

Для двухфакторной модели ( данная система будет иметь вид:

Матричный метод.

Представим данные наблюдений и параметры модели в матричной форме.

– n – мерный вектор – столбец наблюдений зависимой переменной;

– (m+1) – мерный вектор – столбец параметров уравнения регрессии;

– n – мерный вектор – столбец отклонений выборочных значений y_i от значений , получаемых по уравнению регрессии.

Для удобства записи столбцы записаны как строки и поэтому снабжены штрихом для обозначения операции транспонирования.

Наконец, значения независимых переменных запишем в виде прямоугольной матрицы размерности :

Каждому столбцу этой матрицы отвечает набор из n значений одного из факторов, а первый столбец состоит из единиц, которые соответствуют значениям переменной при свободном члене.

В этих обозначениях эмпирическое уравнение регрессии выглядит так:
.
Где .

Здесь – матрица, обратная к .

На основе линейного уравнения множественной регрессии

могут быть найдены частные уравнения регрессии:

т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне. В развернутом виде систему можно переписать в виде:

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

,
где – коэффициент регрессии для фактора в уравнении множественной регрессии, – частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

, которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.
3.3 Анализ качества эмпирического уравнения множественной линейной регрессии
Проверка статистического качества оцененного уравнения регрессии проводится, с одной стороны, по статистической значимости параметров уравнения, а с другой стороны, по общему качеству уравнения регрессии. Кроме этого, проверяется выполнимость предпосылок МНК.

Как и в случае парной регрессии, для анализа статистической значимости параметров множественной линейной регрессии с m факторами, необходимо оценить дисперсию и стандартные отклонения параметров:

Обозначим матрицу:

и в этой матрице обозначим j – й диагональный элемент как . Тогда выборочная дисперсия эмпирического параметра регрессии равна:
,
а для свободного члена выражение имеет вид:

если считать, что в матрице индексы изменяются от 0 до m.

Здесь S 2 – несмещенная оценка дисперсии случайной ошибки ε (среднеквадратическая ошибка регрессии):
.
Соответственно, стандартные ошибки (отклонения) параметров регрессии равны
.
Для проверки значимости каждого коэффициента рассчитываются t – статистики:
,
Полученная t – статистика для соответствующего параметра имеет распределение Стьюдента с числом степеней свободы (n-т-1). При требуемом уровне значимости α эта статистика сравнивается с критической точкой распределения Стьюдента t(α; n-т-1) (двухсторонней).

Если , то соответствующий параметр считается статистически значимым, и нуль – гипотеза в виде или отвергается.

При параметр считается статистически незначимым, и нуль – гипотеза не может быть отвергнута. Поскольку b_j не отличается значимо от нуля, фактор х_j линейно не связан с результатом. Его наличие среди объясняющих переменных не оправдано со статистической точки зрения. Не оказывая какого–либо серьёзного влияния на зависимую переменную, он лишь искажает реальную картину взаимосвязи. Поэтому после установления того факта, что коэффициент b_j статистически незначим, переменную х_j рекомендуется исключить из уравнения регрессии. Это не приведет к существенной потере качества модели, но сделает её более конкретной.

Строгую проверку значимости параметров можно заменить простым сравнительным анализом.

Если , т.е. , то коэффициент статистически незначим.

Если , т.е. , то коэффициент относительно значим. В данном случае рекомендуется воспользоваться таблицей критических точек распределения Стьюдента.

Если , то коэффициент значим. Это утверждение является гарантированным при (n-т-1)>20 и .

Если , то коэффициент считается сильно значимым. Вероятность ошибки в данном случае при достаточном числе наблюдений не превосходит 0,001.

К анализу значимости коэффициента b_j можно подойти по – другому. Для этого строится интервальная оценка соответствующего коэффициента. Если задать уровень значимости α, то доверительный интервал, в который с вероятностью (1-α) попадает неизвестное значение параметра , определяется неравенством:

.
Если доверительный интервал не содержит нулевого значения, то соответствующий параметр является статистически значимым, в противном случае гипотезу о нулевом значении параметра отвергать нельзя.

Для проверки общего качества уравнения регрессии используется коэффициент детерминации R 2 . Для множественной регрессии R 2 является неубывающей функцией числа объясняющих переменных. Добавление новой объясняющей переменной никогда не уменьшает значение R 2 . Действительно, каждая следующая объясняющая переменная может лишь дополнить, но никак не сократить информацию, объясняющую поведение зависимой переменной.

Анализ статистической значимости коэффициента детерминации проводится на основе проверки нуль-гипотезы Н₀: R 2 =0 против альтернативной гипотезы Н₁: R 2 >0. Для проверки данной гипотезы используется следующая F – статистика.

Задача 1. Бюджетное обследование пяти случайно выбранных семей дало следующие результаты (в тыс. руб.):

А) Оценить регрессию S на Y и W.

Б) Спрогнозируйте накопления семьи, имеющей доход 40 тыс.руб.и имущество стоимостью 25 тыс.руб.

В) Предположим, что доход семьи вырос на 10 тыс.руб, в то время как стоимость имущества не изменилась. Оцените как возрастут её накопления.

Г) Оцените как возрастут накопления семьи, если её доход вырос на 5, а стоимость имущетва увеличилась на 15.

Задача 2. Для изучения жилья в городе по данным о 46 коттеджах было получено уравнение множественной регрессии:

Где у – цена объекта (тыс.дол), — расстояние до центра города, — полезная площадь объекта (кв.м), — число этажей в доме (ед.).

А) Проверить гипотезы о равенстве нулю коэффициентов в генеральной совокупности (т.е. проверить значимость коэффициентов регрессии).

Б) Проверить гипотезу об одновременном равенстве нулю коэффициентов множественной регрессии (или о том, что R 2 =0) в ген.совокупности.

1. Нелинейные модели регрессии. Простейшие методы линеаризации

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам.

– полиномы различных степеней – , , ;

– равносторонняя гипербола – ;

– полулогарифмическая функция – .

2. Регрессии, нелинейные по оцениваемым параметрам.

– степенная – ;

– показательная – ;

– экспоненциальная – .

1. Регрессии нелинейные по включенным переменным сводятся к линейному виду с помощью методов линеаризации простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции.

Полином второй степени приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению , оценка параметров которого при помощи МНК, приводит к системе следующих нормальных уравнений:

А после обратной замены переменных получим

Полином второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.

Аналогично, для полинома третьего порядка получим трёхфакторную модель.

Для полинома степени m, получим множественную регрессию с m объясняющими переменными
.
Среди нелинейной полиномиальной модели чаще всего используется полином второй степени, реже – третьей.

Для равносторонней гиперболы замена приводит к уравнению парной линейной регрессии , для оценки параметров которого используется МНК. Система линейных уравнений при применении МНК будет выглядеть следующим образом:

Такая модель может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота, процента прироста заработной платы от уровня безработицы (например, кривая А.В. Филлипса), расходов на непродовольственные товары от доходов или общей суммы расходов (например, кривые Э. Энгеля) и в других случаях.

Аналогичным образом приводятся к линейному виду зависимости , и другие.

2. Регрессии, нелинейными по оцениваемым параметрам, делятся на два типа: нелинейные модели внутренне линейные (приводятся к линейному виду с помощью соответствующих преобразований, например, логарифмированием) и нелинейные модели внутренне нелинейные (к линейному виду не приводятся). К внутренне линейным моделям относятся, например, степенная функция – , показательная – , экспоненциальная – , логистическая – , обратная – . Среди нелинейных моделей наиболее часто используется степенная функция , которая приводится к линейному виду логарифмированием:
;

;

,

где . Т.е. МНК мы применяем для преобразованных данных:

а затем потенцированием находим искомое уравнение.

Широкое использование степенной функции связано с тем, что параметр в ней имеет четкое экономическое истолкование – он является коэффициентом эластичности. ( Коэффициент эластичности показывает, на сколько процентов измениться в среднем результат, если фактор изменится на 1%.) Формула для расчета коэффициента эластичности имеет вид:
.
Так как для остальных функций коэффициент эластичности не является постоянной величиной, а зависит от соответствующего значения фактора , то обычно рассчитывается средний коэффициент эластичности:.

Наконец, следует отметить зависимость логистического типа: . Графиком функции является так называемая «кривая насыщения», которая имеет две горизонтальные асимптоты и точку перегиба , а также точку пересечения с осью ординат :

Уравнение приводится к линейному виду заменами переменных .

К внутренне нелинейным моделям можно, например, отнести следующие модели: , , .

В случае, когда функция не поддаётся непосредственной линейной линеаризации, можно разложить её в функциональный ряд и затем оценить регрессию с членами этого ряда.

При линеаризации функции или разложении её в ряд возникают и другие проблемы: искажение отклонений и нарушение их первоначальных свойств, статистическая зависимость членов ряда между собой.

Например, если оценивается формула , полученная путём линеаризации или разложения в ряд, то независимые переменные связаны между собой функционально.

Поэтому во многих случаях актуальна непосредственная оценка нелинейной формулы регрессии. Для этого используется нелинейный МНК, идея которого основана на минимизации суммы квадратов отклонений расчётных значений от эмпирических, т.е. нужно оценить параметры вектора а функции , так чтобы ошибки по совокупности были минимальны:.

Для решения этой задачи существуют два пути:

1) непосредственная минимизация функции F с помощью методов нелинейной оптимизации, позволяющих находить экстремум выпуклых линий (метод наискорейшего спуска).

2) решение системы нелинейных уравнений, которая получается из необходимого условия экстремума функции – равенство нулю частных производных по каждому из параметров:

система уравнений:
.
Эта система может быть решена итерационными методами. Однако в общем случае решение такой системы не является более простым способом нахождения вектора а.

Существуют методы оценивания нелинейной регрессии, сочетающие непосредственную оптимизацию, использующую нахождение градиента, с разложением в ряд Тейлора для последующей оценки линейной регрессии (метод Марквардта).

При построении нелинейной регрессии более остро, чем в линейном случае, стоит проблема правильной оценки формы зависимости между переменными.

Неточности при выборе формы функции существенно сказываются на качестве отдельных параметров уравнения и соответственно, на адекватности всей модели в целом.

Любое уравнение нелинейной регрессии, как и линейной зависимости, дополняется показателем корреляции, который в данном случае называется индексом корреляции:

Здесь — общая дисперсия результативного признака y, — остаточная дисперсия, определяемая по уравнению нелинейной регрессии . Следует обратить внимание на то, что разности в соответствующих суммах и берутся не в преобразованных, а в исходных значениях результативного признака. Иначе говоря, при вычислении этих сумм следует использовать не преобразованные (линеаризованные) зависимости, а именно исходные нелинейные уравнения регрессии. По-другому можно записать так:

Величина R находится в границах , и чем ближе она к единице, тем теснее связь рассматриваемых признаков, тем более надежно найденное уравнение регрессии. При этом индекс корреляции совпадает с линейным коэффициентом корреляции в случае, когда преобразование переменных с целью линеаризации уравнения регрессии не проводится с величинами результативного признака. Так обстоит дело с полулогарифмической и полиномиальной регрессией, а также с равносторонней гиперболой. Определив линейный коэффициент корреляции для линеаризованных уравнений, например, в пакете Excel с помощью функции ЛИНЕЙН, можно использовать его и для нелинейной зависимости.

Иначе обстоит дело в случае, когда преобразование проводится также с величиной y, например, взятие обратной величины или логарифмирование. Тогда значение R, вычисленное той же функцией ЛИНЕЙН, будет относиться к линеаризованному уравнению регрессии, а не к исходному нелинейному уравнению, и величины разностей под суммами будут относиться к преобразованным величинам, а не к исходным, что не одно и то же. При этом, как было сказано выше, для расчета R следует воспользоваться выражением, вычисленным по исходному нелинейному уравнению.

Поскольку в расчете индекса корреляции используется соотношение факторной и общей СКО, то R 2 имеет тот же смысл, что и коэффициент детерминации. В специальных исследованиях величину R 2 для нелинейных связей называют индексом детерминации.

Оценка существенности индекса корреляции проводится так же, как и оценка надежности коэффициента корреляции.

Индекс детерминации используется для проверки существенности в целом уравнения нелинейной регрессии по F-критерию Фишера:
,
где n-число наблюдений, m-число параметров при переменных х. Во всех рассмотренных нами случаях, кроме полиномиальной регрессии, m=1, для полиномов число параметров равно m, т.е. степени полинома. Величина m характеризует число степеней свободы для факторной СКО, а (n-m-1) – число степеней свободы для остаточной СКО.

Индекс детерминации R 2 можно сравнивать с коэффициентом детерминации r 2 для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем больше разница между R 2 и r 2 . Близость этих показателей означает, что усложнять форму уравнения регрессии не следует и можно использовать линейную функцию. Практически, если величина (R 2 -r 2 ) не превышает 0,1, то линейная зависимость считается оправданной. В противном случае проводится оценка существенности различия показателей детерминации, вычисленных по одним и тем же данным, через t-критерий Стьюдента:.

Здесь в знаменателе находится ошибка разности (R 2 -r 2 ), определяемая по формуле:

Если , то различия между показателями корреляции существенны и замена нелинейной регрессии линейной нецелесообразна.

В заключение приведем формулы расчета коэффициентов эластичности для наиболее распространенных уравнений регрессии: