Система 3 уравнений наименьших квадратов

Математика на пальцах: методы наименьших квадратов

Я математик-программист. Самый большой скачок в своей карьере я совершил, когда научился говорить:«Я ничего не понимаю!» Сейчас мне не стыдно сказать светилу науки, что мне читает лекцию, что я не понимаю, о чём оно, светило, мне говорит. И это очень сложно. Да, признаться в своём неведении сложно и стыдно. Кому понравится признаваться в том, что он не знает азов чего-то-там. В силу своей профессии я должен присутствовать на большом количестве презентаций и лекций, где, признаюсь, в подавляющем большинстве случаев мне хочется спать, потому что я ничего не понимаю. А не понимаю я потому, что огромная проблема текущей ситуации в науке кроется в математике. Она предполагает, что все слушатели знакомы с абсолютно всеми областями математики (что абсурдно). Признаться в том, что вы не знаете, что такое производная (о том, что это — чуть позже) — стыдно.

Но я научился говорить, что я не знаю, что такое умножение. Да, я не знаю, что такое подалгебра над алгеброй Ли. Да, я не знаю, зачем нужны в жизни квадратные уравнения. К слову, если вы уверены, что вы знаете, то нам есть над чем поговорить! Математика — это серия фокусов. Математики стараются запутать и запугать публику; там, где нет замешательства, нет репутации, нет авторитета. Да, это престижно говорить как можно более абстрактным языком, что есть по себе полная чушь.

Знаете ли вы, что такое производная? Вероятнее всего вы мне скажете про предел разностного отношения. На первом курсе матмеха СПбГУ Виктор Петрович Хавин мне определил производную как коэффициент первого члена ряда Тейлора функции в точке (это была отдельная гимнастика, чтобы определить ряд Тейлора без производных). Я долго смеялся над таким определением, покуда в итоге не понял, о чём оно. Производная не что иное, как просто мера того, насколько функция, которую мы дифференцируем, похожа на функцию y=x, y=x^2, y=x^3.

Я сейчас имею честь читать лекции студентам, которые боятся математики. Если вы боитесь математики — нам с вами по пути. Как только вы пытаетесь прочитать какой-то текст, и вам кажется, что он чрезмерно сложен, то знайте, что он хреново написан. Я утверждаю, что нет ни одной области математики, о которой нельзя говорить «на пальцах», не теряя при этом точности.

Задача на ближайшее время: я поручил своим студентам понять, что такое линейно-квадратичный регулятор. Не постесняйтесь, потратьте три минуты своей жизни, сходите по ссылке. Если вы ничего не поняли, то нам с вами по пути. Я (профессиональный математик-программист) тоже ничего не понял. И я уверяю, в этом можно разобраться «на пальцах». На данный момент я не знаю, что это такое, но я уверяю, что мы сумеем разобраться.

Итак, первая лекция, которую я собираюсь прочитать своим студентам после того, как они в ужасе прибегут ко мне со словами, что линейно-квадратичный регулятор — это страшная бяка, которую никогда в жизни не осилить, это методы наименьших квадратов. Умеете ли вы решать линейные уравнения? Если вы читаете этот текст, то скорее всего нет.

Итак, даны две точки (x0, y0), (x1, y1), например, (1,1) и (3,2), задача найти уравнение прямой, проходящей через эти две точки:

Эта прямая должна иметь уравнение типа следующего:

Здесь альфа и бета нам неизвестны, но известны две точки этой прямой:

Можно записать это уравнение в матричном виде:

Тут следует сделать лирическое отступление: что такое матрица? Матрица это не что иное, как двумерный массив. Это способ хранения данных, более никаких значений ему придавать не стоит. Это зависит от нас, как именно интерпретировать некую матрицу. Периодически я буду её интерпретировать как линейное отображение, периодически как квадратичную форму, а ещё иногда просто как набор векторов. Это всё будет уточнено в контексте.

Давайте заменим конкретные матрицы на их символьное представление:

Тогда (alpha, beta) может быть легко найдено:

Более конкретно для наших предыдущих данных:

Что ведёт к следующему уравнению прямой, проходящей через точки (1,1) и (3,2):

Окей, тут всё понятно. А давайте найдём уравнение прямой, проходящей через три точки: (x0,y0), (x1,y1) и (x2,y2):

Ой-ой-ой, а ведь у нас три уравнения на две неизвестных! Стандартный математик скажет, что решения не существует. А что скажет программист? А он для начала перепишет предыдующую систему уравнений в следующем виде:

И дальше постарается найти решение, которое меньше всего отклонится от заданных равенств. Давайте назовём вектор (x0,x1,x2) вектором i, (1,1,1) вектором j, а (y0,y1,y2) вектором b:

В нашем случае векторы i,j,b трёхмерны, следовательно, (в общем случае) решения этой системы не существует. Любой вектор (alpha\*i + beta\*j) лежит в плоскости, натянутой на векторы (i, j). Если b не принадлежит этой плоскости, то решения не существует (равенства в уравнении не достичь). Что делать? Давайте искать компромисс. Давайте обозначим через e(alpha, beta) насколько именно мы не достигли равенства:

И будем стараться минимизировать эту ошибку:

Очевидно, что ошибка минимизируется, когда вектор e ортогонален плоскости, натянутой на векторы i и j.

Иными словами: мы ищем такую прямую, что сумма квадратов длин расстояний от всех точек до этой прямой минимальна:

UPDATE: тут у меня косяк, расстояние до прямой должно измеряться по вертикали, а не ортогональной проекцией. Вот этот комментатор прав.

Совсеми иными словами (осторожно, плохо формализовано, но на пальцах должно быть ясно): мы берём все возможные прямые между всеми парами точек и ищем среднюю прямую между всеми:

Иное объяснение на пальцах: мы прикрепляем пружинку между всеми точками данных (тут у нас три) и прямой, что мы ищем, и прямая равновесного состояния есть именно то, что мы ищем.

Минимум квадратичной формы

Итак, имея данный вектор b и плоскость, натянутую на столбцы-векторы матрицы A (в данном случае (x0,x1,x2) и (1,1,1)), мы ищем вектор e с минимум квадрата длины. Очевидно, что минимум достижим только для вектора e, ортогонального плоскости, натянутой на столбцы-векторы матрицы A:

Иначе говоря, мы ищем такой вектор x=(alpha, beta), что:

Напоминаю, что этот вектор x=(alpha, beta) является минимумом квадратичной функции ||e(alpha, beta)||^2:

Тут нелишним будет вспомнить, что матрицу можно интерпретирвать в том числе как и квадратичную форму, например, единичная матрица ((1,0),(0,1)) может быть интерпретирована как функция x^2 + y^2:

Вся эта гимнастика известна под именем линейной регрессии.

Уравнение Лапласа с граничным условием Дирихле

Теперь простейшая реальная задача: имеется некая триангулированная поверхность, необходимо её сгладить. Например, давайте загрузим модель моего лица:

Изначальный коммит доступен здесь. Для минимизации внешних зависимостей я взял код своего софтверного рендерера, уже подробно описанного на хабре. Для решения линейной системы я пользуюсь OpenNL, это отличный солвер, который, правда, очень сложно установить: нужно скопировать два файла (.h+.c) в папку с вашим проектом. Всё сглаживание делается следующим кодом:

X, Y и Z координаты отделимы, я их сглаживаю по отдельности. То есть, я решаю три системы линейных уравнений, каждое имеет количество переменных равным количеству вершин в моей модели. Первые n строк матрицы A имеют только одну единицу на строку, а первые n строк вектора b имеют оригинальные координаты модели. То есть, я привязываю по пружинке между новым положением вершины и старым положением вершины — новые не должны слишком далеко уходить от старых.

Все последующие строки матрицы A (faces.size()*3 = количеству рёбер всех треугольников в сетке) имеют одно вхождение 1 и одно вхождение -1, причём вектор b имеет нулевые компоненты напротив. Это значит, я вешаю пружинку на каждое ребро нашей треугольной сетки: все рёбра стараются получить одну и ту же вершину в качестве отправной и финальной точки.

Ещё раз: переменными являются все вершины, причём они не могут далеко отходить от изначального положения, но при этом стараются стать похожими друг на друга.

Всё бы было хорошо, модель действительно сглажена, но она отошла от своего изначального края. Давайте чуть-чуть изменим код:

В нашей матрице A я для вершин, что находятся на краю, добавляю не строку из разряда v_i = verts[i][d], а 1000*v_i = 1000*verts[i][d]. Что это меняет? А меняет это нашу квадратичную форму ошибки. Теперь единичное отклонение от вершины на краю будет стоить не одну единицу, как раньше, а 1000*1000 единиц. То есть, мы повесили более сильную пружинку на крайние вершины, решение предпочтёт сильнее растянуть другие. Вот результат:

Давайте вдвое усилим пружинки между вершинами:

Логично, что поверхность стала более гладкой:

А теперь ещё в сто раз сильнее:

Что это? Представьте, что мы обмакнули проволочное кольцо в мыльную воду. В итоге образовавшаяся мыльная плёнка будет стараться иметь наименьшую кривизну, насколько это возможно, касаясь-таки границы — нашего проволочного кольца. Именно это мы и получили, зафиксировав границу и попросив получить гладкую поверхность внутри. Поздравляю вас, мы только что решили уравнение Лапласа с граничными условиями Дирихле. Круто звучит? А на деле всего-навсего одну систему линейных уравнений решить.

Уравнение Пуассона

Давайте ещё крутое имя вспомним.

Предположим, что у меня есть такая картинка:

Всем хороша, только стул мне не нравится.

Разрежу картинку пополам:

И выделю руками стул:

Затем всё, что белое в маске, притяну к левой части картинки, а заодно по всей картинке скажу, что разница между двумя соседними пикселями должна равняться разнице между двумя соседними пикселями правой картинки:

Код и картинки доступны здесь.

Пример из жизни

Я специально не стал делать вылизанные результаты, т.к. мне хотелось всего-навсего показать, как именно можно применять методы наименьших квадратов, это обучающий код. Давайте я теперь дам пример из жизни:

У меня есть некоторое количество фотографий образцов ткани типа вот такой:

Моя задача сделать бесшовные текстуры из фотографий вот такого качества. Для начала я (автоматически) ищу повторяющийся паттерн:

Если я вырежу прямо вот этот четырёхугольник, то из-за искажений у меня края не сойдутся, вот пример четыре раза повторённого паттерна:

Вот фрагмент, где чётко видно шов:

Поэтому я вырезать буду не по ровной линии, вот линия разреза:

А вот повторённый четыре раза паттерн:

И его фрагмент, чтобы было виднее:

Уже лучше, рез шёл не по прямой линии, обойдя всякие завитушки, но всё же шов виден из-за неравномерности освещения на оригинальной фотографии. Вот тут-то и приходит на помощь метод наименьших квадратов для уравнения Пуассона. Вот конечный результат после выравнивания освещения:

Текстура получилась отлично бесшовной, и всё это автоматически из фотографии весьма посредственного качества. Не бойтесь математики, ищите простые объяснения, и будет вам инженерное счастье.

Метод наименьших квадратов

Начнем статью сразу с примера. У нас есть некие экспериментальные данные о значениях двух переменных – x и y . Занесем их в таблицу.

После выравнивания получим функцию следующего вида: g ( x ) = x + 1 3 + 1 .

Мы можем аппроксимировать эти данные с помощью линейной зависимости y = a x + b , вычислив соответствующие параметры. Для этого нам нужно будет применить так называемый метод наименьших квадратов. Также потребуется сделать чертеж, чтобы проверить, какая линия будет лучше выравнивать экспериментальные данные.

В чем именно заключается МНК (метод наименьших квадратов)

Главное, что нам нужно сделать, – это найти такие коэффициенты линейной зависимости, при которых значение функции двух переменных F ( a , b ) = ∑ i = 1 n ( y i — ( a x i + b ) ) 2 будет наименьшим. Иначе говоря, при определенных значениях a и b сумма квадратов отклонений представленных данных от получившейся прямой будет иметь минимальное значение. В этом и состоит смысл метода наименьших квадратов. Все, что нам надо сделать для решения примера – это найти экстремум функции двух переменных.

Как вывести формулы для вычисления коэффициентов

Для того чтобы вывести формулы для вычисления коэффициентов, нужно составить и решить систему уравнений с двумя переменными. Для этого мы вычисляем частные производные выражения F ( a , b ) = ∑ i = 1 n ( y i — ( a x i + b ) ) 2 по a и b и приравниваем их к 0 .

δ F ( a , b ) δ a = 0 δ F ( a , b ) δ b = 0 ⇔ — 2 ∑ i = 1 n ( y i — ( a x i + b ) ) x i = 0 — 2 ∑ i = 1 n ( y i — ( a x i + b ) ) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Для решения системы уравнений можно использовать любые методы, например, подстановку или метод Крамера. В результате у нас должны получиться формулы, с помощью которых вычисляются коэффициенты по методу наименьших квадратов.

n ∑ i = 1 n x i y i — ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n — ∑ i = 1 n x i 2 b = ∑ i = 1 n y i — a ∑ i = 1 n x i n

Мы вычислили значения переменных, при который функция
F ( a , b ) = ∑ i = 1 n ( y i — ( a x i + b ) ) 2 примет минимальное значение. В третьем пункте мы докажем, почему оно является именно таким.

Это и есть применение метода наименьших квадратов на практике. Его формула, которая применяется для поиска параметра a , включает в себя ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , а также параметр
n – им обозначено количество экспериментальных данных. Советуем вам вычислять каждую сумму отдельно. Значение коэффициента b вычисляется сразу после a .

Обратимся вновь к исходному примеру.

Здесь у нас n равен пяти. Чтобы было удобнее вычислять нужные суммы, входящие в формулы коэффициентов, заполним таблицу.

Решение

Четвертая строка включает в себя данные, полученные при умножении значений из второй строки на значения третьей для каждого отдельного i . Пятая строка содержит данные из второй, возведенные в квадрат. В последнем столбце приводятся суммы значений отдельных строчек.

Воспользуемся методом наименьших квадратов, чтобы вычислить нужные нам коэффициенты a и b . Для этого подставим нужные значения из последнего столбца и подсчитаем суммы:

n ∑ i = 1 n x i y i — ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n — ∑ i = 1 n x i 2 b = ∑ i = 1 n y i — a ∑ i = 1 n x i n ⇒ a = 5 · 33 , 8 — 12 · 12 , 9 5 · 46 — 12 2 b = 12 , 9 — a · 12 5 ⇒ a ≈ 0 , 165 b ≈ 2 , 184

У нас получилось, что нужная аппроксимирующая прямая будет выглядеть как y = 0 , 165 x + 2 , 184 . Теперь нам надо определить, какая линия будет лучше аппроксимировать данные – g ( x ) = x + 1 3 + 1 или 0 , 165 x + 2 , 184 . Произведем оценку с помощью метода наименьших квадратов.

Чтобы вычислить погрешность, нам надо найти суммы квадратов отклонений данных от прямых σ 1 = ∑ i = 1 n ( y i — ( a x i + b i ) ) 2 и σ 2 = ∑ i = 1 n ( y i — g ( x i ) ) 2 , минимальное значение будет соответствовать более подходящей линии.

σ 1 = ∑ i = 1 n ( y i — ( a x i + b i ) ) 2 = = ∑ i = 1 5 ( y i — ( 0 , 165 x i + 2 , 184 ) ) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n ( y i — g ( x i ) ) 2 = = ∑ i = 1 5 ( y i — ( x i + 1 3 + 1 ) ) 2 ≈ 0 , 096

Ответ: поскольку σ 1 σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Как изобразить МНК на графике функций

Метод наименьших квадратов наглядно показан на графической иллюстрации. С помощью красной линии отмечена прямая g ( x ) = x + 1 3 + 1 , синей – y = 0 , 165 x + 2 , 184 . Исходные данные обозначены розовыми точками.

Поясним, для чего именно нужны приближения подобного вида.

Они могут быть использованы в задачах, требующих сглаживания данных, а также в тех, где данные надо интерполировать или экстраполировать. Например, в задаче, разобранной выше, можно было бы найти значение наблюдаемой величины y при x = 3 или при x = 6 . Таким примерам мы посвятили отдельную статью.

Доказательство метода МНК

Чтобы функция приняла минимальное значение при вычисленных a и b , нужно, чтобы в данной точке матрица квадратичной формы дифференциала функции вида F ( a , b ) = ∑ i = 1 n ( y i — ( a x i + b ) ) 2 была положительно определенной. Покажем, как это должно выглядеть.

У нас есть дифференциал второго порядка следующего вида:

d 2 F ( a ; b ) = δ 2 F ( a ; b ) δ a 2 d 2 a + 2 δ 2 F ( a ; b ) δ a δ b d a d b + δ 2 F ( a ; b ) δ b 2 d 2 b

Решение

δ 2 F ( a ; b ) δ a 2 = δ δ F ( a ; b ) δ a δ a = = δ — 2 ∑ i = 1 n ( y i — ( a x i + b ) ) x i δ a = 2 ∑ i = 1 n ( x i ) 2 δ 2 F ( a ; b ) δ a δ b = δ δ F ( a ; b ) δ a δ b = = δ — 2 ∑ i = 1 n ( y i — ( a x i + b ) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F ( a ; b ) δ b 2 = δ δ F ( a ; b ) δ b δ b = δ — 2 ∑ i = 1 n ( y i — ( a x i + b ) ) δ b = 2 ∑ i = 1 n ( 1 ) = 2 n

Иначе говоря, можно записать так: d 2 F ( a ; b ) = 2 ∑ i = 1 n ( x i ) 2 d 2 a + 2 · 2 ∑ x i i = 1 n d a d b + ( 2 n ) d 2 b .

Мы получили матрицу квадратичной формы вида M = 2 ∑ i = 1 n ( x i ) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

В этом случае значения отдельных элементов не будут меняться в зависимости от a и b . Является ли эта матрица положительно определенной? Чтобы ответить на этот вопрос, проверим, являются ли ее угловые миноры положительными.

Вычисляем угловой минор первого порядка: 2 ∑ i = 1 n ( x i ) 2 > 0 . Поскольку точки x i не совпадают, то неравенство является строгим. Будем иметь это в виду при дальнейших расчетах.

Вычисляем угловой минор второго порядка:

d e t ( M ) = 2 ∑ i = 1 n ( x i ) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2

После этого переходим к доказательству неравенства n ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2 > 0 с помощью математической индукции.

1. Проверим, будет ли данное неравенство справедливым при произвольном n . Возьмем 2 и подсчитаем:

2 ∑ i = 1 2 ( x i ) 2 — ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 — x 1 + x 2 2 = = x 1 2 — 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

У нас получилось верное равенство (если значения x 1 и x 2 не будут совпадать).

1. Сделаем предположение, что данное неравенство будет верным для n , т.е. n ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2 > 0 – справедливо.
2. Теперь докажем справедливость при n + 1 , т.е. что ( n + 1 ) ∑ i = 1 n + 1 ( x i ) 2 — ∑ i = 1 n + 1 x i 2 > 0 , если верно n ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2 > 0 .

( n + 1 ) ∑ i = 1 n + 1 ( x i ) 2 — ∑ i = 1 n + 1 x i 2 = = ( n + 1 ) ∑ i = 1 n ( x i ) 2 + x n + 1 2 — ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n ( x i ) 2 + n · x n + 1 2 + ∑ i = 1 n ( x i ) 2 + x n + 1 2 — — ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2 + n · x n + 1 2 — x n + 1 ∑ i = 1 n x i + ∑ i = 1 n ( x i ) 2 = = ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2 + x n + 1 2 — 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 — 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 — 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n ( x i ) 2 — ∑ i = 1 n x i 2 + + ( x n + 1 — x 1 ) 2 + ( x n + 1 — x 2 ) 2 + . . . + ( x n — 1 — x n ) 2 > 0

Выражение, заключенное в фигурные скобки, будет больше 0 (исходя из того, что мы предполагали в пункте 2 ), и остальные слагаемые будут больше 0 , поскольку все они являются квадратами чисел. Мы доказали неравенство.

Ответ: найденные a и b будут соответствовать наименьшему значению функции F ( a , b ) = ∑ i = 1 n ( y i — ( a x i + b ) ) 2 , значит, они являются искомыми параметрами метода наименьших квадратов (МНК).

Системы эконометрических уравнений

Эконометрика как учебная дисциплина на современном этапе благодаря своей универсальности и возможности практического использования для анализа реальных экономических объектов является одним из базовых курсов в системе высшего экономического образования.

Эконометрика

Эконометрика — это статистико-математический анализ экономических отношений.

Сущность эконометрики заключается в модельном описании функционирования конкретной экономической системы (экономики данной страны, спроса-предложения в данное время в данном месте и т.д.). Одним из основных этапов эконометрических исследований является анализ устойчивости построенной модели, отражающей взаимосвязи между экономическими показателями, и проверка ее на адекватность реальным экономическим данным и процессам.

Виды систем эконометрических уравнений

Сложные экономические процессы описывают с помощью системы взаимосвязанных (одновременных) уравнений.

Различают несколько видов систем уравнений, применяемых в эконометрике:

• система независимых уравнений — когда каждая зависимая переменная рассматривается как функция одного и того же набора факторов :

Для построения такой системы и нахождения ее параметров используется метод наименьших квадратов, применяемый к каждому уравнению в отдельности;

• система рекурсивных уравнений — когда зависимая переменная одного уравнения выступает в виде фактора в другом уравнении:

Для построения такой системы и нахождения ее параметров используется метод наименьших квадратов, применяемый последовательно к каждому уравнению в отдельности;

• система взаимосвязанных (совместных) уравнений — когда одни и те же зависимые переменные в одних уравнениях входят в левую часть, а другие в правую:

Такая система уравнений называется структурной формой модели. Для построения таких систем и нахождения их параметров используются косвенный и двухшаговый методы наименьших квадратов.

Возможно эта страница вам будет полезна:

Введем следующие определения:

• Эндогенные переменные — взаимозависимые переменные, которые определяются внутри системы (модели) .
• Экзогенные переменные — независимые переменные, которые определяются вне системы .
• Лаговые эндогенные переменные — эндогенные переменные за предыдущие моменты времени.
• Предопределенные переменные — экзогенные и лаговые эндогенные переменные системы.
• Коэффициенты и при переменных — структурные коэффициенты модели.

Система линейных функций эндогенных переменных от всех предопределенных переменных системы — приведенная форма модели:

где — коэффициенты приведенной формы модели.

Проблема идентификации

При переходе от приведенной формы модели к структурной исследователь сталкивается с проблемой идентификации. Идентификация -это единственность соответствия между приведенной и структурной формами модели.

С позиции идентифицируемости структурные модели можно подразделить на три вида:

• идентифицируемые;
• неидентифицируемые;
• сверхидентифицируемые.

Модель идентифицируема, если все структурные ее коэффициенты определяются однозначно, единственным образом по коэффициентам приведенной формы модели, т. е. если число параметров структурной модели равно числу параметров приведенной формы модели. В этом случае структурные коэффициенты модели оцениваются через параметры приведенной формы модели и модель идентифицируема.

Модель неидентифицируема, если число приведенных коэффициентов меньше числа структурных коэффициентов, и в результате структурные коэффициенты не могут быть оценены через коэффициенты приведенной формы модели.

Модель еверхидентифицируема, если число приведенных коэффициентов больше числа структурных коэффициентов. В этом случае на основе коэффициентов приведенной формы можно получить два или более значений одного структурного коэффициента. В этой модели число структурных коэффициентов меньше числа коэффициентов приведенной формы.

Сверхидентифицируемая модель, в отличие от неидентифицируемой, модели практически решаема, но требует для этого специальных методов исчисления параметров.

Структурная модель всегда представляет собой систему совместных уравнений, каждое из которых требуется проверять на идентификацию. Модель считается идентифицируемой, если каждое уравнение системы идентифицируемо. Если хотя бы одно из уравнений системы неидентифицируемо, то и вся модель считается неидентифицируемой.

Сверхидентифицируемая модель содержит хотя бы одно сверхидентифицируемое уравнение.

Выполнение условия идентифицируемости модели проверяется для каждого уравнения системы. Чтобы уравнение было идентифицируемо, необходимо, чтобы число предопределенных переменных, отсутствующих в данном уравнении, но присутствующих в системе, было равно числу эндогенных переменных в данном уравнении без одного.

Обозначим через — число эндогенных переменных в уравнении, а через — число предопределенных переменных, отсутствующих в уравнении, но присутствующих в системе. Тогда необходимое условие идентификации отдельного уравнения принимает вид:

• уравнение идентифицируемо, если ;
• уравнение сверхидентифицируемо, если ;
• уравнение неидентифицируемо, если .

Если необходимое условие выполнено, то далее проверяется достаточное условие идентификации.

Достаточное условие идентификации — определитель матрицы, составленной из коэффициентов при переменных, отсутствующих в исследуемом уравнении, не равен нулю, и ранг этой матрицы не менее числа эндогенных переменных системы без единицы.

Для решения идентифицируемого уравнения применяется косвенный метод наименьших квадратов, для решения сверхидентифицированных -двухшаговый метод наименьших квадратов.

Косвенный МНК состоит в следующем:

• составляют приведенную форму модели и определяют численные значения ее параметров обычным МНК;

• путем алгебраических преобразований переходят от приведенной формы к уравнениям структурной формы модели, получая тем самым численные оценки структурных параметров.

Двухшаговый МНК заключается в следующем:

• составляют приведенную форму модели и определяют численные значения ее параметров обычным МНК;

• выявляют эндогенные переменные, находящиеся в правой части структурного уравнения, параметры которого определяются двухшаговым МНК, и находят расчетные значения этих эндогенных переменных по соответствующим уравнениям приведенной системы;

• обычным МНК определяют параметры структурного уравнения, используя в качестве исходных данных фактические значения предопределенных переменных и расчетные значения эндогенных переменных, стоящих в правой части уравнения.

Решение эконометрических уравнений

Пример задачи с уравнением №4.2.1.

Рассматривается модель протекционизма Сальватора (упрощенная версия):

— доля импорта в ВВП;
— общее число прошений об освобождении от таможенных пошлин; — число удовлетворенных прошений об освобождении от таможенных пошлин;

— фиктивная переменная, равная 1 для тех лет, в которые курс доллара на международных валютных рынках был искусственно завышен, и 0-для всех остальных лет;

— реальный ВВП;

— реальный объем чистого экспорта; — текущий период; — предыдущий период; и — случайные ошибки. Задание.

1. Применив необходимое и достаточное условие идентификации определить, идентифицировано ли каждое из уравнений модели.
2. Определить метод оценки параметров модели.
3. Записать приведенную форму модели в общем виде.

Решение:

1. Модель представляет с собой систему взаимосвязанных (одновременных) уравнений. Для ответа на вопрос о способе оценки параметров модели проверим каждое ее уравнение на идентификацию.

Модель включает три эндогенные переменные и четыре предопределенные переменные (три экзогенные и одну лаговую эндогенную ).

Проверим необходимое условие идентификации для уравнений модели.

Это уравнение включает три эндогенные переменные и две предопределенные ( и ). Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, равно числу эндогенных переменных, входящих в уравнение: 2+1=3. Уравнение идентифицировано.

Это уравнение включает три эндогенные переменные и одну предопределенную . Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, больше числа эндогенных переменных, входящих в уравнение: 3+1>3. Уравнение сверхидентифицировано.

Это уравнение включает три эндогенные переменные и одну предопределенную . Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, больше числа эндогенных переменных, входящих в уравнение: 3+1>3. Уравнение сверхидентифицировано.

Проверим для каждого из уравнений достаточное условие идентификации. Для этого составим матрицу коэффициентов при переменных модели:

В соответствии с достаточным условием идентификации определитель матрицы коэффициентов, не входящих в исследуемое уравнение, не должен быть равен нулю, а ранг матрицы должен быть не менее, чем число эндогенных переменных модели минус 1, т.е. в данной задаче больше или равен 3-1=2.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

Ранг этой матрицы

Следовательно, для 1 уравнения достаточное условие выполняется, это уравнение точно идентифицируемо. 2 уравнение.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

Ранг этой матрицы

так как она содержит отличный от нуля минор второго порядка

Следовательно, для 2 уравнения достаточное условие выполняется, это уравнение сверхидентифицируемо. 3 уравнение.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

Ранг этой матрицы , так как она содержит отличный от нуля минор второго порядка

Следовательно, для 3 уравнения достаточное условие выполняется, это уравнение сверхидентифицируемо.

• Таким образом, система в целом сверхидентифицируема, для оценки ее параметров можно применить двухшаговый метод наименьших квадратов.
• Запишем приведенную форму модели в общем виде:

Пример задачи с уравнением №4.2.2.

Рассматривается структурная модель вида:

1. Применив необходимое и достаточное условие идентификации определить, идентифицировано ли каждое из уравнений модели.
2. Определить метод оценки параметров модели.
3. Записать приведенную форму модели в общем виде.
4. Исходя из приведенной формы модели уравнений

найти структурные коэффициенты модели.

Решение:

• Модель представляет с собой систему взаимосвязанных (одновременных) уравнений. Для ответа на вопрос о способе оценки параметров модели проверим каждое ее уравнение на идентификацию.

Модель включает три эндогенные переменные и три предопределенные переменные (экзогенные ).

Проверим необходимое условие идентификации для уравнений модели.

Это уравнение включает две эндогенные переменные ( и ) и две предопределенные ( и ). Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, равно числу эндогенных переменных, входящих в уравнение: 1 + 1=2. Уравнение идентифицировано.

Это уравнение включает три эндогенные переменные и одну предопределенную . Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, равно числу эндогенных переменных, входящих в уравнение: 2+1=3. Уравнение идентифицировано.

Это уравнение включает две эндогенные переменные (и ) и две предопределенные ( и ). Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, равно числу эндогенных переменных, входящих в уравнение: 1 + 1=2. Уравнение идентифицировано. Проверим для каждого из уравнений достаточное условие идентификации.

Для этого составим матрицу коэффициентов при переменных модели:

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

что не менее чем число эндогенных переменных системы минус один. Следовательно, для первого уравнения достаточное условие идентификации выполнено, уравнение точно идентифицируемо.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

что не менее чем число эндогенных переменных системы минус один. Следовательно, для второго уравнения достаточное условие идентификации выполнено, уравнение точно идентифицируемо.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

что не менее чем число эндогенных переменных системы минус один. Следовательно, для третьего уравнения достаточное условие идентификации выполнено, уравнение точно идентифицируемо.

• Все уравнения системы точно идентифицируемы, следовательно, система в целом точно идентифицируема, для оценки ее параметров может быть применен косвенный метод наименьших квадратов.
• Запишем приведенную форму модели в общем виде:

• Вычисление структурных коэффициентов модели:

1) из третьего уравнения приведенной формы выразим (так как его нет в первом уравнении структурной формы)

Данное выражение содержит переменные и которые входят в правую часть первого уравнения структурной формы модели (СФМ). Подставим полученное выражение в первое уравнение приведенной формы модели (ПФМ)

Откуда получим первое уравнение СФМ в виде

2) во втором уравнении СФМ нет переменных и . Структурные параметры второго уравнения СФМ можно будет определить в два этапа.

Первый этап: выразим в данном случае из первого или третьегоуравнения ПФМ. Например, из первого уравнения

Подстановка данного выражения во второе уравнение ПФМ не решило бы задачу до конца, так как в выражении присутствует , которого нет в СФМ. Выразим из третьего уравнения ПФМ

Подставим его в выражение для

Второй этап: аналогично, чтобы выразить через искомые и , заменим в выражении значение на полученное из первого уравнения ПФМ

Подставим полученные и во второе уравнение ПФМ

В результате получаем второе уравнение СФМ

3) из второго уравнения ПФМ выразим , так как его нет в третьем уравнении СФМ

Подставим полученное выражение в третье уравнение ПФМ

В результате получаем третье уравнение СФМ

Таким образом, СФМ примет вид

Пример задачи с уравнением №4.2.3.

Изучается модель вида

где — валовый национальный доход;

— валовый национальный доход предшествующего года;

— личное потребление;

— конечный спрос (помимо личного потребления); и — случайные составляющие.

Информация за девять лет о приросте всех показателей дана в таблице 4.2.1.

Для данной модели была получена система приведенных уравнений

1. Применив необходимое и достаточное условие идентификации, определить, идентифицировано ли каждое из уравнений модели.
2. Рассчитать параметры первого уравнения структурной модели.

Решение:

1. В данной модели две эндогенные переменные ( и ) и две экзогенные переменные ( и ). Второе уравнение точно идентифицировано, так как содержит две эндогенные переменные и не содержит одну экзогенную переменную из системы. Иными словами, для второго уравнения имеем по счетному правилу идентификации равенство: 2=1 + 1.

Первое уравнение сверхидентифицировано, так как в нем на параметры при и наложено ограничение: они должны быть равны. В этом уравнении содержится одна эндогенная переменная . Переменная в данном уравнении не рассматривается как эндогенная, так как она участвует в уравнении не самостоятельно, а вместе с переменной . В данном уравнении отсутствует одна экзогенная переменная, имеющаяся в системе. По счетному правилу идентификации получаем: 1 + 1 = 2: . Это больше, чем число эндогенных переменных в данном уравнении, следовательно, система сверхидентифицирована.

• Для определения параметров сверхидентифицированной модели используется двухшаговый метод наименьших квадратов.

Шаг 1. На основе системы приведенных уравнений по точно идентифицированному второму уравнению определим теоретические значения эндогенной переменной . Для этого в приведенное уравнение

подставим значения и имеющиеся в условии задачи. Полученные значения обозначим (табл. 4.2.2).

Шаг 2. По сверхидентифицированному уравнению структурной формы модели заменяем фактические значения , на теоретические и рассчитываем новую переменную (табл. 4.2.2).

Далее к сверхидентифицированному уравнению применяется метод наименьших квадратов. Обозначим новую переменную через . Решаем уравнение . С помощью МНК получим . Запишем первое уравнение структурной модели

Пример задачи с уравнением №4.2.4.

Рассматривается следующая модель:

• — расходы на потребление в период ;
• — совокупный доход период :
• — инвестиции в период ;
• — процентная ставка в период ;
• — денежная масса в период ;
• — государственные расходы в период ;
• — расходы на потребление в период ;
• — инвестиции в период ;
• — текущий период;
• — предыдущий период;

и — случайные ошибки.

В предположении, что имеются временные ряды данных по всем переменным модели, предложить способ оценки ее параметров.

Как изменится ваш ответ на вопрос п. 1, если из модели исключить тождество дохода?

Решение:

1. Модель представляет собой систему одновременных уравнений. Для ответа на вопрос о способе оценки параметров модели проверим каждое ее уравнение на идентификацию.

Модель включает четыре эндогенные переменные и четыре предопределенные переменные (две экзогенные переменные — и ( и две лаговые эндогенные переменные — и ).

Проверим необходимое условие идентификации для уравнений модели.

Это уравнение включает две эндогенные переменные ( и ) и одну предопределенную переменную (). Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, больше числа эндогенных переменных, входящих в уравнение: 3 + 1 > 2. Уравнение сверхидентифицировано.

Это уравнение включает две эндогенные переменные и не включает три предопределенные переменные. Как и 1-е уравнение, оно сверхидентифицировано.

3-е уравнение тоже включает две эндогенные переменные и не включает три предопределенные переменные. Это уравнение сверхидентифицировано.

Это уравнение представляет собой тождество, параметры которого известны. Необходимости в его идентификации нет.

Проверим для каждого из уравнений достаточное условие идентификации. Для этого составим матрицу коэффициентов при переменных модели

В соответствии с достаточным условием идентификации определитель матрицы коэффициентов при переменных, не входящих в исследуемое уравнение, не должен быть равен нулю, а ранг матрицы должен быть не менее числа эндогенных переменных модели минус 1, т. е. 4-1=3.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

Ее ранг равен 3, так как определитель квадратной подматрицы 3×3 этой матрицы не равен нулю

Достаточное условие идентификации для 1-го уравнения выполняется.

Выпишем матрицу коэффициентов при переменных, не входящих в уравнение

Ее ранг равен 3, так как определитель квадратной подматрицы 3×3 этой матрицы не равен нулю

Достаточное условие идентификации для 2-го уравнения выполняется.

Выпишем матрицу коэффициентов при переменных, не входящих в уравнение

Ее ранг равен трем, так как имеется квадратная подматрица 3×3 этой матрицы, определитель которой не равен нулю.

Достаточное условие идентификации для 3-го уравнения выполняется.

Таким образом, все уравнения модели сверхидентифицированы. Для оценки параметров каждого из уравнений будем применять двухшаговый МНК.

Шаг 1. Запишем приведенную форму модели в общем виде

где — случайные ошибки.

Определим параметры каждого из приведенных выше уравнений в отдельности обычным МНК. Затем найдем расчётные значения эндогенных переменных используемых в правой части структурной модели, подставляя в каждое равнение приведенной формы соответствующее значение предопределенных переменных.

Шаг 2. В исходных структурных уравнениях заменим эндогенные переменные, выступающие в качестве факторных признаков, их расчетными значениями

Применяя к каждому из полученных уравнений в отдельности обычный МНК, определим структурные параметры

Если из модели исключить тождество дохода, число предопределенных переменных модели уменьшится на 1 (из модели будет исключена переменная ). Число эндогенных переменных модели также снизится на единицу — переменная , станет экзогенной. В правых частях функции потребления и функции денежного рынка будут находиться только предопределенные переменные. Функция инвестиций постулирует зависимость эндогенной переменной , от эндогенной переменной (которая зависит только от предопределенных переменных) и предопределенной переменной . Таким образом, мы получим рекурсивную систему. Ее параметры можно оценивать обычным МНК, и нет необходимости исследования системы уравнений на идентификацию.

Возможно эти страницы вам будут полезны:

Образовательный сайт для студентов и школьников

Копирование материалов сайта возможно только с указанием активной ссылки «www.lfirmal.com» в качестве источника.

© Фирмаль Людмила Анатольевна — официальный сайт преподавателя математического факультета Дальневосточного государственного физико-технического института