Решение системы уравнений методом нормальных уравнений

Система нормальных уравнений и явный вид ее решения при оценивании методом наименьших квадратов линейной модели парной регрессии

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида:

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки параметров β₀и β₁, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) y˜ минимальна:

В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β₀ и β₁, потому что значения результативной и факторной переменных известны из наблюдений. Для определения минимума функции двух переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (2):

.

Если разделить обе части каждого уравнения системы на (-2), раскрыть скобки и привести подобные члены, то получим систему нормальных уравнений для функции регрессии вида yi=β₀+β₁xi:

Если решить данную систему нормальных уравнений, то мы получим искомые оценки неизвестных коэффициентов модели регрессии β₀ и β₁:

y – среднее значение зависимой переменной;

x – среднее значение независимой переменной;

xy – среднее арифметическое значение произведения зависимой и независимой переменных;

G 2 (x) – дисперсия независимой переменной;

Gcov (x, y) – ковариация между зависимой и независимой переменными.

Таким образом, явный вид решения системы нормальных уравнений может быть записан следующим образом:

Методы решения систем линейных нормальных уравнений

Денежки счет любят

(Как Вы уже поняли, геодезия – тоже)

135.1. Способ матричных преобразований

В качестве примера рассмотрим решение системы четырех линейных уравнений матричным способом:

Составим матрицу коэффициентов при х_i , правых частей и контрольного столбца, равного суммам коэффициентов и правой части каждого уравнения по соответствующй строке матрицы:

(14.54)

Составление контрольного столбца является обязательным! После математических действий с полной строкой, включая и контрольный столбец, всегда следует выполнять проверку сумм коэффициентов уравнений правой и левой частей с полученным новым значением контрольного столбца. Они должны совпадать в пределах округлений результатов. Если этого не делать, то погрешность в вычислениях выявится только после решения систем уравнений. А процесс этот довольно трудоемкий, и без постоянного контроля вся работа может оказаться напрасной.

Из математики известно, что результат решения не изменится, если:

— любую строку матрицы поменять местами с другой строкой;

— любую строку матрицы умножить или разделить на одно и то же постоянное число.

Решение матрицы сводится к образованию т.н. треугольной матрицы вида

.(14.55)

Таким образом получается система линейных уравнений

для, например, четырех линейных уравнений. Из последней строки находят значение k₄ :

(14.57)

и последовательной подстановкой в уравнения (14.56) решают задачу.

Контроль решения осуществляется подстановкой полученных значений k в исходные уравнения (14.53).

Проследим решение на приведенном примере.

Шаг 1. Образовать 1-й нулевой столбец в строках 2, 3 и 4 матрицы (14.54). Для этого умножим 2-ю и 4-ю строки на (+2), а 3-ю строку – на (-4/3). Получим:

.(14.58)

Затем последовательно сложим 2-ю, 3-ю и 4-ю строки (14.58) с первой строкой этой матрицы:

.(14.59)

Шаг 2. Образовать 2-й нулевой столбец в строках 3 и 4 (14.59). При этом в примере для строки 4 нет необходимости в преобразованиях, поскольку в ней на второй позиции уже имеется ноль. В связи с этим достаточно преобразовать только 3-ю строку. Для этого умножим ее на (-12)

(14.60)

и сложим полученную строку со 2-й строкой той же матрицы:

.(14.61)

Шаг 3. Образовать нулевой 3-й столбец (14.61) в строке 4, для чего требуется умножить его на (+2,2)

(14.62)

и сложить со строкой 3 этой же матрицы (14.62):

(14.63)

В результате система линейных уравнений (14.53) преобразуется к виду:

Из уравнения 4 (14.64) находим k₄ = +4. Из уравнения 3 подстановкой в него значения k₄ находим k₃ = +3. Из уравнения 2 подстановкой k₃ (коэффициент при k₄ равен нулю) находим k₂ = +2. Из уравнения 1, после подстановки значений k₂ , k₃ и k₄ , находим k₁ = +1.

В качестве замечаний к решению систем линейных уравнений необходимо указать следующее. При уравнивании значения коэффициентов и свободных членов системы линейных уравнений часто являются не целыми числами, а дробными. В связи с этим рекомендуется величины весов и обратных весов округлять до 0,01 – 0,001 ед., значения коэффициентов при неизвестных округлять до 0,0001ед., получаемые значения неизвестных округлять до 0,001 – 0,0001 ед. При этом, как указывалось выше, поправки в углы часто округляют до 0,1″ – 0,01″ , в расстояния (приращения координат) – до 1 мм, в превышения – до 0,1 – 1,0 мм.

135.2. Решение систем линейных уравнений по алгоритму Гаусса

В основе алгоритма Гаусса лежит метод последовательного исключения неизвестных, рассмотренный выше. Алгоритм весьма прост вследствие простых однотипных действий на каждом последующем шаге вычислений. При этом обеспечивается надежный контроль промежуточных результатов. Кроме того, алгоритм Гаусса упрощает решение систем линейных уравнений при введении в них дополнительных граф, необходимых для вычисления весов уравненных элементов или их функций (об этом будет сказано позже).

Алгоритм Гаусса рассмотрим на примере системы четырех линейных уравнений вида:

;

; (14.65)

;

.

Укажем, что в этой системе линейных уравнений, составленных при решении задачи уравнивания, коэффициенты с одинаковыми двойными индексами являются квадратичными (диагональными). Диагональные коэффициенты по условию их получения при составлении условных линейных уравнений всегда положительные. Коэффициенты, имеющие обратные индексы, равны между собой. В связи с симметрией коэффициентов относительно диагональных таблицу коэффициентов обычно записывают сокращенно в таком виде:

, (14.66)

имея в виду наличие и симметричных коэффициентов на незаполненных местах.

Составим т.н. элинимационное уравнение, которое в алгоритме Гаусса обозначают буквой Е. Это уравнение представляет собой выражение первого неизвестного z₁ через остальные (уравнение Е₁):

. (14.67)

Подставим в уравнения (14.65) полученное значение z₁ и запишем новую систему линейных уравнений без неизвестного z₁:

;

; (14.68)

.

Введем следующие обозначения:

; ; ;

; ; ;

; ; .

Для полученных коэффициентов сохраняются все особенности системы линейных уравнений с диагональными коэффициентами, имеющими одинаковые двойные индексы (22, 33, 44 и т.д., если уравнений более 4-х). Таким образом, можно записать преобразованную систему линейных уравнений:

;

; (14.69)

.

Составим второе элинимационное уравнение Е₂ :

. (14.70)

Подставим значение z₂ в уравнения (14.69):

;

. (14.71)

Снова введем обозначения:

; ; ;

; .

В результате получим систему линейных уравнений с двумя неизвестными:

(14.72)

Третье элинимационное уравнение (Е₃) в этом случае имеет вид:

(14.73)

Подставим значение z₃ в уравнения (14.72), получим

. (14.74)

Введя в уравнение (14.74) соответствующие обозначения, как и в предыдущих случаях, получим окончательное уравнение с одним неизвестным в обозначениях Гаусса:

. (14.75)

Из уравнения (14.75) найдем

. (14.76)

Затем, для определения остальных неизвестных, воспользуемся последовательно элинимационными уравнениями Е₃ , Е₂ и Е₁ , в результате чего получим значения z₃ , z₂ и z₁.

Обратим внимание на то, что для определения неизвестных нужны только элинимационные уравнения. Остальные уравнения не используются.

Представим схему решения системы четырех линейных уравнений в виде таблицы Гаусса (табл. 14.1).

Запись коэффициентов N в строке (3), (7), (12) сокращенная, только вправо от диагональных коэффициентов. Но контрольная сумма этой строки учитывает все коэффициенты, стоящие слева от диагонального. В первой строке записываются все коэффициенты.

После заполнения с вычислениями и контролем строк (1), (2), (3) и (4), что не требует пояснений, заполняют строку (5). Коэффициенты в этой строке равны сумме (3) и (4) строк по столбцам. По аналогии со строкой (2) получают коэффициенты второго элинимационного уравнения Е₂. В строку (7) заносят в сокращенном виде коэффициенты и свободный(ые) члены третьего нормального уравнения. После вычисления строк (8) и (9) по суммам в столбцах строк (7), (8) и (9) получают коэффициенты строки (10). Все дальнейшие действия аналогичны приведенным выше до вычисления коэффициентов в данном случае последнего элинимационного уравнения Е₄. Коэффициент N₅₅ представляет собой указанную в строке (18) сумму произведений весов на квадраты свободных членов. При суммировании столбца по значениям строк (18) – (22) получают значение N₅₅ (4) = [pv 2 ].

Значения неизвестных z_i получают с помощью элинимационных уравнений:

;

; (14.77)

;

.

Рассмотрим пример решения системы линейных уравнений по алгоритму Гаусса. Для этого решим систему уравнений (14.53)

Решение уравнений выполним по приведенному выше алгоритму в табл. 14.2.

В табл. 14.2 приведен только пример вычисления неизвестных х без оценки точности (указанные примеры будут рассмотрены отдельно).

Алгоритм Гаусса решения систем линейных уравнений

№№ п/п	Дейст-вия	z1	z2	z3	z4	L	∑
N1	N11	N12	N13	N14	L1	∑1
Е1	— 1					∑E1
N2	N22	N23	N24	L2	∑2
E12N	E12N12	E12N13	E12N14	E12L1	E12∑1
N2 (1)	N22 (1)	N23 (1)	N24 (1)	L2 (1)	∑N2 (1)
E2	— 1				∑E2
N3	N33	N34	L3	∑3
E13N	E13N13	E13N14	E13L1	E13∑1
E23N (1)	E23N23 (1)	E23N24 (1)	E23L2 (1)	E23∑N2 (1)
N3 (2)	N33 (2)	N34 (2)	L3 (2)	∑N3 (2)
E3	— 1			∑E3
N4	N44	L4	∑4
E14N	E14N14	E14L1	E14∑1
E24N (1)	E24N24 (1)	E24L2 (1)	E24∑N2 (1)
E34N (2)	E34N34 (2)	E34L3 (2)	E34∑N3 (2)
N4 (3)	N44 (3)	L4 (3)	∑N4 (3)
E4	— 1		∑E4
N5	[pll]	∑5
E15N	E15L1	E15∑1
E25N (1)	E25L2 (1)	E25∑N2 (1)
E35N (2)	E35L3 (2)	E35∑N3 (2)
E45N (3)	E45L4 (3)	E45∑N4 (3)
N5 (4)	N55 (4)	≈ [pv 2 ]

Таким образом, значение х₄ = Е₄₅ = +3,999 ≈ +4.

Получены такие же ответы, как и в способе матричных преобразований.

Незначительные отклонения от значений вызваны необходимостью округления промежуточных результатов вычислений.

Решение системы линейных уравнений (14.53) по алгоритму Гаусса

Системы уравнений

Система уравнений — это группа уравнений, в которых одни и те же неизвестные обозначают одни те же числа. Чтобы показать, что уравнения рассматриваются как система, слева от них ставится фигурная скобка:

	x — 4y = 2
	3x — 2y = 16

Решить систему уравнений — это значит, найти общие решения для всех уравнений системы или убедиться, что решения нет.

Чтобы решить систему уравнений, нужно исключить одно неизвестное, то есть из двух уравнений с двумя неизвестными составить одно уравнение с одним неизвестным. Исключить одно из неизвестных можно тремя способами: подстановкой, сравнением, сложением или вычитанием.

Способ подстановки

Чтобы решить систему уравнений способом подстановки, нужно в одном из уравнений выразить одно неизвестное через другое и результат подставить в другое уравнение, которое после этого будет содержать только одно неизвестное. Затем находим значение этого неизвестного и подставляем его в первое уравнение, после этого находим значение второго неизвестного.

Рассмотрим решение системы уравнений:

	x — 4y = 2
	3x — 2y = 16

Сначала найдём, чему равен x в первом уравнении. Для этого перенесём все члены уравнения, не содержащие неизвестное x, в правую часть:

Так как x, на основании определения системы уравнений, имеет такое же значение и во втором уравнении, то подставляем его значение во второе уравнение и получаем уравнение с одним неизвестным:

Решаем полученное уравнение, чтобы найти, чему равен y. Как решать уравнения с одним неизвестным, вы можете посмотреть в соответствующей теме.

Мы определили что y = 1. Теперь, для нахождения численного значения x, подставим значение y в преобразованное первое уравнение, где мы ранее нашли, какому выражению равен x:

x = 2 + 4y = 2 + 4 · 1 = 2 + 4 = 6.

Способ сравнения

Способ сравнения — это частный случай подстановки. Чтобы решить систему уравнений способом сравнения, нужно в обоих уравнениях найти, какому выражению будет равно одно и то же неизвестное и приравнять полученные выражения друг к другу. Получившееся в результате уравнение позволяет узнать значение одного неизвестного. С помощью этого значения затем вычисляется значение второго неизвестного.

Например, для решение системы:

	x — 4y = 2
	3x — 2y = 16

найдём в обоих уравнениях, чему равен y (можно сделать и наоборот — найти, чему равен x):

Составляем из полученных выражений уравнение:

Решаем уравнение, чтобы узнать значение x:

Теперь подставляем значение x в первое или второе уравнение системы и находим значение y:

Способ сложения или вычитания

Чтобы решить систему уравнений способом сложения, нужно составить из двух уравнений одно, сложив левые и правые части, при этом одно из неизвестных должно быть исключено из полученного уравнения. Неизвестное можно исключить, уравняв при нём коэффициенты в обоих уравнениях.

	x — 4y = 2
	3x — 2y = 16

Уравняем коэффициенты при неизвестном y, умножив все члены второго уравнения на -2:

	x — 4y = 2
	-6x + 4y = -32

Теперь сложим по частям оба уравнения, чтобы получить уравнение с одним неизвестным:

Находим значение x (x = 6). Теперь, подставив значение x в любое уравнение системы, найдём y = 1.

Если уравнять коэффициенты у x, то, для исключения этого неизвестного, нужно было бы вычесть одно уравнение из другого.

Уравняем коэффициенты при неизвестном x, умножив все члены первого уравнения на 3:

(x — 4y) · 3 = 2 · 3

	3x — 12y = 6
	3x — 2y = 16

Теперь вычтем по частям второе уравнение из первого, чтобы получить уравнение с одним неизвестным:

Находим значение y (y = 1). Теперь, подставив значение y в любое уравнение системы, найдём x = 6:

Для решения системы уравнений, рассмотренной выше, был использован способ сложения, который основан на следующем свойстве:

Любое уравнение системы можно заменить на уравнение, получаемое путём сложения (или вычитания) уравнений, входящих в систему. При этом получается система уравнений, имеющая те же решения, что и исходная.