Методы решения систем нормальных уравнений

Система нормальных уравнений и явный вид ее решения при оценивании методом наименьших квадратов линейной модели парной регрессии

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида:

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки параметров β₀и β₁, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) y˜ минимальна:

В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β₀ и β₁, потому что значения результативной и факторной переменных известны из наблюдений. Для определения минимума функции двух переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (2):

Если разделить обе части каждого уравнения системы на (-2), раскрыть скобки и привести подобные члены, то получим систему нормальных уравнений для функции регрессии вида yi=β₀+β₁xi:

Если решить данную систему нормальных уравнений, то мы получим искомые оценки неизвестных коэффициентов модели регрессии β₀ и β₁:

y – среднее значение зависимой переменной;

x – среднее значение независимой переменной;

xy – среднее арифметическое значение произведения зависимой и независимой переменных;

G 2 (x) – дисперсия независимой переменной;

Gcov (x, y) – ковариация между зависимой и независимой переменными.

Таким образом, явный вид решения системы нормальных уравнений может быть записан следующим образом:

Методы решения систем линейных нормальных уравнений

Денежки счет любят

(Как Вы уже поняли, геодезия – тоже)

135.1. Способ матричных преобразований

В качестве примера рассмотрим решение системы четырех линейных уравнений матричным способом:

Составим матрицу коэффициентов при х_i , правых частей и контрольного столбца, равного суммам коэффициентов и правой части каждого уравнения по соответствующй строке матрицы:

(14.54)

Составление контрольного столбца является обязательным! После математических действий с полной строкой, включая и контрольный столбец, всегда следует выполнять проверку сумм коэффициентов уравнений правой и левой частей с полученным новым значением контрольного столбца. Они должны совпадать в пределах округлений результатов. Если этого не делать, то погрешность в вычислениях выявится только после решения систем уравнений. А процесс этот довольно трудоемкий, и без постоянного контроля вся работа может оказаться напрасной.

Из математики известно, что результат решения не изменится, если:

— любую строку матрицы поменять местами с другой строкой;

— любую строку матрицы умножить или разделить на одно и то же постоянное число.

Решение матрицы сводится к образованию т.н. треугольной матрицы вида

.(14.55)

Таким образом получается система линейных уравнений

для, например, четырех линейных уравнений. Из последней строки находят значение k₄ :

(14.57)

и последовательной подстановкой в уравнения (14.56) решают задачу.

Контроль решения осуществляется подстановкой полученных значений k в исходные уравнения (14.53).

Проследим решение на приведенном примере.

Шаг 1. Образовать 1-й нулевой столбец в строках 2, 3 и 4 матрицы (14.54). Для этого умножим 2-ю и 4-ю строки на (+2), а 3-ю строку – на (-4/3). Получим:

.(14.58)

Затем последовательно сложим 2-ю, 3-ю и 4-ю строки (14.58) с первой строкой этой матрицы:

.(14.59)

Шаг 2. Образовать 2-й нулевой столбец в строках 3 и 4 (14.59). При этом в примере для строки 4 нет необходимости в преобразованиях, поскольку в ней на второй позиции уже имеется ноль. В связи с этим достаточно преобразовать только 3-ю строку. Для этого умножим ее на (-12)

(14.60)

и сложим полученную строку со 2-й строкой той же матрицы:

.(14.61)

Шаг 3. Образовать нулевой 3-й столбец (14.61) в строке 4, для чего требуется умножить его на (+2,2)

(14.62)

и сложить со строкой 3 этой же матрицы (14.62):

(14.63)

В результате система линейных уравнений (14.53) преобразуется к виду:

Из уравнения 4 (14.64) находим k₄ = +4. Из уравнения 3 подстановкой в него значения k₄ находим k₃ = +3. Из уравнения 2 подстановкой k₃ (коэффициент при k₄ равен нулю) находим k₂ = +2. Из уравнения 1, после подстановки значений k₂ , k₃ и k₄ , находим k₁ = +1.

В качестве замечаний к решению систем линейных уравнений необходимо указать следующее. При уравнивании значения коэффициентов и свободных членов системы линейных уравнений часто являются не целыми числами, а дробными. В связи с этим рекомендуется величины весов и обратных весов округлять до 0,01 – 0,001 ед., значения коэффициентов при неизвестных округлять до 0,0001ед., получаемые значения неизвестных округлять до 0,001 – 0,0001 ед. При этом, как указывалось выше, поправки в углы часто округляют до 0,1″ – 0,01″ , в расстояния (приращения координат) – до 1 мм, в превышения – до 0,1 – 1,0 мм.

135.2. Решение систем линейных уравнений по алгоритму Гаусса

В основе алгоритма Гаусса лежит метод последовательного исключения неизвестных, рассмотренный выше. Алгоритм весьма прост вследствие простых однотипных действий на каждом последующем шаге вычислений. При этом обеспечивается надежный контроль промежуточных результатов. Кроме того, алгоритм Гаусса упрощает решение систем линейных уравнений при введении в них дополнительных граф, необходимых для вычисления весов уравненных элементов или их функций (об этом будет сказано позже).

Алгоритм Гаусса рассмотрим на примере системы четырех линейных уравнений вида:

;

; (14.65)

;

Укажем, что в этой системе линейных уравнений, составленных при решении задачи уравнивания, коэффициенты с одинаковыми двойными индексами являются квадратичными (диагональными). Диагональные коэффициенты по условию их получения при составлении условных линейных уравнений всегда положительные. Коэффициенты, имеющие обратные индексы, равны между собой. В связи с симметрией коэффициентов относительно диагональных таблицу коэффициентов обычно записывают сокращенно в таком виде:

, (14.66)

имея в виду наличие и симметричных коэффициентов на незаполненных местах.

Составим т.н. элинимационное уравнение, которое в алгоритме Гаусса обозначают буквой Е. Это уравнение представляет собой выражение первого неизвестного z₁ через остальные (уравнение Е₁):

. (14.67)

Подставим в уравнения (14.65) полученное значение z₁ и запишем новую систему линейных уравнений без неизвестного z₁:

;

; (14.68)

Введем следующие обозначения:

; ; ;

; ; .

Для полученных коэффициентов сохраняются все особенности системы линейных уравнений с диагональными коэффициентами, имеющими одинаковые двойные индексы (22, 33, 44 и т.д., если уравнений более 4-х). Таким образом, можно записать преобразованную систему линейных уравнений:

;

; (14.69)

Составим второе элинимационное уравнение Е₂ :

. (14.70)

Подставим значение z₂ в уравнения (14.69):

;

. (14.71)

Снова введем обозначения:

; ; ;

; .

В результате получим систему линейных уравнений с двумя неизвестными:

(14.72)

Третье элинимационное уравнение (Е₃) в этом случае имеет вид:

(14.73)

Подставим значение z₃ в уравнения (14.72), получим

. (14.74)

Введя в уравнение (14.74) соответствующие обозначения, как и в предыдущих случаях, получим окончательное уравнение с одним неизвестным в обозначениях Гаусса:

. (14.75)

Из уравнения (14.75) найдем

. (14.76)

Затем, для определения остальных неизвестных, воспользуемся последовательно элинимационными уравнениями Е₃ , Е₂ и Е₁ , в результате чего получим значения z₃ , z₂ и z₁.

Обратим внимание на то, что для определения неизвестных нужны только элинимационные уравнения. Остальные уравнения не используются.

Представим схему решения системы четырех линейных уравнений в виде таблицы Гаусса (табл. 14.1).

Запись коэффициентов N в строке (3), (7), (12) сокращенная, только вправо от диагональных коэффициентов. Но контрольная сумма этой строки учитывает все коэффициенты, стоящие слева от диагонального. В первой строке записываются все коэффициенты.

После заполнения с вычислениями и контролем строк (1), (2), (3) и (4), что не требует пояснений, заполняют строку (5). Коэффициенты в этой строке равны сумме (3) и (4) строк по столбцам. По аналогии со строкой (2) получают коэффициенты второго элинимационного уравнения Е₂. В строку (7) заносят в сокращенном виде коэффициенты и свободный(ые) члены третьего нормального уравнения. После вычисления строк (8) и (9) по суммам в столбцах строк (7), (8) и (9) получают коэффициенты строки (10). Все дальнейшие действия аналогичны приведенным выше до вычисления коэффициентов в данном случае последнего элинимационного уравнения Е₄. Коэффициент N₅₅ представляет собой указанную в строке (18) сумму произведений весов на квадраты свободных членов. При суммировании столбца по значениям строк (18) – (22) получают значение N₅₅ (4) = [pv 2 ].

Значения неизвестных z_i получают с помощью элинимационных уравнений:

;

; (14.77)

;

Рассмотрим пример решения системы линейных уравнений по алгоритму Гаусса. Для этого решим систему уравнений (14.53)

Решение уравнений выполним по приведенному выше алгоритму в табл. 14.2.

В табл. 14.2 приведен только пример вычисления неизвестных х без оценки точности (указанные примеры будут рассмотрены отдельно).

Алгоритм Гаусса решения систем линейных уравнений

№№ п/п	Дейст-вия	z₁	z₂	z₃	z₄	L	∑
N₁	N₁₁	N₁₂	N₁₃	N₁₄	L₁	∑₁
Е₁	— 1					∑_E1
N₂	N₂₂	N₂₃	N₂₄	L₂	∑₂
E₁₂N	E₁₂N₁₂	E₁₂N₁₃	E₁₂N₁₄	E₁₂L₁	E₁₂∑₁
N₂ (1)	N₂₂ (1)	N₂₃ (1)	N₂₄ (1)	L₂ (1)	∑_N2 (1)
E₂	— 1				∑_E2
N₃	N₃₃	N₃₄	L₃	∑₃
E₁₃N	E₁₃N₁₃	E₁₃N₁₄	E₁₃L₁	E₁₃∑₁
E₂₃N (1)	E₂₃N₂₃ (1)	E₂₃N₂₄ (1)	E₂₃L₂ (1)	E₂₃∑_N2 (1)
N₃ (2)	N₃₃ (2)	N₃₄ (2)	L₃ (2)	∑_N3 (2)
E₃	— 1			∑_E3
N₄	N₄₄	L₄	∑₄
E₁₄N	E₁₄N₁₄	E₁₄L₁	E₁₄∑₁
E₂₄N (1)	E₂₄N₂₄ (1)	E₂₄L₂ (1)	E₂₄∑_N2 (1)
E₃₄N (2)	E₃₄N₃₄ (2)	E₃₄L₃ (2)	E₃₄∑_N3 (2)
N₄ (3)	N₄₄ (3)	L₄ (3)	∑_N4 (3)
E₄	— 1		∑_E4
N₅	[pll]	∑₅
E₁₅N	E₁₅L₁	E₁₅∑₁
E₂₅N (1)	E₂₅L₂ (1)	E₂₅∑_N2 (1)
E₃₅N (2)	E₃₅L₃ (2)	E₃₅∑_N3 (2)
E₄₅N (3)	E₄₅L₄ (3)	E₄₅∑_N4 (3)
N₅ (4)	N₅₅ (4)	≈ [pv 2 ]

Таким образом, значение х₄ = Е₄₅ = +3,999 ≈ +4.

Получены такие же ответы, как и в способе матричных преобразований.

Незначительные отклонения от значений вызваны необходимостью округления промежуточных результатов вычислений.

Решение системы линейных уравнений (14.53) по алгоритму Гаусса

Как решать систему уравнений

О чем эта статья:

8 класс, 9 класс, ЕГЭ/ОГЭ

Основные понятия

Алгебра в 8 и 9 классе становится сложнее. Но если изучать темы последовательно и регулярно практиковаться в тетрадке и онлайн — ходить на уроки математики будет не так страшно.

Уравнение — это математическое равенство, в котором неизвестна одна или несколько величин. Значение неизвестных нужно найти так, чтобы при их подстановке в исходное уравнение получилось верное числовое равенство.

Например, возьмем 3 + 4 = 7. При вычислении левой части получается верное числовое равенство, то есть 7 = 7.

Уравнением можно назвать, например, равенство 3 + x = 7 с неизвестной переменной x, значение которой нужно найти. Результат должен быть таким, чтобы знак равенства был оправдан, и левая часть равнялась правой.

Система уравнений — это несколько уравнений, для которых надо найти значения неизвестных, каждое из которых соответствует данным уравнениям.

Так как существует множество уравнений, составленных с их использованием систем уравнений также много. Поэтому для удобства изучения существуют отдельные группы по схожим характеристикам. Рассмотрим способы решения систем уравнений.

Линейное уравнение с двумя переменными

Уравнение вида ax + by + c = 0 называется линейным уравнением с двумя переменными x и y, где a, b, c — числа.

Решением этого уравнения называют любую пару чисел (x; y), которая соответствует этому уравнению и обращает его в верное числовое равенство.

Теорема, которую нужно запомнить: если в линейном уравнение есть хотя бы один не нулевой коэффициент при переменной — его графиком будет прямая линия.

Вот алгоритм построения графика ax + by + c = 0, где a ≠ 0, b ≠ 0:

Дать переменной 𝑥 конкретное значение x = x₁, и найти значение y = y₁ при ax₁ + by + c = 0.

Дать x другое значение x = x₂, и найти соответствующее значение y = y₂ при ax₂ + by + c = 0.

Построить на координатной плоскости xy точки: (x₁; y₁); (x₂; y₂).

Провести прямую через эти две точки и вуаля — график готов.

Нужно быстро привести знания в порядок перед экзаменом? Записывайтесь на курсы ЕГЭ по математике в Skysmart!

Система двух линейных уравнений с двумя переменными

Для ax + by + c = 0 можно сколько угодно раз брать произвольные значение для x и находить значения для y. Решений в таком случае может быть бесчисленное множество.

Система линейных уравнений (ЛУ) с двумя переменными образуется в случае, когда x и y связаны не одним, а двумя уравнениями. Такая система может иметь одно решение или не иметь решений совсем. Выглядит это вот так:

Из первого линейного уравнения a₁x + b₁y + c₁ = 0 можно получить линейную функцию, при условии если b₁ ≠ 0: y = k₁x + m₁. График — прямая линия.

Из второго ЛУ a₂x + b₂y + c₂ = 0 можно получить линейную функцию, если b₂ ≠ 0: y = k₂x + m₂. Графиком снова будет прямая линия.

Можно записать систему иначе:

Множеством решений первого ЛУ является множество точек, лежащих на определенной прямой, аналогично и для второго ЛУ. Если эти прямые пересекаются — у системы есть единственное решение. Это возможно при условии, если k₁ ≠ k₂.

Две прямые могут быть параллельны, а значит, они никогда не пересекутся и система не будет иметь решений. Это возможно при следующих условиях: k₁ = k₂ и m₁ ≠ m₂.

Две прямые могут совпасть, и тогда каждая точка будет решением, а у системы будет бесчисленное множество решений. Это возможно при следующих условиях: k₁ = k₂ и m₁ = m₂.

Метод подстановки

Разберем решение систем уравнений методом подстановки. Вот алгоритм при переменных x и y:

Выразить одну переменную через другую из более простого уравнения системы.

Подставить то, что получилось на место этой переменной в другое уравнение системы.

Решить полученное уравнение, найти одну из переменных.

Подставить поочередно каждый из найденных корней в уравнение, которое получили на первом шаге, и найти второе неизвестное значение.

Записать ответ. Ответ принято записывать в виде пар значений (x; y).

Потренируемся решать системы линейных уравнений методом подстановки.

Пример 1

Решите систему уравнений:

x − y = 4
x + 2y = 10

Выразим x из первого уравнения:

x − y = 4
x = 4 + y

Подставим получившееся выражение во второе уравнение вместо x:

x + 2y = 10
4 + y + 2y = 10

Решим второе уравнение относительно переменной y:

4 + y + 2y = 10
4 + 3y = 10
3y = 10 − 4
3y = 6
y = 6 : 3
y = 2

Полученное значение подставим в первое уравнение вместо y и решим уравнение:

x − y = 4
x − 2 = 4
x = 4 + 2
x = 6

Ответ: (6; 2).

Пример 2

Решите систему линейных уравнений:

x + 5y = 7
3x = 4 + 2y

Сначала выразим переменную x из первого уравнения:

x + 5y = 7
x = 7 − 5y

Выражение 7 − 5y подставим вместо переменной x во второе уравнение:

3x = 4 + 2y
3 (7 − 5y) = 4 + 2y

Решим второе линейное уравнение в системе:

3 (7 − 5y) = 4 + 2y
21 − 15y = 4 + 2y
21 − 15y − 2y = 4
21 − 17y = 4
17y = 21 − 4
17y = 17
y = 17 : 17
y = 1

Подставим значение y в первое уравнение и найдем значение x:

x + 5y = 7
x + 5 = 7
x = 7 − 5
x = 2

Ответ: (2; 1).

Пример 3

Решите систему линейных уравнений:

x − 2y = 3
5x + y = 4

Из первого уравнения выразим x:

x − 2y = 3
x = 3 + 2y

Подставим 3 + 2y во второе уравнение системы и решим его:

5x + y = 4
5 (3 + 2y) + y = 4
15 + 10y + y = 4
15 + 11y = 4
11y = 4 − 15
11y = −11
y = −11 : 11
y = −1

Подставим получившееся значение в первое уравнение и решим его:

x − 2y = 3
x − 2 (−1) = 3
x + 2 = 3
x = 3 − 2
x = 1

Ответ: (1; −1).

Метод сложения

Теперь решим систему уравнений способом сложения. Алгоритм с переменными x и y:

При необходимости умножаем почленно уравнения системы, подбирая множители так, чтобы коэффициенты при одной из переменных стали противоположными числами.

Складываем почленно левые и правые части уравнений системы.

Решаем получившееся уравнение с одной переменной.

Находим соответствующие значения второй переменной.

Запишем ответ в в виде пар значений (x; y).

Система линейных уравнений с тремя переменными

Системы ЛУ с тремя переменными решают так же, как и с двумя. В них присутствуют три неизвестных с коэффициентами и свободный член. Выглядит так:

Решений в таком случае может быть бесчисленное множество. Придавая двум переменным различные значения, можно найти третье значение. Ответ принято записывать в виде тройки значений (x; y; z).

Если x, y, z связаны между собой тремя уравнениями, то образуется система трех ЛУ с тремя переменными. Для решения такой системы можно применять метод подстановки и метод сложения.

Решение задач

Разберем примеры решения систем уравнений.

Задание 1. Как привести уравнение к к стандартному виду ах + by + c = 0?

5x − 8y = 4x − 9y + 3

5x − 8y − 4x + 9y = 3

Задание 2. Как решать систему уравнений способом подстановки

Выразить у из первого уравнения:

Подставить полученное выражение во второе уравнение:

Найти соответствующие значения у:

Задание 3. Как решать систему уравнений методом сложения

Решение систем линейных уравнений начинается с внимательного просмотра задачи. Заметим, что можно исключить у. Для этого умножим первое уравнение на минус два и сложим со вторым:

Решаем полученное квадратное уравнение любым способом. Находим его корни:

Найти у, подставив найденное значение в любое уравнение:

Ответ: (1; 1), (1; -1).

Задание 4. Решить систему уравнений

Решим второе уравнение и найдем х = 2, х = 5. Подставим значение переменной х в первое уравнение и найдем соответствующее значение у.

Задание 5. Как решить систему уравнений с двумя неизвестными

При у = -2 первое уравнение не имеет решений, при у = 2 получается:

источники:

http://lektsii.org/3-97896.html

http://skysmart.ru/articles/mathematic/reshenie-sistem-uravnenij