Программа для решения систем уравнений методом зейделя

Метод Зейделя на C++

Для написания программы, решающей систему линейных уравнения методом итерации или Зейделя, Вам потребуется среда разработки, например Visual Studio 2008 или Dev-C++.

Создадим новый проект пустой проект и добавим в него файл исходного кода — main.cpp со следующим содержимым

Листинг 1.1 — main.cpp

Теперь создадим заголовочный файл norm.h, содержащий прототипы функций, вычисляющих нормы матрицы, и iterat.h, содержащий прототип функции iterat() , которая считает количество итераций.

Листинг 1.2 — norm.h

Листинг 1.3 — iterat.h

Теперь добавим в проект третий заголовочный файл okr.h — в нем будет находиться прототип функции округления

Листинг 1.4 — okr.h

Создадим еще три файла — norm.cpp, iterat.cpp и okr.cpp

Листинг 1.5 — norm.cpp

В файле iterat.cpp будет описана функция, вычисляющая количество итераций по по методу Зейделя, либо по методу простых итераций.

Листинг 1.6 — iterat.cpp

И последний файл — okr.cpp, содержащий определение функции округления

Листинг 1.7 — okr.cpp

Вы можете скачать полный архив со всем файлами проекта.

МЕТОД ГАУССА-ЗЕЙДЕЛЯ: ОБЪЯСНЕНИЕ, ПРИЛОЖЕНИЯ, ПРИМЕРЫ — МАТЕМАТИКА — 2022

Метод Гаусса-Зейделя представляет собой итерационную процедуру нахождения приближенных решений системы линейных алгебраических уравнений с произвольно выбранной точностью. Этот метод применяется к квадратным матрицам с ненулевыми элементами на диагоналях, и сходимость гарантируется, если матрица диагонально доминирует.

Он был создан Карлом Фридрихом Гауссом (1777-1855), который провел частную демонстрацию одному из своих учеников в 1823 году. Позднее он был официально опубликован Филиппом Людвигом фон Зайделем (1821-1896) в 1874 году, отсюда и название обоих математиков.

Рис. 1. Метод Гаусса-Зейделя быстро сходится для получения решения системы уравнений. Источник: Ф. Сапата.

Для полного понимания метода необходимо знать, что матрица является доминирующей по диагонали, когда абсолютное значение диагонального элемента каждой строки больше или равно сумме абсолютных значений других элементов той же строки.

Математически это выражается так:

Объяснение на простом случае

Чтобы проиллюстрировать, из чего состоит метод Гаусса-Зейделя, мы возьмем простой случай, в котором значения X и Y могут быть найдены в системе линейных уравнений 2 × 2, показанной ниже:

Шаги, которым нужно следовать

1- Во-первых, необходимо определить, является ли конвергенция безопасной. Сразу видно, что это, по сути, диагонально доминирующая система, поскольку в первой строке первый коэффициент имеет более высокое абсолютное значение, чем другие в первой строке:

Аналогичным образом, второй коэффициент во второй строке также доминирует по диагонали:

2- Переменные X и Y очищены:

3- Помещается произвольное начальное значение, называемое «семя»: Xo = 1, I = 2.

4-Итерация начинается: для получения первого приближения X1, Y1 начальное число подставляется в первое уравнение этапа 2, а результат — во второе уравнение этапа 2:

X1 = (1-2 I) / 5 = (1-2 × 2) / 5 = -3/5

Y1 = X1 / 4 = (-3/5) / 4 = -3/20

5- Мы действуем аналогичным образом, чтобы получить второе приближение решения системы уравнений:

X2 = (1-2 Y1) / 5 = (1-2x (-3/20)) / 5 = 13/50

Y2 = X2 / 4 = (13/50) / 4 = 13/200

6- Третья итерация:

X3 = (1-2 Y2) / 5 = (1-2 (13/200)) / 5 = 87/500

Y3 = X3 / 4 = (87/500) / 4 = 87/2000

7- Четвертая итерация, как последняя итерация этого иллюстративного случая:

X4 = (1-2 Y3) / 5 = (1-2 (87/2000)) / 5 = 913/5000

Y4 = X4 / 4 = (913/5000) / 4 = 913/20000

Эти значения достаточно хорошо согласуются с решением, найденным другими методами разрешения. Читатель может быстро проверить это с помощью математической онлайн-программы.

Анализ метода

Как видно, в методе Гаусса-Зейделя приблизительные значения, полученные для предыдущей переменной на том же шаге, необходимо подставить в следующую переменную. Это отличает его от других итерационных методов, таких как метод Якоби, в котором каждый шаг требует приближения предыдущего этапа.

Метод Гаусса-Зейделя не является параллельной процедурой, в отличие от метода Гаусса-Жордана. Это также причина того, что метод Гаусса-Зейделя имеет более быструю сходимость — за меньшее количество шагов — чем метод Жордана.

Что касается условия диагонального преобладания матрицы, то это не всегда выполняется. Однако в большинстве случаев для выполнения условия достаточно простой замены строк из исходной системы. Более того, метод почти всегда сходится, даже если не выполняется условие диагонального доминирования.

Предыдущий результат, полученный четырьмя итерациями метода Гаусса-Зейделя, можно записать в десятичной форме:

Точное решение предложенной системы уравнений:

Таким образом, всего за 4 итерации вы получите результат с точностью до одной тысячной (0,001).

На рисунке 1 показано, как последовательные итерации быстро сходятся к точному решению.

Приложения

Метод Гаусса-Зейделя не ограничивается только системой линейных уравнений 2 × 2. Предыдущая процедура может быть обобщена для решения линейной системы из n уравнений с n неизвестными, которая представлена в виде матрицы:

А Х = Ь

Где A — это матрица размера nxn, а X — компоненты вектора n переменных, которые необходимо вычислить; а b — вектор, содержащий значения независимых членов.

Чтобы обобщить последовательность итераций, примененную в иллюстративном случае к системе nxn, из которой требуется вычислить переменную Xi, будет применяться следующая формула:

В этом уравнении:

— k — индекс значения, полученного на итерации k.

-k + 1 указывает новое значение в следующем.

Конечное количество итераций определяется, когда значение, полученное на итерации k + 1, отличается от значения, полученного непосредственно перед этим, на величину ε, которая является в точности желаемой точностью.

Примеры метода Гаусса-Зейделя

— Пример 1

Напишите общий алгоритм, позволяющий вычислить вектор приближенных решений X линейной системы уравнений nxn, учитывая матрицу коэффициентов A, вектор независимых членов b , количество итераций (i ter) и начальное значение или «seed «вектора X .

Решение

Алгоритм состоит из двух циклов «До», один для количества итераций, а другой — для количества переменных. Это было бы так:

X: = (1 / A) * (b — ∑ _{j = 1} n (A * X) + A * X)

— Пример 2

Проверьте работу предыдущего алгоритма через его приложение в бесплатной математической программе SMath Studio, доступной для Windows и Android. Возьмем в качестве примера случай с матрицей 2 × 2, который помог нам проиллюстрировать метод Гаусса-Зейделя.

Решение

Рис. 2. Решение системы уравнений для примера 2 x 2 с использованием программного обеспечения SMath Studio. Источник: Ф. Сапата.

— Пример 3

Примените алгоритм Гаусса-Зейделя для следующей системы уравнений 3 × 3, которая была предварительно упорядочена таким образом, что коэффициенты диагонали являются доминирующими (то есть имеют большее абсолютное значение, чем абсолютные значения коэффициентов тот же ряд):

9 Х1 + 2 Х2 — Х3 = -2

7 Х1 + 8 Х2 + 5 Х3 = 3

3 Х1 + 4 Х2 — 10 Х3 = 6

Используйте нулевой вектор в качестве начального числа и рассмотрите пять итераций. Прокомментируйте результат.

Решение

Рисунок 3. Решение системы уравнений решенного примера 3 с помощью SMath Studio. Источник: Ф. Сапата.

Для той же системы с 10 итерациями вместо 5 получаются следующие результаты: X1 = -0,485; X2 = 1,0123; X3 = -0,3406

Это говорит нам, что пяти итераций достаточно, чтобы получить три десятичных знака точности, и что метод быстро сходится к решению.

— Пример 4

Используя алгоритм Гаусса-Зейделя, указанный выше, найдите решение системы уравнений 4 × 4, приведенной ниже:

10 х1 — х2 + 2 х3 + 0 х4 = 6

-1 x1 + 11 x2 — 1 x3 + 3 x4 = 25

2 x1 — 1 x2 + 10 x3 — 1 x4 = -11

0 х1 + 3 х2 — 1 х3 + 8 х4 = 15

Чтобы запустить метод, используйте это семя:

x1 = 0, x2 = 0, x3 = 0 и x4 = 0

Рассмотрим 10 итераций и оценим погрешность результата, сравнивая с итерацией номер 11.

Решение

Рисунок 4. Решение системы уравнений решенного примера 4 с помощью SMath Studio. Источник: Ф. Сапата.

При сравнении со следующей итерацией (номер 11) результат идентичен. Наибольшие различия между двумя итерациями составляют порядка 2 × 10 -8 , что означает, что отображаемое решение имеет точность не менее семи десятичных знаков.

Численные методы решения систем нелинейных уравнений

Введение

Многие прикладные задачи приводят к необходимости нахождения общего решения системы нелинейных уравнений. Общего аналитического решения системы нелинейных уравнений не найдено. Существуют лишь численные методы.

Следует отметить интересный факт о том, что любая система уравнений над действительными числами может быть представлена одним равносильным уравнением, если взять все уравнения в форме , возвести их в квадрат и сложить.

Для численного решения применяются итерационные методы последовательных приближений (простой итерации) и метод Ньютона в различных модификациях. Итерационные процессы естественным образом обобщаются на случай системы нелинейных уравнений вида:

(1)

Обозначим через вектор неизвестных и определим вектор-функцию Тогда система (1) записывается в виде уравнения:

(2)

Теперь вернёмся к всеми любимому Python и отметим его первенство среди языков программирования, которые хотят изучать [1].

Этот факт является дополнительным стимулом рассмотрения числительных методов именно на Python. Однако, среди любителей Python бытует мнение, что специальные библиотечные функции, такие как scipy.optimize.root, spsolve_trianular, newton_krylov, являются самым лучшим выбором для решения задач численными методами.

С этим трудно не согласится хотя бы потому, что в том числе и разнообразие модулей подняло Python на вершину популярности. Однако, существуют случаи, когда даже при поверхностном рассмотрении использование прямых известных методов без применения специальных функций библиотеки SciPy тоже дают неплохие результаты. Иными словами, новое- это хорошо забытое старое.

Так, в публикации [2], на основании проведенных вычислительных экспериментов, доказано, что библиотечная функция newton_krylov, предназначенная для решения больших систем нелинейных уравнений, имеет в два раза меньшее быстродействие, чем алгоритм TSLS+WD
(two-step least squares), реализованный средствами библиотеки NumPy.

Целью настоящей публикации является сравнение по числу итераций, быстродействию, а главное, по результату решения модельной задачи в виде системы из ста нелинейных алгебраических уравнений при помощи библиотечной функции scipy.optimize.root и методом Ньютона, реализованного средствами библиотеки NumPy.

Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений

Библиотечная функция scipy.optimize.root выбрана в качестве базы сравнения, потому что имеет обширную библиотеку методов, пригодных для сравнительного анализа.

scipy.optimize.root(fun, x0, args=(), method=’hybr’, jac=None, tol=None,callback=None, ptions=None)
fun — Векторная функция для поиска корня.
x0 –Начальные условия поиска корней

method:
hybr -используется модификация Пауэлл гибридный метод;
lm – решает системы нелинейных уравнений методом наименьших квадратов.
Как следует из документации [3] методы broyden1, broyden2, anderson, linearmixing, diagbroyden, excitingmixing, krylov являются точными методами Ньютона. Остальные параметры являются «не обязательными» и с ними можно ознакомится в документации.

Методы решения систем нелинейных уравнений

Приведенный далее материал действительно можно прочитать в литературе, например в [4], но я уважаю своего читателя и для его удобства приведу вывод метода по возможности в сокращенном виде. Те, кто не любит формулы, этот раздел пропускают.

В методе Ньютона новое приближение для решения системы уравнений (2) определяется из решения системы линейных уравнений:

(3)

Определим матрицу Якоби:

(4)

Запишем(3) в виде:

(5)

Многие одношаговые методы для приближенного решения (2) по аналогии с двухслойными итерационными методами для решения систем линейных алгебраических уравнений можно записать в виде:

(6)

где — итерационные параметры, a — квадратная матрица n х n, имеющая обратную.

При использовании записи (6) метод Ньютона (5) соответствует выбору:

Система линейных уравнений (5) для нахождения нового приближения может решаться итерационно. В этом случае мы имеем двухступенчатый итерационный процесс с внешними и внутренними итерациями. Например, внешний итерационный процесс может осуществляться по методу Ньютона, а внутренние итерации — на основе итерационного метода Зейделя

При решении систем нелинейных уравнений можно использовать прямые аналоги стандартных итерационных методов, которые применяются для решения систем линейных уравнений. Нелинейный метод Зейделя применительно к решению (2) дает:

(7)

В этом случае каждую компоненту нового приближения из решения нелинейного уравнения, можно получить на основе метода простой итерации и метода Ньютона в различных модификациях. Тем самым снова приходим к двухступенчатому итерационному методу, в котором внешние итерации проводятся в соответствии с методом Зейделя, а внутренние — с методом Ньютона.

Основные вычислительные сложности применения метода Ньютона для приближенного решения систем нелинейных уравнений связаны с необходимостью решения линейной системы уравнений с матрицей Якоби на каждой итерации, причем от итерации к итерации эта матрица меняется. В модифицированном методе Ньютона матрица Якоби обращается только один раз:

(8)

Выбор модельной функции

Такой выбор не является простой задачей, поскольку при увеличении числа уравнений в системе в соответствии с ростом числа переменных результат решения не должен меняться, поскольку в противном случае невозможно отследить правильность решения системы уравнений при сравнении двух методов. Привожу следующее решение для модельной функции:

Функция f создаёт систему из n нелинейных уравнений, решение которой не зависит от числа уравнений и для каждой из n переменных равно единице.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней

Только один из методов, приведенных в документации [3] прошёл тестирование по результату решения модельной функции, это метод ‘krylov’.

Решение для n=100:

Вывод: С увеличением числа уравнений вдвое заметно появление ошибок в решении. При дальнейшем увеличении n решение становится не приемлемым, что возможно из-за автоматической адаптации к шагу, эта же причина резкого падения быстродействия. Но это только моё предположение.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона

Решение для n=100:

Решение для n=200:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1.]
Newton iteration = 14
Newton method time 1.869 seconds

Чтобы убедиться в том, что программа действительно решает систему, перепишем модельную функцию для ухода от корня со значением 1 в виде:

Получим:
Solution:
[ 0.96472166 0.87777036 0.48175823 -0.26190496 -0.63693762 0.49232062
-1.31649896 0.6865098 0.89609091 0.98509235]
Newton iteration = 16
Newton method time 0.046 seconds

Вывод: Программа работает и при изменении модельной функции.

Теперь вернёмся к начальной модельной функции и проверим более широкий диапазон для n, например в 2 и 500.
n=2
Solution:
[1. 1.]
Newton iteration = 6
Newton method time 0.048 seconds
n=500

источники:

http://ru.journalmural.com/m-todo-de-gauss-seidel

http://habr.com/ru/post/419453/