Системы нелинейных уравнений и их приближенное решение

Численные методы решения систем нелинейных уравнений

Введение

Многие прикладные задачи приводят к необходимости нахождения общего решения системы нелинейных уравнений. Общего аналитического решения системы нелинейных уравнений не найдено. Существуют лишь численные методы.

Следует отметить интересный факт о том, что любая система уравнений над действительными числами может быть представлена одним равносильным уравнением, если взять все уравнения в форме , возвести их в квадрат и сложить.

Для численного решения применяются итерационные методы последовательных приближений (простой итерации) и метод Ньютона в различных модификациях. Итерационные процессы естественным образом обобщаются на случай системы нелинейных уравнений вида:

(1)

Обозначим через вектор неизвестных и определим вектор-функцию Тогда система (1) записывается в виде уравнения:

(2)

Теперь вернёмся к всеми любимому Python и отметим его первенство среди языков программирования, которые хотят изучать [1].

Этот факт является дополнительным стимулом рассмотрения числительных методов именно на Python. Однако, среди любителей Python бытует мнение, что специальные библиотечные функции, такие как scipy.optimize.root, spsolve_trianular, newton_krylov, являются самым лучшим выбором для решения задач численными методами.

С этим трудно не согласится хотя бы потому, что в том числе и разнообразие модулей подняло Python на вершину популярности. Однако, существуют случаи, когда даже при поверхностном рассмотрении использование прямых известных методов без применения специальных функций библиотеки SciPy тоже дают неплохие результаты. Иными словами, новое- это хорошо забытое старое.

Так, в публикации [2], на основании проведенных вычислительных экспериментов, доказано, что библиотечная функция newton_krylov, предназначенная для решения больших систем нелинейных уравнений, имеет в два раза меньшее быстродействие, чем алгоритм TSLS+WD
(two-step least squares), реализованный средствами библиотеки NumPy.

Целью настоящей публикации является сравнение по числу итераций, быстродействию, а главное, по результату решения модельной задачи в виде системы из ста нелинейных алгебраических уравнений при помощи библиотечной функции scipy.optimize.root и методом Ньютона, реализованного средствами библиотеки NumPy.

Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений

Библиотечная функция scipy.optimize.root выбрана в качестве базы сравнения, потому что имеет обширную библиотеку методов, пригодных для сравнительного анализа.

scipy.optimize.root(fun, x0, args=(), method=’hybr’, jac=None, tol=None,callback=None, ptions=None)
fun — Векторная функция для поиска корня.
x0 –Начальные условия поиска корней

method:
hybr -используется модификация Пауэлл гибридный метод;
lm – решает системы нелинейных уравнений методом наименьших квадратов.
Как следует из документации [3] методы broyden1, broyden2, anderson, linearmixing, diagbroyden, excitingmixing, krylov являются точными методами Ньютона. Остальные параметры являются «не обязательными» и с ними можно ознакомится в документации.

Методы решения систем нелинейных уравнений

Приведенный далее материал действительно можно прочитать в литературе, например в [4], но я уважаю своего читателя и для его удобства приведу вывод метода по возможности в сокращенном виде. Те, кто не любит формулы, этот раздел пропускают.

В методе Ньютона новое приближение для решения системы уравнений (2) определяется из решения системы линейных уравнений:

(3)

Определим матрицу Якоби:

(4)

Запишем(3) в виде:

(5)

Многие одношаговые методы для приближенного решения (2) по аналогии с двухслойными итерационными методами для решения систем линейных алгебраических уравнений можно записать в виде:

(6)

где — итерационные параметры, a — квадратная матрица n х n, имеющая обратную.

При использовании записи (6) метод Ньютона (5) соответствует выбору:

Система линейных уравнений (5) для нахождения нового приближения может решаться итерационно. В этом случае мы имеем двухступенчатый итерационный процесс с внешними и внутренними итерациями. Например, внешний итерационный процесс может осуществляться по методу Ньютона, а внутренние итерации — на основе итерационного метода Зейделя

При решении систем нелинейных уравнений можно использовать прямые аналоги стандартных итерационных методов, которые применяются для решения систем линейных уравнений. Нелинейный метод Зейделя применительно к решению (2) дает:

(7)

В этом случае каждую компоненту нового приближения из решения нелинейного уравнения, можно получить на основе метода простой итерации и метода Ньютона в различных модификациях. Тем самым снова приходим к двухступенчатому итерационному методу, в котором внешние итерации проводятся в соответствии с методом Зейделя, а внутренние — с методом Ньютона.

Основные вычислительные сложности применения метода Ньютона для приближенного решения систем нелинейных уравнений связаны с необходимостью решения линейной системы уравнений с матрицей Якоби на каждой итерации, причем от итерации к итерации эта матрица меняется. В модифицированном методе Ньютона матрица Якоби обращается только один раз:

(8)

Выбор модельной функции

Такой выбор не является простой задачей, поскольку при увеличении числа уравнений в системе в соответствии с ростом числа переменных результат решения не должен меняться, поскольку в противном случае невозможно отследить правильность решения системы уравнений при сравнении двух методов. Привожу следующее решение для модельной функции:

Функция f создаёт систему из n нелинейных уравнений, решение которой не зависит от числа уравнений и для каждой из n переменных равно единице.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней

Только один из методов, приведенных в документации [3] прошёл тестирование по результату решения модельной функции, это метод ‘krylov’.

Решение для n=100:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1.]
Krylov method iteration = 4219
Optimize root time 7.239 seconds:

Вывод: С увеличением числа уравнений вдвое заметно появление ошибок в решении. При дальнейшем увеличении n решение становится не приемлемым, что возможно из-за автоматической адаптации к шагу, эта же причина резкого падения быстродействия. Но это только моё предположение.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона

Решение для n=100:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1.]
Newton iteration = 13
Newton method time 0.496 seconds

Решение для n=200:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1.]
Newton iteration = 14
Newton method time 1.869 seconds

Чтобы убедиться в том, что программа действительно решает систему, перепишем модельную функцию для ухода от корня со значением 1 в виде:

Получим:
Solution:
[ 0.96472166 0.87777036 0.48175823 -0.26190496 -0.63693762 0.49232062
-1.31649896 0.6865098 0.89609091 0.98509235]
Newton iteration = 16
Newton method time 0.046 seconds

Вывод: Программа работает и при изменении модельной функции.

Теперь вернёмся к начальной модельной функции и проверим более широкий диапазон для n, например в 2 и 500.
n=2
Solution:
[1. 1.]
Newton iteration = 6
Newton method time 0.048 seconds
n=500

5.1. Приближённое решение систем нелинейных уравнений. Метод Ньютона

Рассмотрим нелинейную систему уравнений

(5.1)

С действительными левыми частями. Систему (5.1) можно представить в матричном виде

(5.2)

Здесь приняты следующие обозначения:

— вектор аргументов, а — вектор – функция.

Для решения системы (5.2) воспользуемся методом последовательных приближений. Предположим, что найдено Р-ое приближение Xp = (X1(P), X2(P) , . Xn(P)) одного из изолированных корней X = (X1, X2, X3, . Xn) векторного уравнения (5.2). Тогда точный корень уравнения (5.2) можно представить в виде

(5.3)

Где — поправка (погрешность) корня на N – ом шаге.

Подставив выражение (5.3) в (5.2), получим

(5.4)

Предположим, что функция F(X) — непрерывно дифференцируема в некоторой выпуклой области, содержащей X и X(P). Тогда левую часть уравнения (5.4) разложим в ряд Тейлора по степеням малого вектора ε(P), ограничиваясь линейными членами:

, (5.5)

Или в развернутом виде:

(5.6)

Из анализа формул (5.5) и (5.6) следует, что под производной F¢(X) следует понимать матрицу Якоби системы функций F1 , F2, . Fn, относительно переменных X1, X2, X3, . Xn, то есть:

. (5.7)

Выражение (5.7) в краткой записи можно представить:

(5.8)

Выражение (5.6) представляет собой линейную систему относительно поправок (I = 1, 2, . N) с матрицей W(X), поэтому формула (5.5) может быть записана в следующем виде:

(5.9)

Отсюда, предполагая, что матрица W(X(P)) — неособенная, получим:

(5.10)

Теперь, подставив выражение (5.10) в формулу (5.3), окончательно получим:

(5.11)

Таким образом, получили вычислительную формулу (метод Ньютона), где в качестве нулевого приближения X(0) можно взять приближенное (грубое) значение искомого корня.

Пример 5.1. Рассмотрим применение метода Ньютона на примере системы двух нелинейных уравнений

(5.12)

Прежде чем разбирать конкретные шаги по решению системы (5.12), распишем в общем виде якобиан для системы из двух уравнений

Здесь A, B, C, D – функционалы от переменных X1, x2. Нас фактически интересует W-1. Пусть матрица W— неособенная, тогда обратная матрица вычисляется

Теперь вернемся к системе (5.12). Графическое решение этой системы дает две точки пересечения: М1 (1.4; -1.5) и М2 (3.4; 2.2). Зададим начальное приближение:

Системы с нелинейными уравнениями

Нелинейные уравнения с двумя неизвестными

Системы из двух уравнений, одно из которых линейное

Однородные уравнения второй степени с двумя неизвестными

Системы из двух уравнений, одно из которых однородное

Системы из двух уравнений, сводящиеся к системам, в которых одно из уравнений однородное

Примеры решения систем уравнений других видов

Нелинейные уравнения с двумя неизвестными

Определение 1 . Пусть A – некоторое множество пар чисел (x ; y) . Говорят, что на множестве A задана числовая функция z от двух переменных x и y , если указано правило, с помощью которого каждой паре чисел из множества A ставится в соответствие некоторое число.

Задание числовой функции z от двух переменных x и y часто обозначают так:

причем в записи (1) числа x и y называют аргументами функции , а число z – значением функции , соответствующим паре аргументов (x ; y) .

Определение 2 . Нелинейным уравнением с двумя неизвестными x и y называют уравнение вида

где f (x , y) – любая функция, отличная от функции

где a , b , c – заданные числа.

Определение 3 . Решением уравнения (2) называют пару чисел (x ; y) , для которых формула (2) является верным равенством.

Пример 1 . Решить уравнение

Решение . Преобразуем левую часть уравнения (3):

Таким образом, уравнение (3) можно переписать в виде

Поскольку квадрат любого числа неотрицателен, то из формулы (4) вытекает, что неизвестные x и y удовлетворяют системе уравнений

решением которой служит пара чисел (6 ; 3) .

Пример 2 . Решить уравнение

вытекает, что уравнение (5) решений не имеет.

Ответ : Решений нет.

Пример 3 . Решить уравнение

Следовательно, решением уравнения (6) является бесконечное множество пар чисел вида

где y – любое число.

Системы из двух уравнений, одно из которых линейное

Определение 4 . Решением системы уравнений

называют пару чисел (x ; y) , при подстановке которых в каждое из уравнений этой системы получается верное равенство.

Системы из двух уравнений, одно из которых линейное, имеют вид

где a , b , c – заданные числа, а g(x , y) – функция двух переменных x и y .

Пример 4 . Решить систему уравнений

(7)

Решение . Выразим из первого уравнения системы (7) неизвестное y через неизвестное x и подставим полученное выражение во второе уравнение системы:

Таким образом, решениями системы (7) являются две пары чисел

и

Ответ : (– 1 ; 9) , (9 ; – 1)

Однородные уравнения второй степени с двумя неизвестными

Определение 5 . Однородным уравнением второй степени с двумя неизвестными x и y называют уравнение вида

где a , b , c – заданные числа.

Пример 5 . Решить уравнение

Решение . Для каждого значения y рассмотрим уравнение (8) как квадратное уравнение относительно неизвестного x . Тогда дискриминант D квадратного уравнения (8) будет выражаться по формуле

откуда с помощью формулы для корней квадратного уравнения найдем корни уравнения (8):

Ответ . Решениями уравнения (8) являются все пары чисел вида

( y ; y) или

где y – любое число.

Следствие . Левую часть уравнения (8) можно разложить на множители

Системы из двух уравнений, одно из которых однородное

Системы из двух уравнений, одно из которых однородное, имеют вид

где a , b , c – заданные числа, а g(x , y) – функция двух переменных x и y .

Пример 6 . Решить систему уравнений

(9)

рассматривая его как квадратное уравнение относительно неизвестного x :

.

В случае, когда x = – y , из второго уравнения системы (9) получаем уравнение

корнями которого служат числа y₁ = 2 , y₂ = – 2 . Находя для каждого из этих значений y соответствующее ему значение x , получаем два решения системы: (– 2 ; 2) , (2 ; – 2) .

,

из второго уравнения системы (9) получаем уравнение

которое корней не имеет.

Ответ : (– 2 ; 2) , (2 ; – 2)

Системы из двух уравнений, сводящиеся к системам, в которых одно из уравнений однородное

Пример 7 . Решить систему уравнений

(10)

Решение . Совершим над системой (10) следующие преобразования:

• второе уравнение системы оставим без изменений;
• к первому уравнению, умноженному на 5 , прибавим второе уравнение, умноженное на 3 , и запишем полученный результат вместо первого уравнения системы (10).

В результате система (10) преобразуется в равносильную ей систему (11), в которой первое уравнение является однородным уравнением:

(11)

рассматривая его как квадратное уравнение относительно неизвестного x :

.

В случае, когда x = – 5y , из второго уравнения системы (11) получаем уравнение

которое корней не имеет.

,

из второго уравнения системы (11) получаем уравнение

,

корнями которого служат числа y₁ = 3 , y₂ = – 3 . Находя для каждого из этих значений y соответствующее ему значение x , получаем два решения системы: (– 2 ; 3) , (2 ; – 3) .

Ответ : (– 2 ; 3) , (2 ; – 3)

Примеры решения систем уравнений других видов

Пример 8 . Решить систему уравнений (МФТИ)

Решение . Введем новые неизвестные u и v , которые выражаются через x и y по формулам:

(13)

Для того, чтобы переписать систему (12) через новые неизвестные, выразим сначала неизвестные x и y через u и v . Из системы (13) следует, что

(14)

Решим линейную систему (14), исключив из второго уравнения этой системы переменную x . С этой целью совершим над системой (14) следующие преобразования:

• первое уравнение системы оставим без изменений;
• из второго уравнения вычтем первое уравнение и заменим второе уравнение системы на полученную разность.

В результате система (14) преобразуется в равносильную ей систему

из которой находим

(15)

Воспользовавшись формулами (13) и (15), перепишем исходную систему (12) в виде

(16)

У системы (16) первое уравнение – линейное, поэтому мы можем выразить из него неизвестное u через неизвестное v и подставить это выражение во второе уравнение системы:

Следовательно, решениями системы (16) являются две пары чисел

Из формул (13) вытекает, что , поэтому первое решение должно быть отброшено. В случае u₂ = 5, v₂ = 2 из формул (15) находим значения x и y :

Определение 6 . Решением системы из двух уравнений с тремя неизвестными называют тройку чисел (x ; y ; z) , при подстановке которых в каждое уравнение системы получается верное равенство.

Пример 9 . Решить систему из двух уравнений с тремя неизвестными

(17)

Решение . У системы (17) первое уравнение – линейное, поэтому мы можем выразить из него неизвестное z через неизвестные x и y и подставить это выражение во второе уравнение системы:

(18)

Перепишем второе уравнение системы (18) в другом виде:

Поскольку квадрат любого числа неотрицателен, то выполнение последнего равенства возможно лишь в случае x = 4, y = 4 .

Ответ : (4 ; 4 ; – 4)

Замечание . Рекомендуем посетителю нашего сайта, интересующемуся методами решения систем уравнений, ознакомиться также c разделом справочника «Системы линейных уравнений» и нашим учебным пособием «Системы уравнений».