Метод ньютона для систем нелинейных уравнений scilab

6. Нелинейные уравнения и системы в SCILAB

Тимур Лунин 5 лет назад Просмотров:

1 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB Нелинейные уравнения и системы в SCILAB Если нелинейное уравнение достаточно сложное, то отыскание его корней процесс нетривиальный. Рассмотрим, какими средствами обладает Scilab для решения этой задачи Решение нелинейных уравнений В общем случае аналитическое решение уравнения f(x)=0 можно найти только для узкого класса функций. Чаще всего приходится решать это уравнение численными методами. Численное решение уравнения проводят в два этапа: отделяют корни уравнения, т.е. находят достаточно тесные промежутки, в которых содержится только один корень, эти промежутки называют интервалами изоляции корня, определить их можно, изобразив график функции или любым другим методом основанным на том, что непрерывная функции f(x) имеет на интервале [a,b] хотя бы один корень, если она поменяла знак f(a) f(b) 2 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 2 полинома f с коэффициентом 3. —>p=poly(3,’x’,’r’); —>f=poly(3,’x’,’c’); —>p p = x —>f f = 3 Листинг 6.1. На листинге 6.2 приведены примеры создания более сложных полиномов. —>poly([1 0 2],’x’) 2 3 2x — 3x + x —>poly([1 0 2],’x’,’c’) x —>poly([-2 2],’x’) x Листинг 6.2 Листинг 6.3 содержит примеры операций с полиномами. —>p1=poly(1,’x’,’c’) p1 = 1-2x —>p2=poly(3,’x’,’c’) p2 = 3-2x —>p1/p2 1-2x x —>p1*p x + 4x Листинг 6.3 Решим несколько алгебраических уравнений. ЗАДАЧА 6.1. Найти корни полинома 2x 4 8x 3 +8x 2 1=0. Для решения этой задачи необходимо задать полином р. Сделаем это при помощи функции poly, предварительно определив вектор коэффициентов V. Обратите внимание, что в уравнении отсутствует переменная x в первой степени, это означает, что соответствующий коэффициент равен нулю. Отыскание корней полинома при помощи функции roots(p) приведено в листинге 6.4. Графическое решение, показанное на рис. 6.1 позволяет убедится,

3 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 3 что корни найдены верно. —>V=[ ]; —>p=poly(v,’x’,’c’) p = x — 8x + 2x —>X=roots(p) X =! !! !! !! ! Листинг 6.4 Рис График функции y=2x 4 8x 3 +8x 2 1 ЗАДАЧА 6.2. Найти корни полинома x x x 1=0. Решение этой задачи аналогично решению предыдущей. Разница заключается в способе вызова необходимых для этого функций. Не трудно заметить (листинг 6.5), что полином имеет один действительный и два комплексных корня, в отличии от полинома из задачи 6.1, в котором все корни действительные. Рис. 6.2 подтверждает это. —>roots(poly([ ],’x’,’c’))! !! i!! i! Листинг 6.5 ЗАДАЧА 6.3. Найти решение уравнения y(x)=0, если y(x)=x 4 18x Листинг 6.6 демонстрирует решение этой задачи. Обратите внимание на способ определения полинома.

4 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 4 Рис. 6.2.График функции y= x x x 1 —>x=poly(0,’x’); —>y=x^4-18*x^2+.6; —>roots(y)! !! !! !! ! Листинг 6.6 В Scilab существует функция fsolve(x0,f), которую так же можно применить для решения алгебраических уравнений. Подробно эта функция будет описана далее, так как ее можно использовать для решения нелинейных уравнений, отличных от алгебраических, и для решения систем линейных и нелинейных уравнений. ЗАДАЧА 6.4. Найти решение уравнения y(x)=0, если y(x)=x 5 x Решим эту задачу при помощи функции fsolve(x0,f), где x0 начальное приближение, f функция, описывающая левую часть уравнения y(x)=0. Листинг 6.7 содержит ход решения задачи. В первой строке происходит определение функции y(x) в виде исходного полинома. Во второй, вызывается команда fsolve(-2,y), для отыскания корней функции y. В качестве начального приближения задано число 2, так как не трудно определить (рис. 6.3), что полином имеет единственный действительный корень, в интервале от 2 до 1. —>deff(‘[f]=y(x)’,’f=x^5-x^3+1′) —>X=fsolve(-2,y) X = Листинг 6.7

5 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 5 Рис. 6.3.График функции y(x)=x 5 x 3 +1= x x x 1 Заметим, что заданное уравнение, кроме действительно корня, имеет и мнимые. Для отыскания всех корней полинома используйте функцию roots (листинг 6.8). —>roots(poly([ ],’x’,’c’))! i!! i!! i!! i!! ! Листинг 6.8 Далее будет рассмотрено применение функции fsolve для решения неалгебраических уравнений Трансцендентные уравнения Уравнение, в котором неизвестное входит в аргумент трансцендентных функций, называется трансцендентным уравнением. К трансцендентным уравнениям принадлежат показательные, логарифмические, тригонометрические. Рассмотрим применение функции fsolve для решения трансцендентных уравнений. ЗАДАЧА 6.5. Найти решение уравнения: ( x 1) x = 0. Выражение, стоящее в правой части уравнения можно представить в виде разности двух функций f(x) g(x)=0, где f ( x) = ( x 1), g ( x) = x. Тогда решение задачи будет выглядеть, так как показано в листинге 6.9. В качестве приближенного корня был выбран ноль, т.к. на рис. 6.4 видно, абсцисса точки пересечения линий f(x) и g(x) лежит в интервале [0;1].

6 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 6 —>deff(‘[y]=f1(x)’,’y1=((x-1)^2)^(1/3),y2=(x^2)^(1/3),y=y1-y2′) —>fsolve(0,f1) 0.5 Листинг 6.9 Рис График функций f ( x) = ( x 1) и g ( x) = x Рис ЗАДАЧА 6.6. Найти корни уравнения f(x)=e x /5 2(x-1) 2. Рис. 6.5: График функции f(x)=e x /5 2(x-1) 2 На рис видно, что график функции f(x) трижды пересекает ось абсцисс, то есть уравнение имеет три корня. Последовательно вызывая функцию fsolve с различными начальными приближениями, так как показано в листинге 6.10, получим все решения заданного уравнения. —>deff(‘[y]=f(x)’,’y=exp(x)/5-2*(x-1)^2′) —>x(1)=fsolve(0,f); —>x(2)=fsolve(2,f); —>x(3)=fsolve(5,f);

7 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 7 —>x x =! !! !! ! Листинг 6.10 Кроме того, начальные приближения можно задать в виде вектора и тогда функцию можно вызвать один раз (листинг 6.11). —>fsolve([0;2;5],f)! !! !! ! Листинг 6.11 ЗАДАЧА 6.7. Вычислить корни уравнения sin(x) 0.4x=0 в диапазоне [ 5π;5π]. Решение задачи приведено в листинге >deff(‘[y]=fff(x)’,’y=-0.4+sin(x)’) —>V=[-5*%pi:%pi:5*%pi]; —>X=fsolve(V,fff); —>X X =! ! Листинг Системы уравнений Если заданы m уравнений с n неизвестными и требуется найти последовательность из n чисел, которые одновременно удовлетворяют каждому из m уравнений, то говорят о системе уравнений. Для решения систем уравнений в Scilab так же применяют функцию fsolve(x0,f). ЗАДАЧА 6.8. Решить систему уравнений: . Графическое решение системы (рис. 6.6) показывает, что она имеет две пары корней. Окружность и гипербола пересекаются в точках [0.8;0.6] и [-0.8;-0.6]. Эти значения приблизительны. Для того чтобы уточнить их, применим функцию fsolve, предварительно определив систему с помощью файл функции (листинг 6.13). function [y]=fun(x) y(1)=x(1)^2+x(2)^2-1; y(2)=x(1)^3-x(2); endfunction —>exec(‘c:\program Files\scilab-4.0-rc1\bin\fun.sce’); disp(‘exec done’); exec done —>fsolve([ ],fun)

8 Алексеев Е.Р., Чеснокова О.В. Нелинейные уравнения и системы в SCILAB. 8 —>fsolve([ ],fun) Листинг 6.13 Рис Графики функции x 2 +y 2 =1 и x 3 y=0. ЗАДАЧА 6.9. В данной задаче исследуется система из трех нелинейных уравнений с тремя неизвестными (листинг 6.13). function [y]=fun(x) y(1)=x(1)^2+x(2)^2+x(3)^2-1 y(2)=2*x(1)^2+x(2)^2-4*x(3) y(3)=3*x(1)^2-4*x(2)+x(3)^2 endfunction —>exec(‘d:\scilab 3\fun’);disp(‘exec done’);//вызов функции exec done —>fsolve([ ],fun)//решение системы! ! Листинг 6.14

Нелинейные системы и уравнения

В более общем случае мы имеем не одно уравнение (1), а систему нелинейных уравнений $$ \begin \tag <2>f_i(x_1, x_2, \ldots, x_n) = 0, \quad i = 1, 2, \ldots n. \end $$ Обозначим через $ \mathbf = (x_1, x_2, \ldots, x_n) $ вектор неизвестных и определим вектор-функцию $ \mathbf(\mathbf) = (f_1(\mathbf), f_2(\mathbf), \ldots, f_n(\mathbf)) $. Тогда система (2) записывается в виде $$ \begin \tag <3>\mathbf(\mathbf) = 0. \end $$ Частным случаем (3) является уравнение (1) ($ n = 1 $). Второй пример (3) — система линейных алгебраических уравнений, когда $ \mathbf (\mathbf) = A \mathbf — \mathbf $.

Метод Ньютона

Решение нелинейных уравнений

При итерационном решении уравнений (1), (3) задается некоторое начальное приближение, достаточно близкое к искомому решению $ x^* $. В одношаговых итерационных методах новое приближение $ x_ $ определяется по предыдущему приближению $ x_k $. Говорят, что итерационный метод сходится с линейной скоростью, если $ x_ — x^* = O(x_k — x^*) $ и итерационный метод имеет квадратичную сходимость, если $ x_ — x^* = O(x_k — x^*)^2 $.

В итерационном методе Ньютона (методе касательных) для нового приближения имеем $$ \begin \tag <4>x_ = x_k + \frac, \quad k = 0, 1, \ldots, \end $$

Вычисления по (4) проводятся до тех пор, пока $ f(x_k) $ не станет близким к нулю. Более точно, до тех пор, пока $ |f_(x_k)| > \varepsilon $, где $ \varepsilon $ — малая величина.

Простейшая реализация метода Ньютона может выглядеть следующим образом:

Чтобы найти корень уравнения $ x^2 = 9 $ необходимо реализовать функции

Данная функция хорошо работает для приведенного примера. Однако, в общем случае могут возникать некоторые ошибки, которые нужно отлавливать. Например: пусть нужно решить уравнение $ \tanh(x) = 0 $, точное решение которого $ x = 0 $. Если $ |x_0| \leq 1.08 $, то метод сходится за шесть итераций.

Теперь зададим $ x_0 $ близким к $ 1.09 $. Возникнет переполнение

Возникнет деление на ноль, так как для $ x_7 = -126055892892.66042 $ значение $ \tanh(x_7) $ при машинном округлении равно $ 1.0 $ и поэтому $ f^\prime(x_7) = 1 — \tanh(x_7)^2 $ становится равной нулю в знаменателе.

Проблема заключается в том, что при таком начальном приближении метод Ньютона расходится.

Еще один недостаток функции naive_Newton заключается в том, что функция f(x) вызывается в два раза больше, чем необходимо.

Учитывая выше сказанное реализуем функцию с учетом следующего:

обрабатывать деление на ноль
задавать максимальное число итераций в случае расходимости метода
убрать лишний вызов функции f(x)

Метод Ньютона сходится быстро, если начальное приближение близко к решению. Выбор начального приближение влияет не только на скорость сходимости, но и на сходимость вообще. Т.е. при неправильном выборе начального приближения метод Ньютона может расходиться. Неплохой стратегией в случае, когда начальное приближение далеко от точного решения, может быть использование нескольких итераций по методу бисекций, а затем использовать метод Ньютона.

При реализации метода Ньютона нужно знать аналитическое выражение для производной $ f^\prime(x) $. Python содержит пакет SymPy, который можно использовать для создания функции dfdx . Для нашей задачи это можно реализовать следующим образом:

Решение нелинейных систем

Идея метода Ньютона для приближенного решения системы (2) заключается в следующем: имея некоторое приближение $ \pmb^ <(k)>$, мы находим следующее приближение $ \pmb^ <(k+1)>$, аппроксимируя $ \pmb(\pmb^<(k+1)>) $ линейным оператором и решая систему линейных алгебраических уравнений. Аппроксимируем нелинейную задачу $ \pmb(\pmb^<(k+1)>) = 0 $ линейной $$ \begin \tag <5>\pmb(\pmb^<(k)>) + \pmb(\pmb^<(k)>)(\pmb^ <(k+1)>— \pmb^<(k)>) = 0, \end $$ где $ \pmb(\pmb^<(k)>) $ — матрица Якоби (якобиан): $$ \pmb<\nabla F>(\pmb^<(k)>) = \begin \frac<\partial f_1(\pmb^<(k)>)> <\partial x_1>& \frac<\partial f_1(\pmb^<(k)>)> <\partial x_2>& \ldots & \frac<\partial f_1(\pmb^<(k)>)> <\partial x_n>\\ \frac<\partial f_2(\pmb^<(k)>)> <\partial x_1>& \frac<\partial f_2(\pmb^<(k)>)> <\partial x_2>& \ldots & \frac<\partial f_2(\pmb^<(k)>)> <\partial x_n>\\ \vdots & \vdots & \ldots & \vdots \\ \frac<\partial f_n(\pmb^<(k)>)> <\partial x_1>& \frac<\partial f_n(\pmb^<(k)>)> <\partial x_2>& \ldots & \frac<\partial f_n(\pmb^<(k)>)> <\partial x_n>\\ \end $$ Уравнение (5) является линейной системой с матрицей коэффициентов $ \pmb $ и вектором правой части $ -\pmb(\pmb^<(k)>) $. Систему можно переписать в виде $$ \pmb(\pmb^<(k)>)\pmb <\delta>= — \pmb(\pmb^<(k)>), $$ где $ \pmb <\delta>= \pmb^ <(k+1)>— \pmb^ <(k)>$.

Таким образом, $ k $-я итерация метода Ньютона состоит из двух стадий:

1. Решается система линейных уравнений (СЛАУ) $ \pmb(\pmb^<(k)>)\pmb <\delta>= -\pmb(\pmb^<(k)>) $ относительно $ \pmb <\delta>$.

2. Находится значение вектора на следующей итерации $ \pmb^ <(k+1)>= \pmb^ <(k)>+ \pmb <\delta>$.

Для решения СЛАУ можно использовать приближенные методы. Можно также использовать метод Гаусса. Пакет numpy содержит модуль linalg , основанный на известной библиотеке LAPACK, в которой реализованы методы линейной алгебры. Инструкция x = numpy.linalg.solve(A, b) решает систему $ Ax = b $ методом Гаусса, реализованным в библиотеке LAPACK.

Когда система нелинейных уравнений возникает при решении задач для нелинейных уравнений в частных производных, матрица Якоби часто бывает разреженной. В этом случае целесообразно использовать специальные методы для разреженных матриц или итерационные методы.

Можно также воспользоваться методами, реализованными для систем линейных уравнений.

Численные методы решения систем нелинейных уравнений

Введение

Многие прикладные задачи приводят к необходимости нахождения общего решения системы нелинейных уравнений. Общего аналитического решения системы нелинейных уравнений не найдено. Существуют лишь численные методы.

Следует отметить интересный факт о том, что любая система уравнений над действительными числами может быть представлена одним равносильным уравнением, если взять все уравнения в форме , возвести их в квадрат и сложить.

Для численного решения применяются итерационные методы последовательных приближений (простой итерации) и метод Ньютона в различных модификациях. Итерационные процессы естественным образом обобщаются на случай системы нелинейных уравнений вида:

(1)

Обозначим через вектор неизвестных и определим вектор-функцию Тогда система (1) записывается в виде уравнения:

(2)

Теперь вернёмся к всеми любимому Python и отметим его первенство среди языков программирования, которые хотят изучать [1].

Этот факт является дополнительным стимулом рассмотрения числительных методов именно на Python. Однако, среди любителей Python бытует мнение, что специальные библиотечные функции, такие как scipy.optimize.root, spsolve_trianular, newton_krylov, являются самым лучшим выбором для решения задач численными методами.

С этим трудно не согласится хотя бы потому, что в том числе и разнообразие модулей подняло Python на вершину популярности. Однако, существуют случаи, когда даже при поверхностном рассмотрении использование прямых известных методов без применения специальных функций библиотеки SciPy тоже дают неплохие результаты. Иными словами, новое- это хорошо забытое старое.

Так, в публикации [2], на основании проведенных вычислительных экспериментов, доказано, что библиотечная функция newton_krylov, предназначенная для решения больших систем нелинейных уравнений, имеет в два раза меньшее быстродействие, чем алгоритм TSLS+WD
(two-step least squares), реализованный средствами библиотеки NumPy.

Целью настоящей публикации является сравнение по числу итераций, быстродействию, а главное, по результату решения модельной задачи в виде системы из ста нелинейных алгебраических уравнений при помощи библиотечной функции scipy.optimize.root и методом Ньютона, реализованного средствами библиотеки NumPy.

Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений

Библиотечная функция scipy.optimize.root выбрана в качестве базы сравнения, потому что имеет обширную библиотеку методов, пригодных для сравнительного анализа.

scipy.optimize.root(fun, x0, args=(), method=’hybr’, jac=None, tol=None,callback=None, ptions=None)
fun — Векторная функция для поиска корня.
x0 –Начальные условия поиска корней

method:
hybr -используется модификация Пауэлл гибридный метод;
lm – решает системы нелинейных уравнений методом наименьших квадратов.
Как следует из документации [3] методы broyden1, broyden2, anderson, linearmixing, diagbroyden, excitingmixing, krylov являются точными методами Ньютона. Остальные параметры являются «не обязательными» и с ними можно ознакомится в документации.

Методы решения систем нелинейных уравнений

Приведенный далее материал действительно можно прочитать в литературе, например в [4], но я уважаю своего читателя и для его удобства приведу вывод метода по возможности в сокращенном виде. Те, кто не любит формулы, этот раздел пропускают.

В методе Ньютона новое приближение для решения системы уравнений (2) определяется из решения системы линейных уравнений:

(3)

Определим матрицу Якоби:

(4)

Запишем(3) в виде:

(5)

Многие одношаговые методы для приближенного решения (2) по аналогии с двухслойными итерационными методами для решения систем линейных алгебраических уравнений можно записать в виде:

(6)

где — итерационные параметры, a — квадратная матрица n х n, имеющая обратную.

При использовании записи (6) метод Ньютона (5) соответствует выбору:

Система линейных уравнений (5) для нахождения нового приближения может решаться итерационно. В этом случае мы имеем двухступенчатый итерационный процесс с внешними и внутренними итерациями. Например, внешний итерационный процесс может осуществляться по методу Ньютона, а внутренние итерации — на основе итерационного метода Зейделя

При решении систем нелинейных уравнений можно использовать прямые аналоги стандартных итерационных методов, которые применяются для решения систем линейных уравнений. Нелинейный метод Зейделя применительно к решению (2) дает:

(7)

В этом случае каждую компоненту нового приближения из решения нелинейного уравнения, можно получить на основе метода простой итерации и метода Ньютона в различных модификациях. Тем самым снова приходим к двухступенчатому итерационному методу, в котором внешние итерации проводятся в соответствии с методом Зейделя, а внутренние — с методом Ньютона.

Основные вычислительные сложности применения метода Ньютона для приближенного решения систем нелинейных уравнений связаны с необходимостью решения линейной системы уравнений с матрицей Якоби на каждой итерации, причем от итерации к итерации эта матрица меняется. В модифицированном методе Ньютона матрица Якоби обращается только один раз:

(8)

Выбор модельной функции

Такой выбор не является простой задачей, поскольку при увеличении числа уравнений в системе в соответствии с ростом числа переменных результат решения не должен меняться, поскольку в противном случае невозможно отследить правильность решения системы уравнений при сравнении двух методов. Привожу следующее решение для модельной функции:

Функция f создаёт систему из n нелинейных уравнений, решение которой не зависит от числа уравнений и для каждой из n переменных равно единице.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней

Только один из методов, приведенных в документации [3] прошёл тестирование по результату решения модельной функции, это метод ‘krylov’.

Решение для n=100:

Вывод: С увеличением числа уравнений вдвое заметно появление ошибок в решении. При дальнейшем увеличении n решение становится не приемлемым, что возможно из-за автоматической адаптации к шагу, эта же причина резкого падения быстродействия. Но это только моё предположение.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона

Решение для n=100:

Решение для n=200:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1.]
Newton iteration = 14
Newton method time 1.869 seconds

Чтобы убедиться в том, что программа действительно решает систему, перепишем модельную функцию для ухода от корня со значением 1 в виде:

Получим:
Solution:
[ 0.96472166 0.87777036 0.48175823 -0.26190496 -0.63693762 0.49232062
-1.31649896 0.6865098 0.89609091 0.98509235]
Newton iteration = 16
Newton method time 0.046 seconds

Вывод: Программа работает и при изменении модельной функции.

Теперь вернёмся к начальной модельной функции и проверим более широкий диапазон для n, например в 2 и 500.
n=2
Solution:
[1. 1.]
Newton iteration = 6
Newton method time 0.048 seconds
n=500

источники:

http://slemeshevsky.github.io/num-mmf/snes/html/._snes-FlatUI001.html

http://habr.com/ru/post/419453/