Приближенные итерационные методы решения нелинейных уравнений

Nickolay.info. Обучение. Лекции по численным методам. Приближённое решение нелинейных алгебраических уравнений

1. Приближенное решение нелинейных алгебраических уравнений

Дано нелинейное алгебраическое уравнение

Нелинейность уравнения означает, что график функции не есть прямая линия, т.е. в f(x) входит x в некоторой степени или под знаком функции.

Решить уравнение – это найти такое x* ∈ R: f(x*)=0. Значение x* называют корнем уравнения. Нелинейное уравнение может иметь несколько корней. Геометрическая интерпретация корней уравнения представлена на рис. 1. Корнями уравнения (1) являются точки x₁*, x₂*, x₃*, в которых функция f(x) пересекает ось x.

Методы решения нелинейного уравнения (1) можно разделить на точные (аналитические) и приближенные (итерационные). В точных методах корень представляется некоторой алгебраической формулой. Например, решение квадратных уравнений, некоторых тригонометрических уравнений и т. д.

В приближенных методах процесс нахождения решения, вообще говоря, бесконечен. Решение получается в виде бесконечной последовательности <x_n>, такой, что . По определению предела, для любого (сколь угодно малого) ε, найдется такое N, что при n>N, |x_n – x*| / (x) не меняет знак на отрезке [a, b], т.е. f(x) – монотонная функция, в этом случае отрезок [a,b] будет интервалом изоляции.

Если корней несколько, то для каждого нужно найти интервал изоляции.

Существуют различные способы исследования функции: аналитический, табличный, графический.

Аналитический способ состоит в нахождении экстремумов функции f(x), исследование ее поведения при и нахождение участков возрастания и убывания функции.

Графический способ – это построение графика функции f(x) и определение числа корней по количеству пересечений графика с осью x.

Табличный способ – это построение таблицы, состоящей из столбца аргумента x и столбца значений функции f(x). О наличии корней свидетельствуют перемены знака функции. Чтобы не произошла потеря корней, шаг изменения аргумента должен быть достаточно мелким, а интервал изменения достаточно широким.

Решить уравнение x 3 ‑ 6x 2 +3x+11=0, т.е. f(x)= x 3 ‑ 6x 2 +3x+11.

Найдем производную f / (x)=3x 2 -12x+3.

Найдем нули производной f / (x)=3x 2 -12x+3=0; D=144-4*3*3=108;

X₁== 0.268;

X₂== 3.732;

Так как f / ()>0, то f / (x)>0 при , f / (x) / (x)>0 при . Кроме того, f()= 0. Следовательно, на интервале возрастает от до f(x₁)= 3x₁ 2 -12x₁+3=11.39; на интервале — убывает до f(x₂)= 3x₂ 2 -12x₂+3=-9.39 и на интервале возрастает до , т.е. уравнение имеет три корня.

Найдем интервалы изоляции для каждого из корней.

Рассмотрим для первого корня отрезок [-2, -1]:

f(-2)= -27 0, f / (x)>0 при т.е. этот отрезок является интервалом изоляции корня.

Рассмотрим для второго корня отрезок [1, 3]:

f(1)= 9>0, f(3)= -7 / (x) 0, f / (x)>0 при т.е. этот отрезок является интервалом изоляции корня.

Итерационные методы решения нелинейных уравнений

Перечислим этапы применения метода итераций для получения корней нелинейных уравнений.

1. Доказать графическим и аналитическим методами существование единственного корня нелинейного уравнения на заданном отрезке.

2. Построить рабочие формулы метода простых итераций, метода Ньютона и модифицированного метода Ньютона, реализующие процесс поиска корня нелинейного уравнения на указанном отрезке.

3. Реализовать построенные итерационные процессы с использованием возможностей Mathcad.

Продемонстрируем выполнение некоторых этапов решения нелинейного уравнения на отрезке .

1. Воспользуемся графическим методом для отделения корня и докажем его единственность для нелинейного уравнения. Из графика функции на первом графике видно, что функция пересекает ось в одной точке, являющейся приближенным значением корня нелинейного уравнения. Но так как данная функция имеет сложный аналитический вид, то преобразуем уравнение к виду и построим два графика и , имеющих более простой аналитический вид. Абсцисса точки пересечения графиков является приближенным значением корня. Заметим, что графический метод показывает количество корней исходного уравнения, но не доказывает единственность корня на отрезке.

Аналитический метод. Функция непрерывна на отрезке , имеет на концах отрезка разные знаки, а производная функции не меняет знак на отрезке ( ). Следовательно, нелинейное уравнение имеет на указанном отрезке единственный корень.

2. Метод простых итераций. Для построения рабочей формулы перепишем уравнение в виде: . Проверим, выполняется ли достаточное условие сходимости на отрезке:

(1)

Если условие выполняется, то итерационный процесс строится по формуле

Заметим, что в точке из отрезка , значение .

Построим функцию . Константа с выбирается из условия (1). Если производная , то значение с выбирается из интервала , если производная , то – из интервала . Так как всюду положительна на отрезке, то, конкретизируя значение производной в любой точке отрезка (например ), значение с определяется из интервала . Выбрав значение , запишем рабочую формулу метода простых итераций:

(2)

Итерационный процесс (2) можно начать, задав произвольное начальное приближение . Процесс (2) заканчивается при одновременном выполнении двух условий: и . В этом случае значение является приближенным значением корня нелинейного уравнения на отрезке .

3. Метод Ньютона. В качестве начального приближения здесь выбирается правый или левый конец отрезка, в зависимости от того, в котором выполняется достаточное условие сходимости метода Ньютона вида:

(3)

Заметим, что в точке условие (3) не выполняется, а в точке — выполняется.

Следовательно, в качестве начального приближения выбирается точка . Рабочая формула метода Ньютона для данной задачи запишется так:

(4)

Условия выхода итерационного процесса (4) аналогичны условиям метода простых итераций.

4. Модифицированный метод Ньютона. Начальное приближение выбирается аналогично методу Ньютона, т.е. . Рабочая формула модифицированного метода Ньютона для данной задачи запишется так:

(5)

Условия выхода итерационного процесса (5) аналогичны условиям метода простых итераций.

Замечание: для того, чтобы сделать вывод о скорости сходимости методов, необходимо в каждом методе выбирать одинаковое начальное приближение.

Теоретические вопросы, выносимые на обсуждение

1.Какие команды обеспечивают выполнение символьных операций, которые позволяют упрощать математические выражения, содержащие алгебраические и тригонометрические функции, а также выражения со степенными многочленами.

2.Что означает упрощение.

3.С помощью какой команды можно выполнять символьные вычисления производных и определенных интегралов, заданных соответствующими операторами.

4.Дайте определение производной функции одной переменной.

5.Если речь идет о вычислении численного значения производной, то как оно производится.

6.В чем заключается геометрический смысл производной.

7.Если функции имеют разрывы в точках, то возможно ли определение производных в этих точках, и если да, то какие они.

8.Дайте определение производной второго порядка.

9.Как определяются производные третьего, четвертого и т. д. порядков, словом, производные высшего порядка.

10. Как выполняется взятие производной от функции f(х) в системе Mathcad в символьном виде.

11. Если заданы функции нескольких переменных f(х, у, z . ), то в этом случае о каких производных может идти речь.

12. С помощью каких команд возможно вычисление производных, как первого, так и высшего порядков.

13. В чем заключается геометрический смысл определенного интеграла.

14. Дать определение первообразной функции f(x).

15. Сколько первообразных существует для одной и той же функции f(х).

16. Как из одной интегральной кривой можно получить остальные.

17. С помощью каких команд возможно вычисление значений определенных интегралов приближенным численным методом.

18. Как выполняется взятие неопределенного интеграла в системе Mathcad в символьном виде.

19. С помощью какой команды возможно разложить выражение по степеням простого аргумента.

20. В каком случае команды Symbolics ► Expand и Symbolics ► Simplify являются взаимно обратными.

21. Что происходит при преобразовании выражений командой Expand.

22. С помощью какой команды можно разложить выражение или число на простые множители.

23. Что происходит при применении команды Symbolics ► Factor к полиному.

24. В чем заключается операция факторизации.

25. Как в Mathcad записывается разложение числа на простые множители.

26. В чем заключается операция Symbolics ► Collect.

27. Какая команда используется, если необходимо функцию ряда переменных представить в виде функции заданной переменной, имеющей вид степенного многочлена. Как при этом представлены другие переменные, входящие в заданную функцию.

28. Всегда ли комплектование функции нескольких переменных по базису указанной переменной возможно, и если нет, то, как об этом сообщает система Mathcad.

29. С помощью какой команды можно осуществлять подстановку вместо указанной переменной некоторое другое выражение.

30. Как выполняется подготовка к выполнению операции Symbolics ► Variable ► Substitute.

31. С помощью какой команды можно разложить выражение в ряд Тейлора относительно выделенной переменной с заданным по запросу п числом членов ряда.

32. Запишите ряд Тейлора.

33. В каком случае разложение в ряд называется рядом Маклорена.

34. Запишите ряд Маклорена.

35. Сколько членов по умолчанию выдает команда Symbolics ► Variable ► Expand to Series.

36. Как определить остаточную погрешность.

37. Как можно вычислить определенный интеграл, который не берется в явном виде.

38. Каким численным методом, встроенным в системе Mathcad, вычисляется значение определенного интеграла.

39. Как можно вычислить неопределенный интеграл, который не берется в явном виде.

40. Опишите процедуру взятия неопределенного интеграл с помощью ее разложения в ряд Тейлора и команды Simplify.

41. В чем заключается и когда применяется операция Symbolics ► Variable ► Solve .

42. В чем заключается операция Paste ► Edit.

43. В каком виде записывается результат после действия операции Paste ► Edit.

44. Перечислить этапы исследований в методе итераций для получения корней нелинейных уравнений.

45. Как используется графический метод для выделения корней нелинейного уравнения.

46. Можно ли графическим методом доказать единственность корня на отрезке.

47. Перечислите этапы аналитического метода выделения корней нелинейного уравнения и доказательства его единственности на отрезке.

48. Запишите формулу итерационного процесса.

49. Как определяется начальное значение для итерационного процесса.

50. Когда итерационный процесс завершается.

51. Запишите формулу итерационного процесса в методе Ньютона.

52. Какое достаточное условие должно выполняется, чтобы имела место сходимость метода Ньютона.

53. Как определяется начальное значение для метода Ньютона.

54. В чем заключаются условия выхода из итерационного процесса Ньютона.

55. В чем отличие итерационного процесса Ньютона от модифицированного метода Ньютона.

56. Как произвести сравнительную оценку о скорости сходимости используемых методов.

Задания к вариантам для самостоятельных работ

I Упросить:

1.	2.	3.
4.	5.	6.
7.	8.	9.
10.	11.	12.
13.	14.

II Разложить подынтегральную функцию в ряд Тейлора и вычислить определенный интеграл. Сравнить полученное значение со значением определенного интеграла вычисленного без использования разложения подынтегральной функции в ряд.

1.	2.	3.	4.	5.
6.	7.	8.	9.	10.
11.	12.	13.	14. .

III Найти все корни уравнения, изобразить функцию на координатной плоскости и указать месторасположение корней

1.	2.	3.
4.	5.	6.
7.	8.	9.
10.	11.	12.
13.	14.

IV Разложить функцию по простому аргументу х:

1. tg5x	2. sin6x	3. cos5x	4. sin8x	5. ctg7x	6. ctg4x	7. tg5x
8. cos7x	9. sin7x	10. tg4x	11. cos9x	12. tg7x	13. sin9x	14.

V Вычислить пределы:

1. а). ; б).	2. а). ; б). .
3. а). ; б).	4. а). ; б).
5. а). ; б).	6. а). ; б).
7. а). ; б).	8. а). ; б).
9. а). ; б).	10. а). ; б).
11. а). ; б).	12. а). ; б).
13. а). ; б).	14. а). ; б).

VI Вычислить неопределенный интеграл и производную подынтегральной функции

1.	2.	3.	4.
5.	6.	7.	8.
9.	10.	11.	12.
13.	14.

VII Определить количество корней исходного нелинейного уравнения графическим методом. Доказать аналитическим методом единственность корня исходного нелинейного уравнения на указанном отрезке. Построить итерационные формулы, реализующие процесс поиска корня на отрезке методом простых итераций, методом Ньютона и модифицированным методом Ньютона. Провести вычислительный эксперимент и решить уравнение с точностью и . Сделать сравнительный вывод о скорости сходимости всех трех методов.

Численные методы решения систем нелинейных уравнений

Введение

Многие прикладные задачи приводят к необходимости нахождения общего решения системы нелинейных уравнений. Общего аналитического решения системы нелинейных уравнений не найдено. Существуют лишь численные методы.

Следует отметить интересный факт о том, что любая система уравнений над действительными числами может быть представлена одним равносильным уравнением, если взять все уравнения в форме , возвести их в квадрат и сложить.

Для численного решения применяются итерационные методы последовательных приближений (простой итерации) и метод Ньютона в различных модификациях. Итерационные процессы естественным образом обобщаются на случай системы нелинейных уравнений вида:

(1)

Обозначим через вектор неизвестных и определим вектор-функцию Тогда система (1) записывается в виде уравнения:

(2)

Теперь вернёмся к всеми любимому Python и отметим его первенство среди языков программирования, которые хотят изучать [1].

Этот факт является дополнительным стимулом рассмотрения числительных методов именно на Python. Однако, среди любителей Python бытует мнение, что специальные библиотечные функции, такие как scipy.optimize.root, spsolve_trianular, newton_krylov, являются самым лучшим выбором для решения задач численными методами.

С этим трудно не согласится хотя бы потому, что в том числе и разнообразие модулей подняло Python на вершину популярности. Однако, существуют случаи, когда даже при поверхностном рассмотрении использование прямых известных методов без применения специальных функций библиотеки SciPy тоже дают неплохие результаты. Иными словами, новое- это хорошо забытое старое.

Так, в публикации [2], на основании проведенных вычислительных экспериментов, доказано, что библиотечная функция newton_krylov, предназначенная для решения больших систем нелинейных уравнений, имеет в два раза меньшее быстродействие, чем алгоритм TSLS+WD
(two-step least squares), реализованный средствами библиотеки NumPy.

Целью настоящей публикации является сравнение по числу итераций, быстродействию, а главное, по результату решения модельной задачи в виде системы из ста нелинейных алгебраических уравнений при помощи библиотечной функции scipy.optimize.root и методом Ньютона, реализованного средствами библиотеки NumPy.

Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений

Библиотечная функция scipy.optimize.root выбрана в качестве базы сравнения, потому что имеет обширную библиотеку методов, пригодных для сравнительного анализа.

scipy.optimize.root(fun, x0, args=(), method=’hybr’, jac=None, tol=None,callback=None, ptions=None)
fun — Векторная функция для поиска корня.
x0 –Начальные условия поиска корней

method:
hybr -используется модификация Пауэлл гибридный метод;
lm – решает системы нелинейных уравнений методом наименьших квадратов.
Как следует из документации [3] методы broyden1, broyden2, anderson, linearmixing, diagbroyden, excitingmixing, krylov являются точными методами Ньютона. Остальные параметры являются «не обязательными» и с ними можно ознакомится в документации.

Методы решения систем нелинейных уравнений

Приведенный далее материал действительно можно прочитать в литературе, например в [4], но я уважаю своего читателя и для его удобства приведу вывод метода по возможности в сокращенном виде. Те, кто не любит формулы, этот раздел пропускают.

В методе Ньютона новое приближение для решения системы уравнений (2) определяется из решения системы линейных уравнений:

(3)

Определим матрицу Якоби:

(4)

Запишем(3) в виде:

(5)

Многие одношаговые методы для приближенного решения (2) по аналогии с двухслойными итерационными методами для решения систем линейных алгебраических уравнений можно записать в виде:

(6)

где — итерационные параметры, a — квадратная матрица n х n, имеющая обратную.

При использовании записи (6) метод Ньютона (5) соответствует выбору:

Система линейных уравнений (5) для нахождения нового приближения может решаться итерационно. В этом случае мы имеем двухступенчатый итерационный процесс с внешними и внутренними итерациями. Например, внешний итерационный процесс может осуществляться по методу Ньютона, а внутренние итерации — на основе итерационного метода Зейделя

При решении систем нелинейных уравнений можно использовать прямые аналоги стандартных итерационных методов, которые применяются для решения систем линейных уравнений. Нелинейный метод Зейделя применительно к решению (2) дает:

(7)

В этом случае каждую компоненту нового приближения из решения нелинейного уравнения, можно получить на основе метода простой итерации и метода Ньютона в различных модификациях. Тем самым снова приходим к двухступенчатому итерационному методу, в котором внешние итерации проводятся в соответствии с методом Зейделя, а внутренние — с методом Ньютона.

Основные вычислительные сложности применения метода Ньютона для приближенного решения систем нелинейных уравнений связаны с необходимостью решения линейной системы уравнений с матрицей Якоби на каждой итерации, причем от итерации к итерации эта матрица меняется. В модифицированном методе Ньютона матрица Якоби обращается только один раз:

(8)

Выбор модельной функции

Такой выбор не является простой задачей, поскольку при увеличении числа уравнений в системе в соответствии с ростом числа переменных результат решения не должен меняться, поскольку в противном случае невозможно отследить правильность решения системы уравнений при сравнении двух методов. Привожу следующее решение для модельной функции:

Функция f создаёт систему из n нелинейных уравнений, решение которой не зависит от числа уравнений и для каждой из n переменных равно единице.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней

Только один из методов, приведенных в документации [3] прошёл тестирование по результату решения модельной функции, это метод ‘krylov’.

Решение для n=100:

Вывод: С увеличением числа уравнений вдвое заметно появление ошибок в решении. При дальнейшем увеличении n решение становится не приемлемым, что возможно из-за автоматической адаптации к шагу, эта же причина резкого падения быстродействия. Но это только моё предположение.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона

Решение для n=100:

Решение для n=200:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1.]
Newton iteration = 14
Newton method time 1.869 seconds

Чтобы убедиться в том, что программа действительно решает систему, перепишем модельную функцию для ухода от корня со значением 1 в виде:

Получим:
Solution:
[ 0.96472166 0.87777036 0.48175823 -0.26190496 -0.63693762 0.49232062
-1.31649896 0.6865098 0.89609091 0.98509235]
Newton iteration = 16
Newton method time 0.046 seconds

Вывод: Программа работает и при изменении модельной функции.

Теперь вернёмся к начальной модельной функции и проверим более широкий диапазон для n, например в 2 и 500.
n=2
Solution:
[1. 1.]
Newton iteration = 6
Newton method time 0.048 seconds
n=500

источники:

http://lektsii.org/8-72598.html

http://habr.com/ru/post/419453/