Численные методы линейная алгебра и нелинейные уравнения

Численные методы линейной алгебры. Методы решений нелинейных уравнений и систем. Лекция 3: — презентация

Презентация была опубликована 7 лет назад пользователемРоза Ядугина

Презентация на тему: » Численные методы линейной алгебры. Методы решений нелинейных уравнений и систем. Лекция 3:» — Транскрипт:

1 Численные методы линейной алгебры. Методы решений нелинейных уравнений и систем. Лекция 3:

2 К численным методам линейной алгебры относятся численные методы решения систем линейных алгебраических уравнений, обращение матриц, вычисление определителей, нахождение собственных значений и собственных векторов матриц. Численные методы решения систем линейных алгебраических уравнений разделяются на две группы: Точные или прямые методы, которые позволяют найти решение системы линейных алгебраических уравнений за конечное число арифметических действий. Сюда относятся метод Крамера (нахождение решения систем с помощью определителей), метод Гаусса, метод прогонки. Приближенные методы. В частности итерационные методы решения систем алгебраических уравнений. Правило Крамера в вычислительной математике с использованием ЭВМ не применяется, т.к. оно требует использования большого числа операций и объемов памяти. Метод Гаусса используется для решения СЛАУ размерности. Итерационными методами решаются системы размерностью. Методом прогонки решаются системы линейных алгебраических уравнений специального вида, содержащие трехдиагональные матрицы.

3 П.1 Метод простой итерации. Рассмотрим систему линейных алгебраических уравнений n – го порядка, записанную в виде: (3.1), где — квадратичная числовая матрица n – порядка. — n – мерный вектор, неизвестная величина, которую требуется найти. — n – мерный вектор (известный, заданный столбец свободных членов). Задав начальное приближение, итерационный процесс нахождения приближенного решения (3.1) сформулируем следующим образом: (3.2) Выясним, при каких условиях на матрицу, решение найденное по методу простой итерации будет сходиться к решению задачи (3.1).

4 Практическая схема решения СЛАУ методом простой итерации Рассмотрим для простоты систему, состоящую из трёх уравнений с тремя неизвестными: 1). Преобразуем эту систему к системе вида: (3.3) где (3.4)

5 Этого можно добиться: 1) переставляя столбцы исходной системы; 2) меняя строки; 3) делая линейную комбинацию из строк. 2) из первого уравнения (3.3) выразим ; из второго уравнения (3.3) выразим ; из третьего уравнения (3.3) выразим ; Получим: Правая часть этой системы имеет нормальную матрицу

6 Учитывая (3.4) и обозначив через – точное решение, а через – n – тую итерацию, будем иметь Найдя с помощью вышеуказанного равенства, а также, выясним при каком номере N будет выполняться неравенство: Метод нахождения на n – й итерации имеет вид: В процессе выполнения этого итерационного процесса, на каждом шаге находим разность. Когда выполнение итерационного процесса прекращаем, решение найдено с заданной точностью.

7 3) На практике часто используется итерационный процесс Гаусса – Зейделя, который имеет вид: (3.5) Выясним при каких условиях сходится метод Гаусса – Зейделя. Теорема 3.1: Для того, чтобы решение по методу Гаусса – Зейделя существовало и было единственно, и для того, чтобы итерационный процесс (3.5) сходился, достаточно выполнение условий (3.4).

8 Методы решений нелинейных уравнений и систем п.1 Задача отделения корней Пусть требуется решить уравнение с одной неизвестной:, где — заданная функция. Задача определения корней для уравнения (3.6) f(x)=0 состоит в определении отрезков, которые содержат один и только один корень этого уравнения. Теорема 3.2: Пусть ф., f(a)f(b)

10 П.2. Метод Ньютона (метод касательных ) Пусть, f(a) f(b)

11 п.3. Метод хорд (метод секущих) П о методу хорд (k+1)е приближение решения находится с помощью равенства:

12 П.4 Комбинированный метод При использовании методов Ньютона и секущих мы приближаемся к точному решению с одной стороны. Комбинированный способ состоит в попеременном применении метода Ньютона и секущих, тогда приближение идет с двух сторон. При комбинированном методе приближение начинают делать с метода касательных. Точность вычислений. Пусть требуется решать уравнение (3.6) с точностью ε. ε= При использовании комбинированного метода точность приближения определяется формулой В качестве корня выбирается:

13 п.5. Метод итераций Пусть требуется решить уравнение (3.7), которое может не иметь решения, иметь одно решение или иметь бесконечное множество решений. Сформулируем теорему, которая дает достаточное условие, при котором это уравнение имеет единственное решение и укажем итерационный процесс для нахождения приближенного решения этого уравнения. Определение 3.1: Будем говорить, что ф. f(x) на [a,b] удовлетворяет условию Липшица с постоянной α, если будет справедливо неравенство: (3.8) Теорема 3.3: ] ф. на удовлетворяет условию Липшица с постоянной, тогда уравнение имеет единственное решение, причем, где, при этом имеют место оценки:

14 Литература Е. А. Волков Численные методы, М. Наука, 1987 ( либо последующие издания ): & 4-12, 15, 19-22, 24,25,

Численные методы решения систем нелинейных уравнений

Введение

Многие прикладные задачи приводят к необходимости нахождения общего решения системы нелинейных уравнений. Общего аналитического решения системы нелинейных уравнений не найдено. Существуют лишь численные методы.

Следует отметить интересный факт о том, что любая система уравнений над действительными числами может быть представлена одним равносильным уравнением, если взять все уравнения в форме , возвести их в квадрат и сложить.

Для численного решения применяются итерационные методы последовательных приближений (простой итерации) и метод Ньютона в различных модификациях. Итерационные процессы естественным образом обобщаются на случай системы нелинейных уравнений вида:

(1)

Обозначим через вектор неизвестных и определим вектор-функцию Тогда система (1) записывается в виде уравнения:

(2)

Теперь вернёмся к всеми любимому Python и отметим его первенство среди языков программирования, которые хотят изучать [1].

Этот факт является дополнительным стимулом рассмотрения числительных методов именно на Python. Однако, среди любителей Python бытует мнение, что специальные библиотечные функции, такие как scipy.optimize.root, spsolve_trianular, newton_krylov, являются самым лучшим выбором для решения задач численными методами.

С этим трудно не согласится хотя бы потому, что в том числе и разнообразие модулей подняло Python на вершину популярности. Однако, существуют случаи, когда даже при поверхностном рассмотрении использование прямых известных методов без применения специальных функций библиотеки SciPy тоже дают неплохие результаты. Иными словами, новое- это хорошо забытое старое.

Так, в публикации [2], на основании проведенных вычислительных экспериментов, доказано, что библиотечная функция newton_krylov, предназначенная для решения больших систем нелинейных уравнений, имеет в два раза меньшее быстродействие, чем алгоритм TSLS+WD
(two-step least squares), реализованный средствами библиотеки NumPy.

Целью настоящей публикации является сравнение по числу итераций, быстродействию, а главное, по результату решения модельной задачи в виде системы из ста нелинейных алгебраических уравнений при помощи библиотечной функции scipy.optimize.root и методом Ньютона, реализованного средствами библиотеки NumPy.

Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений

Библиотечная функция scipy.optimize.root выбрана в качестве базы сравнения, потому что имеет обширную библиотеку методов, пригодных для сравнительного анализа.

scipy.optimize.root(fun, x0, args=(), method=’hybr’, jac=None, tol=None,callback=None, ptions=None)
fun — Векторная функция для поиска корня.
x0 –Начальные условия поиска корней

method:
hybr -используется модификация Пауэлл гибридный метод;
lm – решает системы нелинейных уравнений методом наименьших квадратов.
Как следует из документации [3] методы broyden1, broyden2, anderson, linearmixing, diagbroyden, excitingmixing, krylov являются точными методами Ньютона. Остальные параметры являются «не обязательными» и с ними можно ознакомится в документации.

Методы решения систем нелинейных уравнений

Приведенный далее материал действительно можно прочитать в литературе, например в [4], но я уважаю своего читателя и для его удобства приведу вывод метода по возможности в сокращенном виде. Те, кто не любит формулы, этот раздел пропускают.

В методе Ньютона новое приближение для решения системы уравнений (2) определяется из решения системы линейных уравнений:

(3)

Определим матрицу Якоби:

(4)

Запишем(3) в виде:

(5)

Многие одношаговые методы для приближенного решения (2) по аналогии с двухслойными итерационными методами для решения систем линейных алгебраических уравнений можно записать в виде:

(6)

где — итерационные параметры, a — квадратная матрица n х n, имеющая обратную.

При использовании записи (6) метод Ньютона (5) соответствует выбору:

Система линейных уравнений (5) для нахождения нового приближения может решаться итерационно. В этом случае мы имеем двухступенчатый итерационный процесс с внешними и внутренними итерациями. Например, внешний итерационный процесс может осуществляться по методу Ньютона, а внутренние итерации — на основе итерационного метода Зейделя

При решении систем нелинейных уравнений можно использовать прямые аналоги стандартных итерационных методов, которые применяются для решения систем линейных уравнений. Нелинейный метод Зейделя применительно к решению (2) дает:

(7)

В этом случае каждую компоненту нового приближения из решения нелинейного уравнения, можно получить на основе метода простой итерации и метода Ньютона в различных модификациях. Тем самым снова приходим к двухступенчатому итерационному методу, в котором внешние итерации проводятся в соответствии с методом Зейделя, а внутренние — с методом Ньютона.

Основные вычислительные сложности применения метода Ньютона для приближенного решения систем нелинейных уравнений связаны с необходимостью решения линейной системы уравнений с матрицей Якоби на каждой итерации, причем от итерации к итерации эта матрица меняется. В модифицированном методе Ньютона матрица Якоби обращается только один раз:

(8)

Выбор модельной функции

Такой выбор не является простой задачей, поскольку при увеличении числа уравнений в системе в соответствии с ростом числа переменных результат решения не должен меняться, поскольку в противном случае невозможно отследить правильность решения системы уравнений при сравнении двух методов. Привожу следующее решение для модельной функции:

Функция f создаёт систему из n нелинейных уравнений, решение которой не зависит от числа уравнений и для каждой из n переменных равно единице.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней

Только один из методов, приведенных в документации [3] прошёл тестирование по результату решения модельной функции, это метод ‘krylov’.

Решение для n=100:

Вывод: С увеличением числа уравнений вдвое заметно появление ошибок в решении. При дальнейшем увеличении n решение становится не приемлемым, что возможно из-за автоматической адаптации к шагу, эта же причина резкого падения быстродействия. Но это только моё предположение.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона

Решение для n=100:

Решение для n=200:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1.]
Newton iteration = 14
Newton method time 1.869 seconds

Чтобы убедиться в том, что программа действительно решает систему, перепишем модельную функцию для ухода от корня со значением 1 в виде:

Получим:
Solution:
[ 0.96472166 0.87777036 0.48175823 -0.26190496 -0.63693762 0.49232062
-1.31649896 0.6865098 0.89609091 0.98509235]
Newton iteration = 16
Newton method time 0.046 seconds

Вывод: Программа работает и при изменении модельной функции.

Теперь вернёмся к начальной модельной функции и проверим более широкий диапазон для n, например в 2 и 500.
n=2
Solution:
[1. 1.]
Newton iteration = 6
Newton method time 0.048 seconds
n=500

источники:

http://habr.com/ru/post/419453/