Решение уравнения двух переменных методом ньютона

Метод Ньютона

Инструкция . Введите выражение F(x) , нажмите Далее . Полученное решение сохраняется в файле Word . Также создается шаблон решения в Excel .

• Решение онлайн
• Видеоинструкция
• Оформление Word

Правила ввода функции, заданной в явном виде

2. Примеры правильного написания F(x) :
   1. 10•x•e 2x = 10*x*exp(2*x)
   2. x•e -x +cos(3x) = x*exp(-x)+cos(3*x)
   3. x 3 -x 2 +3 = x^3-x^2+3
   4. Выражение 0.9*x=sin(x)+1 необходимо преобразовать к виду: sin(x)+1-0.9*x . Аналогично, x^2-7=5-3x к виду x^2+3x-12 .

   Пусть дано уравнение f(x)=0 , где f(x) определено и непрерывно в некотором конечном или бесконечном интервале a ≤ x ≤ b . Всякое значение ξ, обращающее функцию f(x) в нуль, то есть такое, что f(ξ)=0 называется корнем уравнения или нулем функции f(x) . Число ξ называется корнем k -ой кратности, если при x = ξ вместе с функцией f(x) обращаются в нуль ее производные до (k-1) порядка включительно: f(ξ)=f’(ξ)= … =f k-1 (ξ) = 0 . Однократный корень называется простым.
   Приближенное нахождение корней уравнения складывается из двух этапов:

   1. Отделение корней, то есть установление интервалов [α_i,β_i] , в которых содержится один корень уравнения.
      1. f(a)•f(b) , т.е. значения функции на его концах имеют противоположные знаки.
      2. f’(x) сохраняет постоянный знак, т.е. функция монотонна (эти два условия достаточны, но НЕ необходимы) для единственности корня на искомом отрезке).
      3. f”(x) сохраняет постоянный знак, т.е. функция выпукла вверх, либо – вниз.
   2. Уточнение приближенных корней, то есть доведение их до заданной точности.

   Геометрическая интерпретация метода Ньютона (метод касательных)

   Критерий завершения итерационного процесса имеет вид

   VMath

   Инструменты сайта

   Основное

   Навигация

   Информация

   Действия

   Содержание

   Вспомогательная страница к разделу ☞ ПОЛИНОМ ОДНОЙ ПЕРЕМЕННОЙ

   Метод Ньютона решения уравнения

   Пусть $ f_<>(x) $ — полином с вещественными коэффициентами, $ \deg f \ge 2 $, и $ \lambda $ обозначает его корень, лежащий на интервале $ ]a,b[ $. Пусть, кроме того, $ f^<\prime>(x)\ne 0 $ на указанном интервале, тогда $ \lambda_<> $ — единственный корень полинома на $ ]a,b[ $. При произвольном $ x_0 \in ]a,b[ $ выпишем формулу Тейлора $$f(x)=f(x_0)+f'(x_0)(x-x_0)+\dots \ ,$$ ограничившись в ней двумя первыми слагаемыми. Вместо уравнения $ f_<>(x)=0 $ будем рассматривать его линейное приближение $ f(x_0)+f'(x_0)(x-x_0)=0 $. Утверждается, что достаточно часто (в смысле выбора точки $ x_ <0>$) решение этого уравнения, т.е. точка $$ x_1= x_<0>-\frac)>)> $$ лежит ближе к (неизвестному нам заранее) значению корня $ \lambda $, чем точка $ x_ <0>$. Можно утверждать и большее: при подходящем выборе $ x_ <0>$ итерационная последовательность $$ \left\< x_j= x_-\frac)>)> \right\>_^ <\infty>$$ будет сходиться к $ \lambda_<> $ при $ j\to + \infty $.

   Метод поиска вещественного решения уравнения $ f(x)=0 $ построением указанной последовательности известен как метод Ньютона или же (см. ☟ ПУНКТ) как метод каcательных.

   Биографические заметки о Ньютоне ☞ ЗДЕСЬ.

   Теорема 1. Если полином $ f_<>(x) $ не имеет кратных корней и последовательность $ \_^ <\infty>$ сходится к конечному пределу, то этот предел является корнем $ f_<>(x) $.

   Доказательство. Пусть $$ \lim_ x_j = A , $$ тогда и $$\lim_ x_ = A . $$ По непрерывности $ f_<>(x) $ и $ f^<\prime>(x) $ будет выполнено $$\lim_ f(x_)= f(A) \ , \quad \lim_ f^<\prime>(x_)= f^<\prime>(A) \ , $$ и, по предположению, числа $ f(A) $ и $ f^<\prime>(A) $ не могут одновременно обращаться в нуль. Если бы число $ f^<\prime>(A) $ было равно нулю, то последовательность $ \_^ <\infty>$ была бы неограниченной, а у нее же, по предположению теоремы, существует конечный предел. Следовательно $ f^<\prime>(A)\ne 0 $. При переходе в равенстве $$ x_j= x_-\frac)>)> $$ к пределу при $ j\to + \infty $, равенство должно сохраниться: $$ A= A- \frac \quad \Rightarrow \quad \frac=0 \quad \Rightarrow \quad f(A)=0 \ .$$ ♦

   Наша задача теперь заключается в подборе такого стартового (начального) значения $ x_ <0>$, чтобы последовательность $ \_^ <\infty>$ сходилась к определенному корню полинома, например, лежащему на данном интервале $ [a,b] $. Нам потребуется следующий результат из математического анализа.

   Теорема 2. Если функция $ F_<>(x) $ и ее производные $ F^<\prime>(x) $ и $ F^<\prime \prime>(x) $ непрерывны в $ ]a,b[ $, то для любых значений $ x_<> $ и $ x_ <0>$ из этого интервала будет справедлива формула Тейлора с остаточным членом в форме Лагранжа:

   $$ F(x)\equiv F(x_0)+F^<\prime>(x_0)(x-x_0)+ \frac(c)><2!>(x-x_0)^2 $$ где значение $ c_<> $ принадлежит интервалу $ ]x_0,x[ $ при $ x>x_0 $ или $ ]x,x_0[ $ при $ x 0 $ и $ f^<\prime \prime>(x)>0 $ на $ ]a,b[ $, иначе говоря, функция возрастает и выпукла вниз; согласно правилу выбора начальной точки $ x_ <0>$ мы должны взять ее из условия $ f(x_0)>0 $, т.е. ближе к правому концу интервала. Имеем, следовательно $ x_0>\lambda $. Докажем, что значение $ x_ <1>$, вычисляемое по формуле $$ x_1= x_<0>-\frac)>)> \ , $$ будет удовлетворять условиям $ \lambda \lambda $ запишем для $ f_<>(x) $ формулу Тейлора с остаточным членом в форме Лагранжа: $$ f(x)\equiv f(x_0)+f^<\prime>(x_0)(x-x_0)+ \frac(c)><2!>(x-x_0)^2 \ . $$ Подставим вместо $ x_<> $ значение корня $ \lambda_<> $: $$ 0=f(x_0)+f^<\prime>(x_0)(\lambda-x_0)+ \frac(c)><2!>(\lambda-x_0)^2 \ , $$ перенесем первые два слагаемые в левую часть и поделим получившееся равенство на $ f^<\prime>(x_0) $: $$ \left(x_<0>-\frac)>(x_<0>)> \right) — \lambda = \frac(c)><2!\, f^<\prime>(x_<0>)>(\lambda-x_0)^2 \ . $$ В левой части получили $ x_1 — \lambda $. По предположению, $ f^<\prime \prime>(c)>0 $ и $ f^<\prime>(x_<0>)>0 $, следовательно правая часть неотрицательна. Итак, $ x_1 > \lambda $.

   Совершенно аналогично доказывается, что $ \lambda ♦

   При выполнении условий теоремы $3$ скорость сходимости последовательности метода Ньютона оценивается неравенством

   Пример. Найти положительный корень полинома $ x^5-4\, x -2 $ с точностью до $ 0.001 $.

   Решение. На основании правила знаков Декарта делаем вывод, что $ f_<>(x) $ имеет положительный корень и этот корень единствен. Далее, $ f(1) 0 $ и, на основании теоремы Больцано, этот корень принадлежит интервалу $ ]1,2[ $. Далее, $$f^<\prime>(x)=5\,x^4-4>0, f^<\prime \prime>(x)>0 \quad npu \quad x\in ]1,2[ ,$$ т.е. мы находимся точно в условиях случая, рассмотренного в доказательстве теоремы $ 3_<> $. Запускаем итерационную последовательность, полагая $ x_0=2 $: $$x_1 =x_0-\frac<5\, x_0^4 -4>=\frac<65> <38>\approx 1.710526316 \ . $$ Далее, последовательное применение формулы метода Ньютона дает: $$ \begin x_2 &= x_1- \displaystyle \frac <5\, x_1^4 -4>=\frac<2399816418> <1537339039>&\approx 1.561019630 \ , \\ x_3 &= x_2- \displaystyle \frac <5\, x_2^4 -4>& \approx 1.521115751 \ , \\ x_4 & & \approx 1.518522614 \ , \\ x_5 & & \approx 1.518512153 \ . \end $$

   Ответ. $ \lambda \approx 1.518 $.

   Геометрическая интерпретация: метод касательных

   Геометрическая интерпретация метода Ньютона заключается в следующем. Для определенности предположим, что $ f^<\prime>(x)>0,\, f^<\prime \prime>(x)>0 $ на $ ]a,b[ $. Возьмем $ x_ <0>$ ближе к правому концу указанного интервала, т.е. пусть $ f(x_0)>0 $. Проведем касательную к графику функции $ y=f(x) $ в точке $ (x_0,f(x_0)) $: $$\frac=f^<\prime>(x_0) $$ и найдем ее точку пересечения $ (x_1,y_1) $ с осью абсцисс.

   

   Легко вычислить координаты этой точки: $$y_1=0,\ x_1=x_0 — \frac(x_0)> \ ;$$ иначе говоря, $ x_ <1>$ определяется как раз по формуле метода Ньютона. Из рисунка видно (а в теореме $ 3_<> $ строго доказывается), что точка $ x_ <1>$ лежит ближе к неизвестному нам значению корня $ \lambda_<> $ полинома $ f_<>(x) $, чем точка $ x_ <0>$. Поэтому имеет смысл повторить процедуру: построить касательную к графику в точке $ (x_1,f(x_<1>)) $, найти ее пересечение $ (x_<2>,y_2) $ с осью абсцисс и т.д.

   

   В конце концов, монотонно убывающая и ограниченная снизу последовательность точек $ x_0,x_1,x_2,\dots $ попадет в сколь угодно малую окрестность $ \lambda_<> $. Эти геометрические соображения обосновывают и другое название метода Ньютона; он также называется методом касательных.

   Выбор стартового значения ближе к правому концу интервала обеспечивает монотонное убывание последовательности $ \_^ <\infty>$ также в случае когда на этом интервале имеют место неравенства $ f^<\prime>(x) 0 \quad u \quad f^<\prime>(x)>0,\, f^<\prime \prime>(x) МЕТОД НЬЮТОНА .

   Пример. Найти корень полинома $ x^5-4\, x -2 $ на интервале $[1,2] $ с точностью до $ 0.001 $.

   Решение. При выборе $ x_0 =2 $ требуемая точность достигается за три итерации $$ x_1 = \frac<22255> <13718>\approx 1.622321, \ x_2\approx 1.521381, \ x_3 \approx 1.518512 \, . $$

   По сравнению с пятью итерациями метода Ньютона — существенный выигрыш. Проблема только в том, что каждая итерация теперь стоит дороже: она более сложна при вычислении.

   Метод Галлея (касательных гипербол)

   Геометрическая идея, лежащая в основе метода Галлея 1) , обобщает идею метода касательных. К графику функции $ y=f(x) $ строится гипербола вида $$ (x-\alpha)(y-\beta)=k \ , $$ имеющая в точке $ (x_0,f(x_0)) $ касание с графиком второго порядка, т.е. значения функции $$ y=\beta+\frac \ , $$ а также значения ее первой и второй производных в точке $ x_0 $ совпадают с соответствующими значениями для функции $ f_<>(x) $. В качестве очередного приближения $ x_ <1>$ к неизвестному корню $ \lambda_<> $ берется точка пересечения гиперболы с осью абсцисс. $$ \left\— \frac)f^<\prime>(x_)><\left[f^<\prime>(x_)\right]^2-\frac<1><2>f(x_)f^<\prime \prime>(x_)> \right\>_^ <\infty>\ . $$

   

   Обобщения

   Целые числа

   Задача. Для заданного натурального числа $ B_<> $ установить является ли оно полным квадратом и в этом случае определить $ \sqrt $.

   Теорема. Пусть $ B_0 $ — произвольное целое такое, что $ B_0^2>B $. Последовательность

   $$ B_j = \begin \left\lfloor \begin B_+ \left\lfloor \displaystyle \frac> \right\rfloor_<> \\ \hline 2 \end \right\rfloor \\ \end \quad npu \ \ j\in \ <1,2,\dots \ \>\ , $$ монотонно убывая, сойдется за конечное число шагов к значению $ \left\lfloor\sqrt \right\rfloor $, если только число $ B+1 $ не является полным квадратом. Здесь $ \lfloor \ \ \ \rfloor $ означает целую часть числа.

   Доказательство ☞ ЗДЕСЬ.

   Комплексные числа

   Формально ничто не мешает нам применить последовательность метода Ньютона для поиска мнимых корней полинома $ f_<>(x) $. Можно доказать комплексный аналог теоремы $ 3_<> $ , а также показать сходимость итерационной последовательности к конкретному корню полинома при условии, что стартовое (начальное) значение выбирается достаточно близко к искомому корню. Интересно посмотреть на поведение последовательности уже для самых простых случаев. Пусть, например, $$ f(z)=z^3-1 \, , $$ т.е. наша задача заключается в поиске трех корней кубических из $ 1_<> $: $$1,\quad -\frac<1> <2>+ \mathbf i \frac<\sqrt<3>><2>\ ,\quad -\frac<1> <2>— \mathbf i \frac<\sqrt<3>> <2>\ . $$ Комплексный вариант последовательности метода Ньютона: $$ \left\^3+1><3\,z_^2> \right\>_^ <\infty>$$ при задании стартового значения $ z_ <0>$ «выведет» нас при $ j\to \infty $ к какому-то значению корня. Итак, вся комплексная плоскость может быть поделена на три «области притяжения» каждого из корней. Раскрасим эти множества в разные цвета. Какова будет граница между этими областями? — Оказывается, эта граница имеет так называемую фрактальную структуру; и каждая граничная точка любой области является также граничной для двух других областей 2) .

   

   Если начальную точку $ z_0 $ выбрать на этой границе, то последовательность метода Ньютона будет бесконечно долго скакать по ней, не сходясь ни к какому корню. При выборе $ z_0 $ близко к границе, мы, теоретически, должны получить последовательность, сходящуюся к какому-то корню. Однако ошибки округления, накапливающиеся с каждой итерацией, могут снова привести к непредсказуемости ни качества сходимости (к конкретному корню) ни количества итераций, требуемых для достижения заданной точности.

   Системы нелинейных уравнений с несколькими неизвестными

   Проблемы сходимости комплексного варианта метода Ньютона, отмеченные в предыдущем пункте, наследуются и обобщением метода Ньютона для задачи решения системы нелинейных уравнений с несколькими неизвестными. Действительно, задача поиска комплексных корней уравнения $ z^3-1=0 $ эквивалентна поиску вещественных решений системы уравнений $$ x^3-3\, xy^2-1=0, \ 3\, x^2y-y^3=0 \, . $$

   Развитие метода Ньютона для решения системы уравнений

   $$ f(x,y)=0, g(x,y)=0 $$ при $ f, g $ — произвольных полиномах с вещественными коэффициентами обсуждается ☞ ЗДЕСЬ

   Задачи

   Источники

   [1]. Березин И.С., Жидков Н.П. Методы вычислений. Т.2. М.Физматгиз. 1960

   Нелинейные системы и уравнения

   В более общем случае мы имеем не одно уравнение (1), а систему нелинейных уравнений $$ \begin \tag <2>f_i(x_1, x_2, \ldots, x_n) = 0, \quad i = 1, 2, \ldots n. \end $$ Обозначим через \( \mathbf = (x_1, x_2, \ldots, x_n) \) вектор неизвестных и определим вектор-функцию \( \mathbf(\mathbf) = (f_1(\mathbf), f_2(\mathbf), \ldots, f_n(\mathbf)) \). Тогда система (2) записывается в виде $$ \begin \tag <3>\mathbf(\mathbf) = 0. \end $$ Частным случаем (3) является уравнение (1) (\( n = 1 \)). Второй пример (3) — система линейных алгебраических уравнений, когда \( \mathbf (\mathbf) = A \mathbf — \mathbf \).

   Метод Ньютона

   Решение нелинейных уравнений

   При итерационном решении уравнений (1), (3) задается некоторое начальное приближение, достаточно близкое к искомому решению \( x^* \). В одношаговых итерационных методах новое приближение \( x_ \) определяется по предыдущему приближению \( x_k \). Говорят, что итерационный метод сходится с линейной скоростью, если \( x_ — x^* = O(x_k — x^*) \) и итерационный метод имеет квадратичную сходимость, если \( x_ — x^* = O(x_k — x^*)^2 \).

   В итерационном методе Ньютона (методе касательных) для нового приближения имеем $$ \begin \tag <4>x_ = x_k + \frac, \quad k = 0, 1, \ldots, \end $$

   Вычисления по (4) проводятся до тех пор, пока \( f(x_k) \) не станет близким к нулю. Более точно, до тех пор, пока \( |f_(x_k)| > \varepsilon \), где \( \varepsilon \) — малая величина.

   Простейшая реализация метода Ньютона может выглядеть следующим образом:

   Чтобы найти корень уравнения \( x^2 = 9 \) необходимо реализовать функции

   Данная функция хорошо работает для приведенного примера. Однако, в общем случае могут возникать некоторые ошибки, которые нужно отлавливать. Например: пусть нужно решить уравнение \( \tanh(x) = 0 \), точное решение которого \( x = 0 \). Если \( |x_0| \leq 1.08 \), то метод сходится за шесть итераций.

   Теперь зададим \( x_0 \) близким к \( 1.09 \). Возникнет переполнение

   Возникнет деление на ноль, так как для \( x_7 = -126055892892.66042 \) значение \( \tanh(x_7) \) при машинном округлении равно \( 1.0 \) и поэтому \( f^\prime(x_7) = 1 — \tanh(x_7)^2 \) становится равной нулю в знаменателе.

   Проблема заключается в том, что при таком начальном приближении метод Ньютона расходится.

   Еще один недостаток функции naive_Newton заключается в том, что функция f(x) вызывается в два раза больше, чем необходимо.

   Учитывая выше сказанное реализуем функцию с учетом следующего:

   1. обрабатывать деление на ноль
   2. задавать максимальное число итераций в случае расходимости метода
   3. убрать лишний вызов функции f(x)

   Метод Ньютона сходится быстро, если начальное приближение близко к решению. Выбор начального приближение влияет не только на скорость сходимости, но и на сходимость вообще. Т.е. при неправильном выборе начального приближения метод Ньютона может расходиться. Неплохой стратегией в случае, когда начальное приближение далеко от точного решения, может быть использование нескольких итераций по методу бисекций, а затем использовать метод Ньютона.

   При реализации метода Ньютона нужно знать аналитическое выражение для производной \( f^\prime(x) \). Python содержит пакет SymPy, который можно использовать для создания функции dfdx . Для нашей задачи это можно реализовать следующим образом:

   Решение нелинейных систем

   Идея метода Ньютона для приближенного решения системы (2) заключается в следующем: имея некоторое приближение \( \pmb^ <(k)>\), мы находим следующее приближение \( \pmb^ <(k+1)>\), аппроксимируя \( \pmb(\pmb^<(k+1)>) \) линейным оператором и решая систему линейных алгебраических уравнений. Аппроксимируем нелинейную задачу \( \pmb(\pmb^<(k+1)>) = 0 \) линейной $$ \begin \tag <5>\pmb(\pmb^<(k)>) + \pmb(\pmb^<(k)>)(\pmb^ <(k+1)>— \pmb^<(k)>) = 0, \end $$ где \( \pmb(\pmb^<(k)>) \) — матрица Якоби (якобиан): $$ \pmb<\nabla F>(\pmb^<(k)>) = \begin \frac<\partial f_1(\pmb^<(k)>)> <\partial x_1>& \frac<\partial f_1(\pmb^<(k)>)> <\partial x_2>& \ldots & \frac<\partial f_1(\pmb^<(k)>)> <\partial x_n>\\ \frac<\partial f_2(\pmb^<(k)>)> <\partial x_1>& \frac<\partial f_2(\pmb^<(k)>)> <\partial x_2>& \ldots & \frac<\partial f_2(\pmb^<(k)>)> <\partial x_n>\\ \vdots & \vdots & \ldots & \vdots \\ \frac<\partial f_n(\pmb^<(k)>)> <\partial x_1>& \frac<\partial f_n(\pmb^<(k)>)> <\partial x_2>& \ldots & \frac<\partial f_n(\pmb^<(k)>)> <\partial x_n>\\ \end $$ Уравнение (5) является линейной системой с матрицей коэффициентов \( \pmb \) и вектором правой части \( -\pmb(\pmb^<(k)>) \). Систему можно переписать в виде $$ \pmb(\pmb^<(k)>)\pmb <\delta>= — \pmb(\pmb^<(k)>), $$ где \( \pmb <\delta>= \pmb^ <(k+1)>— \pmb^ <(k)>\).

   Таким образом, \( k \)-я итерация метода Ньютона состоит из двух стадий:

   1. Решается система линейных уравнений (СЛАУ) \( \pmb(\pmb^<(k)>)\pmb <\delta>= -\pmb(\pmb^<(k)>) \) относительно \( \pmb <\delta>\).

   2. Находится значение вектора на следующей итерации \( \pmb^ <(k+1)>= \pmb^ <(k)>+ \pmb <\delta>\).

   Для решения СЛАУ можно использовать приближенные методы. Можно также использовать метод Гаусса. Пакет numpy содержит модуль linalg , основанный на известной библиотеке LAPACK, в которой реализованы методы линейной алгебры. Инструкция x = numpy.linalg.solve(A, b) решает систему \( Ax = b \) методом Гаусса, реализованным в библиотеке LAPACK.

   Когда система нелинейных уравнений возникает при решении задач для нелинейных уравнений в частных производных, матрица Якоби часто бывает разреженной. В этом случае целесообразно использовать специальные методы для разреженных матриц или итерационные методы.

   Можно также воспользоваться методами, реализованными для систем линейных уравнений.

   
   

   источники:

   http://vmath.ru/vf5/polynomial/newton

   http://slemeshevsky.github.io/num-mmf/snes/html/._snes-FlatUI001.html