July 2013
Chapter 23
Numerical Differentiation
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
23.1 High-Accuracy Differentiation Formulas
High-accuracy divided formulas can be generated by including
additional terms from the Taylor series expansion. For example,
the forward Taylor series expansion can be written as
𝑓(𝑥𝑖+1 ) = 𝑓(𝑥𝑖 ) + 𝑓 ′ (𝑥𝑖 )ℎ +
𝑓 ′′ (𝑥𝑖 )
2
ℎ2 + …
which can be solved for
′
𝑓 (𝑥𝑖 ) =
𝑓(𝑥𝑖+1 ) − 𝑓(𝑥𝑖 )
−
ℎ
𝑓 ′′ (𝑥𝑖 )
2
ℎ + 𝑂(ℎ2 )
When excluding the second- and higher-derivative terms, we will be left
with a final result of
𝑓 ′ (𝑥𝑖 ) =
𝑓(𝑥𝑖+1 ) – 𝑓(𝑥𝑖 )
ℎ
+ 𝑂(ℎ)
In contrast to this approach, we now retain the second-derivative
term by substituting the following approximation of the second derivative
𝑓 ′′ (𝑥𝑖 ) =
𝑓(𝑥𝑖+2 ) − 2𝑓(𝑥𝑖+1 )+𝑓(𝑥𝑖 )
ℎ2
+ 𝑂 (ℎ)
which will yield
𝑓 ′ (𝑥𝑖 ) =
𝑓(𝑥𝑖+1 ) – 𝑓(𝑥𝑖 )
ℎ
−
𝑓(𝑥𝑖+2 ) – 2𝑓(𝑥𝑖+1 )+𝑓(𝑥𝑖 )
2ℎ2
ℎ + 𝑂 (ℎ 2 )
or, by collecting terms,
𝑓 ′ (𝑥𝑖 ) =
−𝑓(𝑥𝑖+2 )+ 4𝑓(𝑥𝑖+1 )− 3𝑓(𝑥𝑖 )
2ℎ
+ 𝑂 (ℎ2 )
‫إذا كانتتر راباتتتد محتتدودة و ت يرة‬
‫فستكون أنر كذلد وإذا كان طموحتد‬
‫ال حدود له فستكون عظيما‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Notice that inclusion of the second-derivative term has improved the
accuracy to 𝑂(ℎ2 ). Similar improved versions can be developed for the
backward and centered formulas as well as for the approximations of the
higher derivatives. The formulas are summarized in the following three
figures.
Forward Finite-divided-difference
‫نقطة االنطالق لكل اإلنجازات هي‬
‫الرابة تذكر هذا دائما وباستمرار‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
‫‪July 2013‬‬
‫‪Backward-divided-difference‬‬
‫إذا لم يكن ما ستفعله حيحا‬
‫فال تفعله وإذا لم يكن ما‬
‫ستقوله ادقا فال تقله‬
‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية ‪ 9 4444 260‬أو بالبريد اإللكتروني‬
‫‪Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy‬‬
‫م‪ .‬حمادة شعبان ‪info@eng-hs.com 9 4444 260‬‬
‫شرح ومسائل محلولة مجانا بالموقعين ‪, eng-hs.neteng-hs.com‬‬
July 2013
Centered-divided-difference
The following example illustrates the utility of these formulas for
estimating derivatives
‫الشخص الناجح هو في األساس‬
‫شخص يستطيع أن يتخيل‬
‫ويحول خياله إلى واقع‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Example 23.1 High-Accuracy Differentiation Formulas
Problem Statement:
The derivative of
𝑓(𝑥 ) = −0.1𝑥 4 − 0.15𝑥 3 − 0.5𝑥 2 − 0.25𝑥 − 1.2
is estimated at x = 0.5 using finite divided differences and a step size of
h = 0.25,
where the errors are computed on the basis of the true value of -0.9125.
Repeat this computation, but employ the high-accuracy formulas from the
previous figures.
Solution:
The data needed for this example is
𝑥𝑖−2 = 0
𝑓 (𝑥𝑖−2 ) = 1.2
𝑥𝑖−1 = 0.25
𝑓(𝑥𝑖−1 ) = 1.103516
𝑥𝑖 = 0.5
𝑓(𝑥𝑖 ) = 0.925
𝑥𝑖+1 = 0.75
𝑓(𝑥𝑖+1 ) = 0.6363281
𝑥𝑖+2 = 1
𝑓 (𝑥𝑖+2 ) = 0.2
‫نفس القدر من الخيال يمكن أن يحقق‬
‫النجاح أو الفشل وفقا لتوجيهد له‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Continue:
The forward difference of accuracy O(h2) is computed as
𝑓 ′ (0.5) =
−0.2 + 4( 0.6363281 ) − 3( 0.925)
2( 0.25 )
= −0.859375
𝜀𝑡 = 5.82%
The backward difference of accuracy O(h2) is computed as
𝑓 ′ (0.5) =
3 (0.925) − 4 ( 1.103516 ) + 1.2
2 (0.25)
= −0.878125
𝜀𝑡 = 3.77%
The centered difference of accuracy O(h2) is computed as
𝑓 ′ (0.5) =
−0.2 + 8( 0.6363281 ) − 8( 1.103516 ) + 1.2
12(0.25)
= −0.9125
𝜀𝑡 = 5.82%
Notice that the centered difference yields a perfect result. This is because
the formulas based on the Taylor series are equivalent to passing
polynomials through the data point.
‫اجتهد أن يكون حب الناس لد‬
‫لشخصل وليس للمنفعة‬
‫المترتبة من حبد‬
23.2 Richardson Extrapolation
To this point, we have seen that there are two ways to improve
derivative
estimates
when
employing
finite
divided
differences:
(1) decrease the step size or (2) use a higher order formula that employs
more points.
A third approach, based on Richardson extrapolation, uses two derivative
estimates to compute a third, more accurate approximation.
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Recall that Richardson extrapolation provides a means to obtain an
improved integral estimate 𝐼 by the formula
𝐼 ≅ 𝐼 (ℎ2 ) +
1
ℎ 2
(ℎ1 ) −1
2
[𝐼(ℎ2 ) − 𝐼(ℎ1 )]
where 𝐼(ℎ1 ) and 𝐼 (ℎ2 ) are integral estimates using two step sizes ℎ1 and
ℎ2 .
Because of its convenience when expressed as a computed algorithm, this
formula is usually written for the case where ℎ2 = ℎ1 /2, as in
𝐼 ≅
4
3
𝐼 ( ℎ2 ) −
1
3
𝐼(ℎ1 )
In a similar fashion, the previous equation can be written for derivatives as
𝐷 ≅
4
3
𝐷 ( ℎ2 ) −
1
3
𝐷 (ℎ1 )
For centered difference approximations with O(h2), the application of this
formula will yield a new derivative estimate of O(h4).
‫عندما يجتمع حب العمل والمهارة‬
‫معا يمكند أن تتوقع تحفة رائعة‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Example 23.2 Richardson Extrapolation
Problem Statement:
Using the same function as in the previous example, estimate the first
derivative at x = 0.5 using step sizes of h1 = 0.5 and h2 = 0.25. Then use the
previous equation to compute an improved estimate with Richardson
extrapolation. Recall that the true value is -0.9125
Solution:
The first derivative estimates can be computed with centered differences
as
𝐷(0.5) =
0.2 − 1.2
1
= −1.0
𝜀𝑡 = −9.6%
and
𝐷(0.25) =
0.6363281 − 1.103516
0.5
= −0.934375
𝜀𝑡 = −2.4%
The improved estimate can be determined by applying the previous
equation to give
𝐷 ≅
4
3
𝐷(−0.934375) −
1
3
𝐷(−1) = −0.9125
which, for the present case, is a perfect result.
‫إذا كنتتر تراتتب فتتي النجتتاح فتتي‬
‫هذا العالم يجب عليد أن تصنع‬
‫الفرص التي تريدها أثناء تقدمد‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
The previous example yielded a prefect result because the function being
analyzed was a forth-order polynomial. The prefect outcome was due to
the fact that Richardson extrapolation is actually equivalent to fitting a
higher-order polynomial through the data and then evaluating the
derivatives by centered divided differences.
Thus, the present case matched the derivative of the fourth-order
polynomial precisely. For most other functions, of course, this would not
occur and our derivative estimate would be improved but not perfect.
Consequently, as was the case for the application of Richardson
extrapolation, the approach can be applied iteratively using a Romberg
algorithm until the result falls below an acceptable error criterion.
‫يمكند أن تعطي بدون أن تحب ولكن ال‬
‫يمكند أن تحب دون أن تعطي‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Problem 23.1
Compute forward and backward difference approximations of O(h) and
O(h2) and O(h4) for the first derivative of y = cos x at x = π/4 using a value
of h = π/12. Estimate the true percent relative error 𝜀𝑡 for each
approximation.
Solution
x
f(x)
xi2 0.261799388 0.965925826
xi1 0.523598776 0.866025404
xi
0.785398163 0.707106781
xi+1 1.047197551 0.5
xi+2 1.308996939 0.258819045
true = sin(/4) = 0.70710678
The results are summarized as
first-order
Forward
Second-order
0.79108963 0.72601275
11.877%
2.674%
Backward 0.60702442 0.71974088
14.154%
1.787%
Centered 0.69905703 0.70699696
1.138%
0.016%
:‫الجميع ينسون هذا األمر األساسي‬
‫لن يحبد اآلخرون إال إذا أحببتهم‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Problem 23.3
Use centered difference approximations to estimate the first and second
derivatives of y = ex at x = 2 for h = 0.1. Employ both O(h2) and O(h4)
formulas for your estimates.
Solution
x
f(x)
xi2 1.8
6.049647464
xi1 1.9
6.685894442
xi
2
7.389056099
xi+1 2.1
8.166169913
xi+2 2.2
9.025013499
Both the first and second derivatives have the same value,
truth  e 2  7.38905609 9
The results are summarized as
first-order
First derivative
second-order
7.401377351 7.389031439
-0.166750%
0.000334%
Second derivative 7.395215699 7.389047882
-0.083361%
0.000111%
‫سعيد من يجد امرأة تستحق حبه‬
.‫تعيس من يجدها ثم يتزوجها‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬
July 2013
Problem 23.4
Use Richardson’s extrapolation to estimate the first derivative of y = cos x
at x = π/4 using step sizes of h1 = π/3 and h2 = π/6. Employ centered
differences of O(h2) for the initial estimates.
Solution
The first derivative of cos(x) = - sin(x)
The true value is sin(/4) = 0.70710678.
D( / 3) 
 0.25882  0.965926
 0.58477
2(1.047198 )
D( / 6) 
0.258819  0.965926
 0.67524
2(0.523599 )
4
1
D  (0.67524)  (0.58477)  0.70539
3
3
‫ال يمكند أن تصنع ما هتو أكرتر حماقتة‬
‫من أن تجلس على جانب الطريق حتى‬
‫يأتيد أحدهم ويحاول مساعدتد‬
‫ أو بالبريد اإللكتروني‬9 4444 260 ‫النوتات مجانية للنفع العام فيرجى المساهمة باإلبالغ عن أي خطأ أو مالحظات تراها ضرورية برسالة نصية‬
Physics I/II, English 123, Statics, Dynamics, Strength, Structure I/II, C++, Java, Data, Algorithms, Numerical, Economy
, eng-hs.neteng-hs.com ‫شرح ومسائل محلولة مجانا بالموقعين‬
info@eng-hs.com 9 4444 260 ‫ حمادة شعبان‬.‫م‬