Module 7
Estimation and Diagnostic Checking
for ARMA and ARIMA Models
Class notes for Statistics 451: Applied Time Series
Iowa State University
Copyright 2015 W. Q. Meeker.
February 6, 2016
18h 50min
7-1
Module 7
Segment 1
Introduction to Time Series Model Estimation 1
Nonlinear Least Squares and Maximum Likelihood
7-2
ARMA/ARIMA Estimation Methods
For a specified ARMA(p, q) model and data, (Z1, Z2, . . . , Zn),
we “fit” the model by estimating the parameters φ1, . . . , φp
and θ1, . . . , θq .
• Method of moments: Compute ρb1, ρb2, . . . , ρbp+q , substitute
into the “true” ACF equations ρ1 = · · · , ρ2 = · · · , . . . , ρp+q =
· · · and solve for φb1, . . . , φbp, θb1, . . . , θbq .
• Nonlinear least squares: Find φb1, . . . , φbp, θb1, . . . , θbq to minimize
SSQ =
n
X
t=1
b2
a
t =
n
X
(Zt − Zbt)2
t=1
where Zbt is the one-step-ahead forecast for Zt.
• Maximum Likelihood: Find values of the parameters that
maximize the probability of the data. Log(likelihood)≈
−n log(SSQ).
7-3
Example: Nonlinear Least Squares for IMA(1,1)
Minimize:
SSQ(θ) =
n
X
t=1
IMA(1,1) forecast:
b2
a
t =
n
X
(Zt − Zbt)2
t=1
b t−1
Zbt = Zt−1 − θ1a
SSQ(θ) =
n
X
b t−1 )]2
[Zt − (Zt−1 − θ1a
t=1
=
n
X
b t−1 )2
(Wt + θ1a
t=1
b
b t−1 = Zt−1 − Z
b t−2 .
where Wt = Zt −Zt−1 and a
t−1 = Wt−1 +θ1a
θb is the value of θ that minimizes SSQ(θ).
b recursively.
• Need to compute a
b 0?).
• Need some way to start the recursion (i.e., what is a
• Nonlinear optimization needed in general.
7-4
Time Series Plot of Simulated Series C
Simulated Time Series #C
•
60
•• •
••
•
•
•
••
•
•
•
• ••
•
• • •
•
•
•
• • • •
• ••
••
• •• • • •
•
•
• •
• •
•
•• •
•
•
•
•
•
•
• •
•
• ••
•
•
•
•
•
•• •
•
•
• • • •
•
•
•
•
•
•
•
•
•
• • • • ••
40
Sales
50
•
•
•
•
•
• • •• •
•
•
•
•
••
•
•
•
•
• ••
•
•
•
•
•
30
•
•
•
•
••
•
• • •
•
•
•
•
•
•
••
•
•
•
•
•
• ••
•
•
•
• •
•
•
•
•
•
•
•
•
• •• • •
•
•
•• • •
•
••
•
•
•
•
••
• •
•
•
•
•
•
•
••
•
20
•
•
20
30
40
50
• •
•
60
Time
7-5
Function iden Output for Simulated Series C
[iden(simnsc.tsd)]
Simulated Time Series #C
20
30
40
w
50
60
w= Sales
20
30
40
50
60
time
ACF
0.0
-1.0
30
ACF
0.5
1.0
Range-Mean Plot
10
20
30
25
0
Range
Lag
0.5
0.0
-1.0
15
Partial ACF
20
1.0
PACF
30
35
40
45
Mean
50
55
0
10
20
30
Lag
7-6
Function iden Output for the First Differences of
Simulated Series C [iden(simnsc.tsd, d=1)]
0 10
-20
w
Simulated Time Series #C
w= (1-B)^ 1 Sales
20
30
40
50
60
time
-1.0
0.0
Partial ACF
0.0
-1.0
ACF
1.0
PACF
1.0
ACF
0
10
20
Lag
30
0
10
20
30
Lag
7-7
-1400
-1450
-1500
log-ikelihood
-1350
Plot of IMA(1,1) Model Log-likelihood
for Simulated Series C
Zt = Zt−1 − θ1at−1 + at
-0.5
0.0
0.5
1.0
ma(1)
7-8
-1325
-1330
-1335
log-ikelihood
-1320
-1315
Plot of IMA(1,1) Model Log-likelihood
for Simulated Series C
Zt = Zt−1 − θ1at−1 + at
0.6
0.7
0.8
0.9
ma(1)
7-9
Function esti Output for Simulated Series C
IMA(1,1) Model—Part 1 [esti(simnsc.tsd,
model=model.pdq(d=1, q=1))]
Simulated Time Series #C
Model: Component 1 :: ndiff= 1 ma: 1 on w= Sales
0
-20
-10
Residuals
10
20
Residuals vs. Time
20
30
40
50
60
Time
Residual ACF
1.0
Residuals vs. Fitted Values
20
•
•
•
•
•
0
•
•
•
-10
•
•
•• •
• ••
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
30
35
0.5
•
•
••
•
••
•
•
• •••
••
••
•
•
•
•
•
•
•
•
• •
••
••
•
•
•
• •• •
• •
•
•••
• • ••
•
•
•
•••
• ••
• • •
• • •
•••
• •
•
• • ••
•
•
•
•
• •
•• •
•
••
•
•• •
•
•
•
•
•
•
•
•
•
•
•• •
•
•
• ••
-20
Residuals
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
• •
•
•
•
•
••
•
•
•
40
0.0
•
•
•
ACF
•
•
••
•
•
•
•
•
•• •
-0.5
•
• • •
-1.0
10
•
•
45
Fitted Values
50
55
60
0
10
20
30
Lag
7 - 10
Function esti Output for for Simulated Series C
IMA(1,1) Model—Part 2
Simulated Time Series #C
Model: Component 1 :: ndiff= 1 ma: 1 on w= Sales
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
60
•
• •
•
•
• •
•
•
• •
• • • •
• • •
•
•
•
• •
•
•
• ••
•
• •
•
•
• •
••
•
•
• •
•
•
•
• •• •
•
• •
•
•
•
•
•
40
•
•
••
•
• • ••
•
•
• •
•
•
•
•
•
• •
•
•
• ••
•
•
••
•
•
•
•
•
• •
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
30
•
••
•
•
• ••
•
•
•
• •
•
•
•
•
•
•
•
• ••
•
•
•
• •
•
•
•
•
•
• •
•
••
•
••
•
• •• •
•
•
•
•
•
•
•
• •
• • •
•
• •
••••••••••••••••••••••••
••
•
20
•
•
•
•
•
10
30
40
50
60
Index
3
Normal Probability Plot
0
-1
Normal Scores
1
2
•
-2
20
•
•
-3
Sales
•
•
50
•
•
•
•
• •
•
••
• •
••
•• •
•
•
•
•••
••••
•••••
••
•
•
•
••• •
•• ••
•••••
••••
•••
•
•
•
••
•••
•••••
•••
••••
•
••••
••
•••
• •••
•
•
•••••
•• •
••
•
•
•
-20
-10
0
10
20
Residuals
7 - 11
Module 7
Segment 2
Introduction to Time Series Model Estimation 2
Device Inventory Modeling, Graphical Outputs from
Function esti and Diagnostic Checking
7 - 12
Time Series Plot of the Device Inventory Data
(negative inventory indicates number of units that
have been back-ordered)
Device Inventory 1984-1994
15
20
••
•••
•
•
•
••
• •
•
•
•• •
•
••
•
•
••
•• •
• •••
••• •••
•
•
•
•
•• •• •
•
••• ••
••
•
•
••
•• •
•
•• • •
•
•
•
•
•
•
•
•••
•
••
•
•
• •
• •
••
• ••••
•
•
•
• ••
••
•
•
• ••
•
• • •• • •
•
•
•
•
• •
•••
0
5
10
•
•
••
• •
• •
•
•
-5
Hundreds of Devices
•
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
Year
7 - 13
Function iden Output for The Device Inventory Data
Device Inventory 1984-1994
-5
0
5
w
10
15
20
w= Number of Devices
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
time
ACF
0.0
-1.0
10
ACF
12
0.5
1.0
Range-Mean Plot
8
10
20
30
Lag
0.5
-1.0
0.0
4
Partial ACF
1.0
6
PACF
2
Range
0
5
10
Mean
15
0
10
20
30
Lag
7 - 14
Function iden Output for the First Differences of the
Device Inventory Data
0
-2
w
2
Device Inventory 1984-1994
w= (1-B)^ 1 Number of Devices
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
time
-1.0
0.0
Partial ACF
0.0
-1.0
ACF
1.0
PACF
1.0
ACF
0
10
20
Lag
30
0
10
20
30
Lag
7 - 15
Function iden Output for the Second Differences of
the Device Inventory Data
0
-4
-2
w
2
Device Inventory 1984-1994
w= (1-B)^ 2 Number of Devices
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
time
-1.0
0.0
Partial ACF
0.0
-1.0
ACF
1.0
PACF
1.0
ACF
0
10
20
Lag
30
0
10
20
30
Lag
7 - 16
Graphical Outputs From the esti command
• Plot of residuals versus time
• Plot of residuals versus fitted values
• Plot of ACF of the residuals
• Plot showing original data, fitted values, forecasts, and forecast intervals
• Normal probability (Q-Q) plot of the residuals
7 - 17
-500
-550
log-ikelihood
-450
Plot of AR(1) Model Log-likelihood for the Device
Inventory Data
Zt = θ0 + φ1Zt−1 + at
0.80
0.85
0.90
0.95
1.00
ar(1)
7 - 18
-408.5
-409.0
-409.5
-410.0
log-ikelihood
-408.0
-407.5
Plot of AR(1) Model Log-likelihood for the Device
Inventory Data
Zt = θ0 + φ1zt−1 + at
0.970
0.975
0.980
0.985
0.990
0.995
1.000
ar(1)
7 - 19
Commands for Making Plots of ARMA Model
Log-likelihoods
arima.likelihood.plot(device.inventory.tsd,
model = model.pdq(p = 1), list(1, seq(.8, .999, length = 50)))
#this is the zoom-in of the AR(1);
arima.likelihood.plot(device.inventory.tsd,
model = model.pdq(p = 1), list(1, seq(.97, .999, length =
50)))
7 - 20
Function esti Output for the Device Inventory Data
AR(1) Model—Part 1
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 on w= Number of Devices
0
-2
Residuals
2
Residuals vs. Time
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
Time
Residual ACF
1.0
Residuals vs. Fitted Values
•
•
•
• •
• •
•
•
•
•
••
•
•
•• •
• •
••
•
0
•
•
•
• • •
• •
•
•••
••
•
• •
•
• ••
• • ••• •
• ••
• • ••
•
•
•
•
•
• •
• •
• •
•
• •
•• •
•
•
•
•
•
•
•
•
•
-2
••
••
•
•
• •
••
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
-1.0
Residuals
•
0.5
• •
•
•
•
0.0
•
•
ACF
•
•
•
-0.5
2
•
•
-5
0
5
10
Fitted Values
15
20
0
10
20
30
Lag
7 - 21
Function esti Output for the Device Inventory Data
AR(1) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
•
••
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
•••••••••••••••••••••••••
•
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
-2
Number of Devices
•
••
•
•
•
•
•
••
• •
•
••
••
••
••
•
•
•••
•••
••••
•••
•••••
••••
••••
••••
••
•
•
•
••
••
•••
•••
•
•
••
•
••
••
•••
•
•
•••
•
•
•
•
-2
0
2
Residuals
7 - 22
Comparison of Models for the Device Inventory Data
d (# differences)
(1,0,0)
0
ARIMA(p, d, q) Model
(2,0,0) (3,0,0) (1,1,0)
0
0
1
(1,1,1)
1
φ2
.98
(55.4)
—
φ3
—
1.37
(17.2)
-.4
(-5.1)
—
θ1
—
—
1.35
(15.4)
-.24
(-1.7)
-.11
(-1.2)
—
b)
Sig. ρbk (a
1, 2
2
—
—
—
S
1.14
1.04
1.06
1.06
1.06
409.05
407.05
385.13
381.13
386.35
380.35
386.13
384.13
387.08
383.08
30.26
4.35
2.17
3.49
2.73
φ1
AICc
−2 log(Likelihood)
Ljung-Box χ2
6
.39
(4.9)
—
.55
(3.0)
—
—
—
—
.18
(.84)
7 - 23
Function esti Output for the Device Inventory Data
AR(2) Model—Part 1
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 2 on w= Number of Devices
0
-1
-4
-3
-2
Residuals
1
2
Residuals vs. Time
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
Time
Residual ACF
1.0
Residuals vs. Fitted Values
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
0.5
•
•
• •
• ••
• •
••• •
•
• • •
•
• •
• • • ••• •
•
•
•
•
• •
•
•
•
•
•
•• • • • • • • •••
•
•
•
•
•
• •
•
•
•
••
•
• •• ••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
-1.0
-3
-2
•
•
0.0
0
-1
•
•
•
•
•
• •
•
-4
Residuals
•
••
-0.5
1
•
•
•
•
•
ACF
2
•
-5
0
5
10
Fitted Values
15
20
0
10
20
30
Lag
7 - 24
Function esti Output for the Device Inventory Data
AR(2) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 2 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
••
•
••••••••
••••••••
•••••••
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
-2
Number of Devices
•
••
•
•
•
•
•
•
•
••
•
•
••
••
•
•
•
••
•••
••
•••
•
•
•••
••••
•••
••
•
•
•
••••
••
••
• ••
•••
•
•
•••
•••
••
•••
•
•
•
•• •
••
•
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 25
Function esti Output for the Device Inventory Data
AR(1) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
•
••
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
•••••••••••••••••••••••••
•
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
-2
Number of Devices
•
••
•
•
•
•
•
••
• •
•
••
••
••
••
•
•
•••
•••
••••
•••
•••••
••••
••••
••••
••
•
•
•
••
••
•••
•••
•
•
••
•
••
••
•••
•
•
•••
•
•
•
•
-2
0
2
Residuals
7 - 26
Module 7
Segment 3
Device Inventory Modeling Continued
Tabular Outputs from Function esti and More
Diagnostic Checking
7 - 27
Tabular Outputs From the esti Command
b a , and the Akaike Information Criterion
• Log likelihood, S = σ
AICc = −2 log(Likelihood) + 2M where M is the number
of estimated parameters in the structural model (usually
M = p + q). AICc is one, of many, “model-choice” criteria
(see Section 7.7 of Wei for discussion of others).
• Table giving MLEs, SE of MLEs, t-ratio, and approximate
confidence intervals for each estimated parameter.
• Constant term estimate, SE, and t-ratio
• Variance-covariance and correlation matrices of the estimated parameters.
• Table of Ljung-Box statistics
• Table of ACF of the residuals, SE’s and t-ratios
• Table of forecasts and prediction intervals
7 - 28
Tabular esti Output for the Device Inventory Data
>
esti(device.inventory.tsd,
model=model.pdq(p=2),y.range =c(-12,22))
+ + Estimation/Forecasting Output for Device Inventory 1984-1994
ARIMA estimation results:
Model: Component 1 :: ar: 1 2
AICc: 385.1348
-2(Log Likelihood): 381.1348
S: 1.048085
Parameter Estimation Results
MLE
se
t.ratio 95% lower 95% upper
ar(1) 1.3780133 0.08015244 17.192406 1.2209145 1.5351121
ar(2) -0.4059878 0.08015244 -5.065196 -0.5630866 -0.2488891
Constant term: 6.193324
Standard error: 0.09192312
t-ratio: 67.37504
7 - 29
Tabular esti Output for the Device Inventory Data
(not shown by default)
Correlation matrix
ar(1)
ar(2)
ar(1) 1.0000000 -0.9801033
ar(2) -0.9801033 1.0000000
Ljung-Box Statistics
dof Ljung-Box
p-value
4 3.360982 0.4993286
5 4.143612 0.5289303
6 4.358709 0.6282547
.
.
.
36 31.849559 0.6663509
7 - 30
Tabular esti Output for the Device Inventory Data
(not shown by default)
Residual ACF
Lag
ACF
se
t-ratio
1
1 -0.054279383 0.08770580 -0.61888019
2
2 0.132883340 0.08796383 1.51065894
3
3 -0.035326410 0.08949467 -0.39473200
.
.
.
38 38 -0.065383330 0.10392757 -0.62912398
Forecasts
Lower Forecast
Upper
1 1.59811508 3.652324 5.706532
2 -0.02084244 3.476698 6.974238
.
.
.
7 - 31
Diagnostic Checks Based on Residuals
• Need to check the assumption at ∼ nid(0, σ 2)
b t versus time
• Plot of the residuals “time series” a
b ) of the residuals
• ACF function ρbk (a
To judge H0 : ρk (a) = 0, be suspicious of values of the asb )/Sρb (b
sociated t-like-ratio tk = ρbk (a
that are outside ±1.5.
k a)
• Ljung-Box test for H0 : ρ1(a) = ρ2(a) = . . . = ρK (a) = 0
Q = n(n + 2)
K
X
b)
(n − k)−1 ρb2
k (a
k=1
Be suspicious if Q > χ2
(1−α;K−p−q)
• Plot of residuals versus fitted values
• Normal probability (Q-Q) plot of residuals to check normality assumption
7 - 32
Other Diagnostic Checks
• Overfitting (add parameters to model looking for improvement)
• Make sure that the forecasts are reasonable; compare forecasts from different candidate models.
• Split the realization to see if the model and parameters
agree on both sides (check for a change in the process).
• If there are outliers, do sensitivity analysis by moving outliers
into the data
• If there is an indication of estimation problems, look at the
likelihood (or sum of squares) surface
7 - 33
Module 7
Segment 4
Device Inventory Modeling Continued
AR(2) Likelihood and Comparison with an AR(3)
Model
7 - 34
1.0
Plot of AR(2) Model Log-likelihood Surface for the
Device Inventory Data
0.0
-0.5
-400
-400
-400
-400
-400
-400
-400
-400
-1.0
ar(2)
0.5
-500
-500
-500
-500
-1280
-2
-1250
-1200
-1
-1100
0
-1000
-900
1
-800 -700
-600
-500
2
ar(1)
7 - 35
-0.6
-0.5
ar(2)
-0.4
-0.3
Plot of AR(2) Model Log-likelihood Surface for the
Device Inventory Data
-700
1.2
-650
-600
1.3
-550
1.4
-500
-450
1.5
-400
-700
-650
-600
-550
-500
-450
-400
1.6
1.7
1.8
ar(1)
7 - 36
-0.390
Plot of AR(2) Model Log-likelihood Surface for the
Device Inventory Data Close-up View
-0.395
-384.8
-384.6
-384.4
-384.2
-384
-383.8
-383.6
ar(2)
-383.4
-0.400
-383.2
-383
-0.405
-382.8
-382.6
-384.6
-384.4
-384.2-384-383.8-383.6-383.4 -383.2
-384.8
1.380
-383
1.385
-382.8
-382.6
1.390
ar(1)
7 - 37
Commands for making
Log-likelihood Surface Contour Plots
arima.contour(device.inventory.tsd,
model = model.pdq(p = 2),
list(1, seq(-1.9, 1.9, length = 50)),
list(2, seq(-.99, .99, length = 50)))
arima.contour(device.inventory.tsd,
model = model.pdq(p = 2),
list(1, seq(1.377, 1.394, length = 40)),
list(2, seq(-0.406, -0.390, length = 40)))
7 - 38
Function esti Output for the Device Inventory Data
AR(3) Model—Part 1
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 2 3 on w= Number of Devices
0
-1
-4
-3
-2
Residuals
1
2
Residuals vs. Time
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
Time
Residual ACF
1.0
Residuals vs. Fitted Values
•
-1
•
•
•
•
•• •• • •
•
• •
•
•
• •
•••
•
•• • • • •
•
•
• •• • • •••
•
•
•
• •
•
• •• • •
••
•
•
•
• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•• •
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
-1.0
-3
-2
•
•
•
0.5
1
0
•
•
•
•
-4
Residuals
••
•
• •
• ••
•
•
•
•
•
0.0
•
••
•
•
ACF
•
-0.5
2
•
-5
0
5
10
Fitted Values
15
20
0
10
20
30
Lag
7 - 39
Function esti Output for the Device Inventory Data
AR(3) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 2 3 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•
•
•
•
•
•
•
•
•
•
•••••
•••
•••••••••••••••••
••••
••
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
•
•
•
-2
Number of Devices
•
••
•
•
•
•
••
•
•••••
•••
•••
•
•
••
••
••
•
••
•••
•• •
•••
•
••••
•••
••
••
•
•
•
•••
•••
•••••
•••
•
•
•
•
••••
•
•
•
•
••
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 40
Function esti Output for the Device Inventory Data
AR(2) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 2 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
••
•
••••••••
••••••••
•••••••
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
-2
Number of Devices
•
••
•
•
•
•
•
•
•
••
•
•
••
••
•
•
•
••
•••
••
•••
•
•
•••
••••
•••
••
•
•
•
••••
••
••
• ••
•••
•
•
•••
•••
••
•••
•
•
•
•• •
••
•
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 41
Module 7
Segment 5
Device Inventory Modeling Continued
Using a Model with a Unit Root and Trying an Overfit
7 - 42
Function esti Output for the Device Inventory Data
ARIMA(1,1,0) Model—Part 1
Device Inventory 1984-1994
Model: Component 1 :: ndiff= 1 ar: 1 on w= Number of Devices
0
-1
-4
-3
-2
Residuals
1
2
Residuals vs. Time
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
Time
Residual ACF
1.0
Residuals vs. Fitted Values
-1
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
-1.0
-3
-2
•
•
••
0.5
1
0
•
•
•
• •
•
-4
Residuals
•
•
•
•
• •
•
• •
••• •
•• • •
• • ••
•
• •• • • • •
•
•
•• •• • • • • • ••
•
•
• •
•
•
•
•
•
•
•
• •• ••
••
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
• ••
•
• •
••
•
•
•
0.0
•
ACF
•
••
•
•
-0.5
2
•
-5
0
5
10
Fitted Values
15
20
0
10
20
30
Lag
7 - 43
Function esti Output for the Device Inventory Data
ARIMA(1,1,0) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ndiff= 1 ar: 1 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
••
•
•••••••••••••••••••••••
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
2
•
1
•
••
•••
•••
••
•
•
•
•••
•••
•••
•••
•
•
•
•••••
•••
•••
••••
•
•
•
••
•••
•••
••••
••••
•••
•• ••
••
•
•
•
•
0
Normal Scores
1986
-1
1984
-2
Number of Devices
•
••
•
•
•
•
•
•
••
••
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 44
Function esti Output for the Device Inventory Data
AR(3) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ar: 1 2 3 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•
•
•
•
•
•
•
•
•
•
•••••
•••
•••••••••••••••••
••••
••
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
•
•
•
-2
Number of Devices
•
••
•
•
•
•
••
•
•••••
•••
•••
•
•
••
••
••
•
••
•••
•• •
•••
•
••••
•••
••
••
•
•
•
•••
•••
•••••
•••
•
•
•
•
••••
•
•
•
•
••
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 45
Function esti Output for the Device Inventory Data
ARIMA(1,1,1) Model—Part 1
Device Inventory 1984-1994
Model: Component 1 :: ndiff= 1 ma: 1 ar: 1 on w= Number of Devices
0
-1
-4
-3
-2
Residuals
1
2
Residuals vs. Time
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
Time
Residual ACF
1.0
Residuals vs. Fitted Values
0
-1
•
•
•
•
•
••
•• •• • •
• •
•
••• • •
• •
•• • • •
•
•
•
•
•
•
••• • • • •••
•
•
•
• •
•
• •• • •
••
•
•
•
•
• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
-1.0
-3
-2
•
•
• •
•
•
-4
Residuals
•
••
•
0.5
1
••
•
•
•
• ••
•
•
0.0
•
••
•
•
ACF
•
-0.5
2
•
-5
0
5
10
Fitted Values
15
20
0
10
20
30
Lag
7 - 46
Function esti Output for the Device Inventory Data
ARIMA(1,1,1) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ndiff= 1 ma: 1 ar: 1 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
••
•
•••••••••••••••••••••••
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
0
1
2
•
Normal Scores
1986
-1
1984
• •
•
•
-2
Number of Devices
•
••
•
•
•
•
••
••
•••
•
•
••
••
•
•
•
••
•
••
•••
••
••••
•
•
•••
•••
••••
•••
•
•
•
••••
••••
•••
••••
•
•
•
•
••••
•••
••••
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 47
Function esti Output for the Device Inventory Data
ARIMA(1,1,0) Model—Part 2
Device Inventory 1984-1994
Model: Component 1 :: ndiff= 1 ar: 1 on w= Number of Devices
Actual Values * * * Fitted Values * * * Future Values
* * 95 % Prediction Interval * *
20
• •
• • •
•
• •••
• •
•
••
•
10
••
•••
•
••• •
• •
•••••
•
• •••••
•
•••
••••••
•
•••
0
•
• ••••
•
••
•••
•
• •• ••
•
•
•
••
•
••
••
••
••
•
••
••
••
•
•• •
•
•
•
•
••
••••
•••••
•
••
•
•••••••••••••••••••••••
•
•
•
• •
•
•
•
•
•
-10
1988
1990
1992
1994
1996
Index
Normal Probability Plot
2
•
1
•
••
•••
•••
••
•
•
•
•••
•••
•••
•••
•
•
•
•••••
•••
•••
••••
•
•
•
••
•••
•••
••••
••••
•••
•• ••
••
•
•
•
•
0
Normal Scores
1986
-1
1984
-2
Number of Devices
•
••
•
•
•
•
•
•
••
••
•
-4
-3
-2
-1
0
1
2
Residuals
7 - 48
Plot of ARIMA(1,1,1) Model Log-likelihood Surface
for the Device Inventory Data
-800
-600
-500
0.5
-700
-385
0.0
-0.5
ma(1)
-400
-600
-500
-0.5
0.0
0.5
ar(1)
7 - 49
Z
00 -500 -400 -300
-900 -800 -700 -6
Plot of ARIMA(1,1,1) Model Log-likelihood Surface
for the Device Inventory Data
0.5
0.5
0
ma
(1
0
)
-0
.5
)
ar(1
7 - 50
-460
-480
-440
-400
-420
-395
0.4
0.6
Plot of ARIMA(1,1,1) Model Log-likelihood Surface
for the Device Inventory Data
-390
-385
0.0
0.2
-383.2
-0.2
ma(1)
-384
-390
0.2
-395
-420
-400
0.4
0.6
-440
0.8
ar(1)
7 - 51
Z
40 -420 -400 -380
-500 -480 -460 -4
Plot of ARIMA(1,1,1) Model Log-likelihood Surface
for the Device Inventory Data
0.6
0.4
0.8
0.2
ma
(1
0.7
)
0.6
0.5
7 - 52
Comparison of Models for the Device Inventory Data
d (# differences)
(1,0,0)
0
ARIMA(p, d, q) Model
(2,0,0) (3,0,0) (1,1,0)
0
0
1
(1,1,1)
1
φ2
.98
(55.4)
—
φ3
—
1.37
(17.2)
-.4
(-5.1)
—
θ1
—
—
1.35
(15.4)
-.24
(-1.7)
-.11
(-1.2)
—
b)
Sig. ρbk (a
1, 2
2
—
—
—
S
1.14
1.04
1.06
1.06
1.06
409.05
407.05
385.13
381.13
386.35
380.35
386.13
384.13
387.08
383.08
30.26
4.35
2.17
3.49
2.73
φ1
AICc
−2 log(Likelihood)
Ljung-Box χ2
6
.39
(4.9)
—
.55
(3.0)
—
—
—
—
.18
(.84)
7 - 53