Module 9 Seasonal ARIMA (SARIMA) Models Class notes for Statistics 451: Applied Time Series Iowa State University Machine Tool Shipments 1971 Year 1972 1973 Machine-Tool Shipments 1968-1975 1970 1974 9-1 9-3 1975 1967 1982 1969 1984 1985 1971 Module 9 Segment 1 1986 1973 Year 1987 Year 1975 1988 1989 1977 1990 1979 1981 1991 US Consumption of Gas and Oil 1967-1982 US Gas and Oil Consumption 1983 1992 Residential and Commercial Energy Consumption 1982-1993 Energy Consumption Data 9-6 1983 9-4 1993 9-2 Seasonal Time Series Examples and the SARIMA Model 3000 Copyright 2015 W. Q. Meeker. March 6, 2016 21h 15min Seasonal Time Series • “Periodic” is a better term; “seasonal” commonly used • Seasonal (periodic) model with S observations per period ◮ Monthly data has 12 observations per year ◮ Quarterly data has 4 observations per year ◮ Daily data has 5 or 7 (or some other number) of observations per week. 1969 9-5 Quadrillion Btu Billions of Dollars • Notes: ◮ Sunspot data is cyclical, not seasonal, because distance between peaks is random. 1968 ◮ Just because we have 12 observations per year, does not mean that there is seasonal behavior (e.g., stock prices show no regular seasonal patterns) Thousands of Dollars 2500 2000 80 60 40 20 16000 14000 12000 10000 8000 6000 4000 10 8 6 4 2 Inches Des Moines Precipitation Time 1975 1980 Des Moines Precipitation 1970 Seasonal ARIMA Model (SARIMA) No Use the Model Yes Model ok? Diagnostic Checking Estimation Tentative Identification Forecasting Explanation Control Residual Analysis and Forecasts Least Squares or Maximum Likelihood Time Series Plot Range-Mean Plot ACF and PACF Data Analysis Strategy 1985 9-7 9 - 11 9-9 By multiplying out the differencing terms, the SARIMA model can be expressed in the ARMA form: φp∗∗ (B)Zt = θq∗∗ (B)at . The modeling problem is to choose a transformation (γ and m), differencing (d and D), and the SARIMA model (p, q, P, Q) for the working series Wt. As before, use tsplot, range-mean plot, ACF and PACF. θ1(B) = (1 − θ1B) Θ2(B12) = (1 − Θ1B12 − Θ2B24) φ1(B) = (1 − φ1B) Φ1(B12) = (1 − Φ1B12) For example using P = 1, p = 1, Q = 2, q = 1, S = 12 gives ΦP (BS )φp(B)Wt = ΘQ(BS )θq (B)at ΦP (BS )φp(B)(1 − B)d(1 − BS )D Zt = ΘQ(BS )θq (B)at The SARIMA(p, d, q) × (P, D, Q)S model is 0 Seasonal Differencing Zt = Zt−12 + Wt Wt = (1 − B12)Zt = Zt − B12Zt = Zt − Zt−12 • Seasonal differencing is usually needed. For example, or Zt = Zt−1 + Zt−12 − Zt−13 + Wt Wt = (1 − B)(1 − B12)Zt = Zt − Zt−1 − Zt−12 + Zt−13 • More generally, the “working series” is Wt = (1 − B)d(1 − BS )D Zt 9-8 implemented, for example by iden(airline.tsd,gamma=0,d=1,D=1) Even more generally (not supported by RTSERIES) Wt = (1 − B)d(1 − BS1 )D1 (1 − BS2 )D2 Zt and so on. Module 9 Segment 2 9 - 10 Introduction to Seasonal Time Series Modeling Revisiting the Airline Data Strategy for Seasonal Time Series Modeling • Plot data • Use a range-mean plot to see if a transformation might be needed; choose tentative γ value (and perhaps m > 0). • Choose differencing scheme(s). ◮ Look at 3 × S + 3 lags on the ACF and PACF of Wt for all combinations of d = 0, 1 and D = 0, 1. ◮ Go higher with d or D as needed. ◮ Choose the stationary Wt with the smallest d and D. Avoid over-differencing • Tentatively identify a model(s) from the ACF and PACF of the chosen differencing scheme(s) [i.e., choose (p, d, q)(P, D, Q)]. • Fit, check, and compare models. • Iterate as necessary • At the end, choose alternative value of γ, if needed 9 - 12 1950 5.2 5.4 1952 5.6 Range-Mean Plot 1951 5.8 1953 1954 6.2 1955 time 0 0 1956 w= log(Thousands of Passengers) International Airline Passengers 6.0 10 10 1957 1958 Lag 20 PACF Lag 20 ACF 1959 30 30 1960 1954 1955 time 1956 0 1957 10 1958 International Airline Passengers w= (1-B^ 12 )^ 1 log( Thousands of Passengers ) 1953 30 1959 PACF 20 Lag 1960 30 1961 9 - 13 1961 Airline Data iden Output Log Transformation No Differencing esti(airline.tsd, gamma=0) 1949 5.0 Mean 1952 ACF 20 Lag 10 1950 Lag 20 1953 30 1954 1955 time 1956 0 1957 10 1959 Lag 20 PACF 1958 International Airline Passengers w= (1-B)^ 1 log( Thousands of Passengers ) 1952 ACF 1951 30 1960 1952 1953 30 1954 1955 1956 time 0 1957 1958 10 1959 Lag 20 PACF International Airline Passengers w= (1-B)^ 1 (1-B^ 12 )^ 1 log( Thousands of Passengers ) ACF 20 Lag 1960 30 1961 9 - 14 1961 Airline Data iden Output Log Transformation One Regular Difference esti(airline.tsd, gamma=0, d=1) 1949 0 1951 10 9 - 16 Use the un- 9 - 18 plot.true.acfpacf(model=list(ma=c(0.5,rep(0,10),0.9,-0.45)),nacf=38) plot.true.acfpacf(model=list(ma=c(0.5,0,0,0,0, 0,0,0,0,0,0,0.9,-0.45)),nacf=38) or • plot.true.acfpacf() RTSERIES function. For example • PACF computed using the same Yule-Walker based “Durbin formula” as in the nonseasonal models • Formula sheets from Box and Jenkins give the ACF. Note the use of special cases (e.g., setting θ = 0 in model 1 gives the ACF of a particularly simple seasonal model Wt = −Θ1at−S + at) • Derivations similar to nonseasonal models. scrambled form of the model for Wt. Methods of Obtaining the True ACF and PACF for Seasonal Models 0 1950 Airline Data iden Output Log Transformation Regular and Seasonal Difference esti(airline.tsd, gamma=0, d=1, D=1) Partial ACF Partial ACF 4.8 1951 10 9 - 15 1.0 0.0 -1.0 Airline Data iden Output Log Transformation One Seasonal Difference esti(airline.tsd, gamma=0, D=1) 1950 0 Module 9 Segment 3 True ACF and PACF for Seasonal Time Series SARIMA Models 9 - 17 1.0 0.0 -1.0 0.2 0.0 -0.2 1.0 0.0 -1.0 0.10 w ACF w ACF 1.0 0.5 0.0 -1.0 1.0 0.5 0.0 -1.0 ACF Partial ACF Partial ACF 0.0 -0.15 1.0 0.0 -1.0 1.0 0.0 -1.0 6.5 6.0 5.5 5.0 0.45 0.40 0.35 w Range w ACF 0.2 0.0 1.0 0.0 -1.0 10 10 True ACF 20 ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 Lag True PACF 20 ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 Lag True ACF 20 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 Lag True PACF ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 20 30 30 30 30 9 - 23 0 0 0 0 10 10 True ACF 20 ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 Lag True PACF Lag 20 30 30 Wt = Φ1Wt−12 + at ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 γ0 = E(Wt2) = σa2 , 2 1 − Φ1 j > 12. = γ2 = · · · = γ11 = 0 −1 < Φ1 < 1 γ12 = E(WtWt+12) = Φ1γ0 γ1 γj = Φ1γj−12, ρj = γj /γ0 ρ1 = ρ2 = · · · = ρ11 = 0 j > 12. ρ12 = γ12/γ0 = Φ1 ρj = Φ1ρj−12, 10 10 True ACF 20 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 Lag True PACF 20 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 Lag 30 30 9 - 24 True ACF and PACF for Wt = +Φ1Wt−12 + at with Φ1 = −0.9 plot.true.acfpacf(model=list(ar=c(rep(0, 11), -0.9)), nacf=38) 9 - 22 This is a special case of Model 2 from the Box and Jenkins formula sheet with θ1 = Θ1 = 0. Example: (1 − Φ1B12)Wt = at, 9 - 20 True ACF/PACF for Wt = −Θ1at−12 + at , Θ1 = 0.9 plot.true.acfpacf(model=list(ma=c(rep(0, 11), +0.9)), nacf=38) True ACF Example: Wt = (1 − Θ1B12)at = −Θ1at−12 + at This is a special case of Model 1 from the Box and Jenkins formula sheet with θ1 = 0. Everything is easy to derive. γ1 = γ2 = · · · = γ11 = 0 2 2 γ0 = E(Wt2) = (1 + Θ1 )σa 9 - 19 γ12 = E(WtWt+12) = E[(−Θ1at−12 + at)(−Θ1at + at+12)] = 0 + · · · + 0 + E(−Θ1at2) = −Θ1σa2 γ13 = γ14 = · · · = 0 ρj = γj /γ0 ρ1 = ρ2 = · · · = ρ11 = 0 j > 12. 2 ρ12 = γ12/γ0 = −Θ1/(1 + Θ1 ) ρj = 0, 10 10 9 - 21 True ACF/PACF for Wt = −Θ1at−12 + at, Θ1 = −0.9 plot.true.acfpacf(model=list(ma=c(rep(0, 11), -0.9)), nacf=38) 0 0 0 0 Lag 1.0 0.0 -1.0 1.0 0.0 -1.0 1.0 True ACF and PACF for Wt = +Φ1Wt−12 + at with Φ1 = 0.9 plot.true.acfpacf(model=list(ar=c(rep(0, 11), +0.9)), nacf=38) 1.0 True PACF True ACF True PACF 0.0 -1.0 1.0 0.0 -1.0 1.0 0.0 -1.0 1.0 0.0 -1.0 True ACF True PACF True ACF True PACF 0.0 -1.0 1.0 0.0 -1.0 10 10 Module 9 Segment 4 True ACF 20 ma: 0.1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.09 Lag True PACF 20 ma: 0.1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.09 Lag 30 30 9 - 25 9 - 27 Example: Wt = (1 − θ1B)(1 − Θ1B12)at This is Model 1 from the Box and Jenkins formula sheet. Wt = (1 − θ1B)(1 − Θ1B12)at = −θ1at−1 − Θ1at−12 + θ1Θ1at−13 + at = (1 − θ1B − Θ1B12 + θ1Θ1B13)at This is like an MA(13) and, again, everything is easy to derive. For example, γ11 = E(WtWt−11) = θ1Θ1σa2 9 - 26 = 0 + 0 + · · · + E[(−Θ1at−12)(−θ1at−12)] + 0 + · · · γ1 = γ0 = γ13 = γ12 = 0 0 0 0 10 10 True ACF 20 ma: 0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.45 Lag True PACF 20 ma: 0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.45 Lag True ACF Lag 20 ma: -0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9, -0.45 10 True PACF Lag 20 ma: -0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9, -0.45 10 30 30 30 30 9 - 30 True ACF/PACF for Wt = (1 − θ1B)(1 − Θ1B12)at, θ1 = −0.5, Θ1 = −0.9 plot.true.acfpacf(model=list(ma=c(-0.5,rep(0,10),-0.9,-0.45)),nacf=38) 9 - 28 True ACF/PACF for Wt = (1 − θ1B)(1 − Θ1B12)at, θ1 = 0.5, Θ1 = 0.9 plot.true.acfpacf(model=list(ma=c(0.5,rep(0,10),0.9,-0.45)),nacf=38) True ACF True ACF and PACF for the Airline Model Coefficients for the Multiplicative Model Expressed as an MA(13) W = (1 − θ1B)(1 − Θ1B12)at t = (1 − θ1B − Θ1B12 + θ1Θ1B13)at = −θ1at−1 − Θ1at−12 + θ1Θ1at−13 + at = −θ1at−1 − θ12at−12 − θ13at−13 + at θ13 = −θ1 × Θ1 = −0.45 θ12 = Θ1 = 0.90 θ1 = θ1 = 0.50 The coefficients for this model are: 0 0 9 - 29 1.0 0.0 -1.0 1.0 0.0 -1.0 1.0 True ACF/PACF for Wt = (1 − θ1B)(1 − Θ1B12)at, θ1 = 0.1, Θ1 = 0.9 plot.true.acfpacf(model=list(ma=c(0.1,rep(0,10),0.9,-0.09)),nacf=38) 1.0 True PACF True ACF True PACF 0.0 -1.0 1.0 0.0 -1.0 True ACF True PACF 0.0 -1.0 1.0 0.0 -1.0 10 10 9 - 33 0 0 10 Lag 20 True PACF 20 ar: 0.1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.09 Lag True ACF Lag 20 30 30 30 ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 10 True PACF Lag 20 30 ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 10 Module 9 Segment 5 9 - 36 Comparison of Models for the Airline Data Using the Log Transformation 9 - 34 True ACF/PACF for (1 − Φ1B12)Wt = (1 − Θ1B12)at , Φ1 = −0.9,Θ1 = 0.9 model=list(ar=c(rep(0,11), -0.9), ma=c(rep(0, 11), +0.9)) 9 - 32 True ACF/PACF for (1 − φ1B)(1 − Φ1B12)Wt = at , φ1 = 0.1, Φ1 = 0.9 plot.true.acfpacf(model=list(ar=c(+0.1,rep(0,10),+0.9,-0.09)),nacf=38) 0 True ACF 30 30 30 30 30 10 ar: 0.1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.09 20 20 20 0 True ACF 20 30 ar: 0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.45 Lag True PACF 20 ar: 0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9, -0.45 Lag 9 - 31 True ACF/PACF for (1 − φ1B)(1 − Φ1B12)Wt = at , φ1 = 0.5, Φ1 = 0.9 plot.true.acfpacf(model=list(ar=c(+0.5,rep(0,10),+0.9,-0.45)),nacf=38) 0 0 True ACF 20 ar: -0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9, -0.45 10 Lag True PACF Lag ar: -0.5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9, -0.45 10 Lag 1.0 0.0 -1.0 1.0 True ACF/PACF for (1 − φ1B)(1 − Φ1B12)Wt = at , φ1 = −0.5, Φ1 = −0.9 plot.true.acfpacf(model=list(ar=c(-0.5,rep(0,10),-0.9,-0.45)),nacf=38) 0 0 10 10 ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 True PACF Lag ma: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.9 ar: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.9 True ACF True ACF/PACF for (1 − Φ1B12)Wt = (1 − Θ1B12)at , Φ1 = 0.9,Θ1 = −0.9 model=list(ar=c(rep(0,11), +0.9), ma=c(rep(0, 11), -0.9)) 0 0 9 - 35 1.0 0.0 -1.0 1.0 0.0 -1.0 True ACF True PACF True ACF True PACF 1.0 1.0 0.0 -1.0 True ACF True PACF 0.0 -1.0 1.0 0.0 -1.0 1.0 0.0 -1.0 1.0 0.0 -1.0 True ACF True PACF True ACF True PACF 0.0 -1.0 1.0 0.0 -1.0 Airline Passenger Model Summary Table ••• ••••• •••• 1952 ••• • • ••••• • •• International Airline Passengers Model: Component 1 :: ar: 1 on w= log( Thousands of Passengers ) • • • • • •• • • • • • • • ••• • ••• • •• • • ••• • ••• 1956 Index Residuals 0.0 • •• • • ••• • 0.1 ••• • • • 1958 • •• ••• • • • 0.2 •• • • •• •• • •• ••• • ••• ••• •••• •••• ••••• •••• •••• ••• • •••• ••• ••••• ••••• •••• Normal Probability Plot -0.1 ••• •• • ••••• • ••• ••• ••• •• ••• •• •• •• •• • •• Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 • -0.2 • • • • • • •• • • •• • • •••• 1960 • •• • •• • • • ••• 1962 ••••••• •••••• 9 - 37 9 - 39 ••••••••• Airline Data esti AR(1) Log Transformation (Model 1) Output Part 2 1950 • ••••• ••••••• •• •• • • • 1949 • • • • • • • • • • • •• • 1950 • • • • • ••• • 1951 • • • •• • •• • • • • • • • 1952 • • •• • • • •••• • • • • 1953 • • • ••• • • •• • •• • • International Airline Passengers • • •• • • • •• • • •• • • 6.0 • • • • • • • • • Time 1955 Residuals vs. Time • 1954 • • •• • • 6.5 1956 0 1957 10 1958 Model: Component 1 :: ndiff= 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Thousands of Passengers ) • • • • • •• • • • • • • • Residuals vs. Fitted Values • • • •• • •• • • • • • Fitted Values 5.5 1959 Residual ACF 20 Lag 1960 30 1961 9 - 41 Residuals • • 1949 • • •• • • • • • • • 1950 • • • •• • • • • • • 1951 • • • •• • • • •• • • • • • • ••• • • • • • • • • • 1952 • • • • • • • •• •• • • • • • • • • • • •• • • • •• International Airline Passengers • • • • • •• • •• • •• • • • • • • 1954 • • • • • • • • • • Time 1955 Residuals vs. Time • • 1956 0 1957 Model: Component 1 :: ar: 1 on w= log( Thousands of Passengers ) • • 1953 • • • • • • •• • • • • • Residuals vs. Fitted Values • • • • • •• • • • • • • • 6.0 10 1958 Lag 20 Residual ACF 1959 30 1960 9 - 38 1961 Airline Data esti AR(1) Log Transformation (Model 1) Output Part 1 esti(airline.tsd, gamma=0, model=model.pdq(p=1), y.range=c(100, 1100)) • • • 5.5 Fitted Values has three parameters. • 1949 • • • • • • • • • • • • • • • 1950 • •• • • 5.0 • • • • • • • • • • • •• • • • • • •• • • • • • • • •• • • 1952 • • • • • • •• • 1953 International Airline Passengers • • • 1954 • • • • • • • • • • • • • • •• • •• • •• •• •• • • • • •• • • • • •• • • •• • • • • • • • • • • • 6.0 • •• • • Time 1955 Residuals vs. Time • 6.5 1956 0 1957 10 1958 Lag 1959 20 Residual ACF Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Thousands of Passengers ) • • • • • Fitted Values 5.5 • • Residuals vs. Fitted Values 1951 30 1960 9 - 42 1961 Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 Log Transformation (Model 4) Output Part 1 esti(airline.tsd, gamma=0, model=model.pdq(d=1, q=1, D=1, Q=1), y.range=c(100, 1100)) 9 - 40 Zt = Zt−1 + Zt−12 − Zt−13 − θ1at−1 − θ12at−12 − θ13at−13 + at and has only 2 parameters. The unscrambled additive “airline model” for Zt is Zt = Zt−1 + Zt−12 − Zt−13 − θ1at−1 − Θ1at−12 + θ1Θ1at−13 + at The unscrambled multiplicative “airline model” for Zt is = −θ1at−1 − Θ1at−12 + θ1Θ1at−13 + at Wt = (1 − θ1B)(1 − Θ1B12)at Model for the working series Wt = Zt − Zt−1 − Zt−12 + Zt−13 Wt = (1 − B)(1 − B12)Zt Differencing d = 1 and D = 1 to give the working series 5.0 1.0 0.2 0.1 0.0 -0.1 -0.2 0.2 0.1 0.0 -0.1 0.5 0.0 -0.5 The “Airline Model” ACF ACF Airline Data esti SARIMA(0, 1, 0)(0, 1, 1)12 Log Transformation (Model 3) Output Part 1 esti(airline.tsd, gamma=0, model=model.pdq(d=1, D=1, Q=1), y.range=c(100, 1100)) • • 5.0 ACF -1.0 1.0 0.5 0.0 -0.5 -1.0 Normal Scores -0.2 0.10 0.05 2 1 0 -1 -2 1000 800 600 400 200 0.10 0.05 Residuals Residuals Residuals 0.0 -0.05 -0.10 0.10 0.05 0.0 1.0 0.5 0.0 -0.5 -1.0 -0.05 -0.10 Thousands of Passengers Residuals Residuals 0.0 -0.05 -0.10 0.10 0.05 0.0 -0.05 -0.10 1950 ••• ••••• •••• • • • • • 1950 • • •• • • • • • 1951 • • •• • • • •• • •• • • • 1953 • • • • •• • • • • •• • • ••• • ••• • •• • • ••• • ••• • •• • • ••• • ••• • • • • • •• 1958 • •• ••• • • • • 0.10 International Airline Passengers • • • • • •• • • • •• • • • • • 1954 • • •• • • •• • • •• • • Time 1955 Residuals vs. Time • ••• • •• • • ••• ••• 1956 • • •• • 1956 • ••• • ••• • •• • 1958 • •• 1957 • •• ••• • • • • •• • • • • • • • • 10 • • • ••• • •• • 1958 ••• • •• • • •••• • 1960 •• Lag • • • 1959 20 ••• Residual ACF • •••• • 1960 •• • •• • • • ••• •• •• • • • • •• •• • • • ••• 30 1960 • • • ••• •• •• 1962 • • • • •• •• • • • • • • 9 - 45 1961 • • ••••• •••• 1952 ••• • • ••••• • • •••• •• • ••••• •• • • • • • •• • • • 1954 • • • -0.2 •• • • ••• • ••• • •• • • ••• ••• 1956 • Index Residuals 0.0 • •• • • ••• • 0.1 ••• • • • 1958 • •• ••• • • • 0.2 •• • • •• •• • •• ••• • ••• ••• •••• •••• ••••• •••• •••• ••• • •••• ••• ••••• ••••• •••• Normal Probability Plot ••• •• • •••• ••• ••• • ••• • •• •• ••• •• •• •• -0.1 • •• • • • • • • ••• • •• • 1960 • •••• • •• • •• • • • ••••• •••••••••• 1962 ••••••• 9 - 44 ••• Airline Data esti AR(1) Log Transformation (Model 1) Output Part 2 ••• ••••• •••• •• • International Airline Passengers • • • •• • • • • •• • ••• • -0.05 •• • • ••• ••• 1956 • Index Residuals 0.0 • •• • • ••• • 0.05 • •• 0.10 ••• • • • • • •• •• ••• ••• •• •• ••• •••• ••• ••••• ••• ••• •••• •• •••• ••• ••• ••• ••• ••• ••• ••• •• • •• •• •• • Normal Probability Plot • ••• • 1958 • •• ••• • • • • • •• Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 • -0.10 • • • • • • ••• • •• • 1960 • •••• • Model: Component 1 :: ndiff= 1 ma: 1 12 13 Component 2 :: period= 12 ndiff= 1 on w= log( Thousands of Passengers ) 1952 ••• • • ••••• • • •• • •• • • • ••• •• • • •• • • •• • • •• 1962 Airline Passenger Model Summary Table 1950 • ••••• ••••••• •• •• • • • •• • • • 9 - 48 9 - 46 • Airline Data esti Additive Airline Model Log Transformation (Model 5) Output Part 2 ••• International Airline Passengers 1952 • •• • ••• •• •• •• • • • • ••• • • • • • 0.10 1950 Model: Component 1 :: ar: 1 on w= log( Thousands of Passengers ) • • • •• • •• •• • ••• • 6.5 0 Model: Component 1 :: ndiff= 1 ma: 1 12 13 Component 2 :: period= 12 ndiff= 1 on w= log( Thousands of Passengers ) • • • 6.0 International Airline Passengers • • • •• • • • Index •• •• ••• •• 0.05 • ••••• ••••••• •• •• • Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • • • •• • • • •• •• ••• •• 0.05 1962 International Airline Passengers •• • 1956 Index Residuals 0.0 •• •••• ••• ••• ••••• •••• •••• •••• •• •• •••• •• ••• ••• •••• •• •• •••• ••• ••• • • Normal Probability Plot • •• • -0.05 9 - 43 Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 • -0.10 • 1000 800 Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Thousands of Passengers ) 1952 • • • • Residuals vs. Fitted Values • • ••• • • • • • Fitted Values 5.5 •• • Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 Residuals 0.0 •• •••• ••• ••• ••••• •••• •••• •••• •• •• •••• •• ••• ••• •••• •• •• •••• ••• ••• • • Normal Probability Plot • •• • -0.05 • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Thousands of Passengers ) 1952 ••• • • ••••• • • -0.10 2 1 0 -1 ••• • • ••••• • • •• Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 Log Transformation (Model 4) Output Part 2 • • •• • • • • •••• • 9 - 47 Normal Scores Normal Scores • ••••• ••••••• •• •• • • 1949 • • • • • • ••••• Thousands of Passengers Thousands of Passengers 600 400 200 1000 800 Airline Data esti Additive Airline Model Log Transformation (Model 5) Output Part 1 esti(airline.tsd, gamma=0, model=add.airline.model, y.range=c(100,1100)) • 5.0 1950 ••• Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 Log Transformation (Model 4) Output Part 2 ACF -2 2 1 0 -1 -2 1.0 0.5 0.0 -0.5 -1.0 600 Normal Scores Normal Scores • ••••• ••••••• •• •• • 2 1 0 -1 -2 400 200 2 1 0 -1 -2 1000 800 600 400 200 0.10 0.05 0.0 -0.05 -0.10 0.10 Thousands of Passengers Residuals Residuals Thousands of Passengers 0.05 0.0 -0.05 -0.10 1000 800 600 400 200 Module 9 Segment 6 9 - 49 Comparison of Models for the Airline Data Using Alternative Transformations • 1950 • • • 1951 • •• • • • •• • •• •• • • • 1953 • • • • • • International Airline Passengers • • 500 • • • 1954 • • Time 1955 Residuals vs. Time • 600 1956 0 1957 10 1958 Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Thousands of Passengers 1952 • • • • • • Residuals vs. Fitted Values • • • • •• • • • •• • • •• 400 Fitted Values •• • International Airline Passengers • • • •• • • • • •• • • ••• • ••• • •• • Index ••• 1956 • • ••• • •• • • ••• • ••• • •• • 1958 • •• ••• • • • •• Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 • • • • • • • ••• • •• • Lag 1959 20 Residual ACF 1960 • •••• • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Thousands of Passengers ) 1952 ••• • • ••••• • • • • • 0.10 •• • •• • • • ••• •• • • •• 30 1960 • • • ••• •• 1962 • • •• • • 9 - 51 1961 • • Airline Passenger Model Summary Table 1950 • ••••• ••••••• •• •• • ••• ••••• •••• 1952 •• • International Airline Passengers • • • •• • • • • •• • • • • • ••• • •• • • ••• ••• 1956 • Index Residuals 0 • •• • ••• •••• ••• •••• ••••• ••• ••• •• ••• •• ••• ••• ••• •••• •• ••• ••• ••• ••• •• • • ••• • 20 • • • • •• •• ••• •• • Normal Probability Plot • ••• • ••• • • 1958 • •• ••• • • • 40 •• • •• Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 • -20 • • • • • • ••• • •• • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Thousands of Passengers ••• • • ••••• • • 1960 • •••• • •• • •• • • • ••• • •• • •• • • ••• • 1962 • •• • •• • • • Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 No Transformation (Model 7) Output Part 2 • 1949 • • • • • • • • • • 1950 • • • • • • • •• -0.18 • • • • •• • • • • • • • • • • •• • •• • • 1952 • •• • •• • • • • • • • • • 1953 • •• • • •• •• • International Airline Passengers • • • • • ••• •• • • • •• •• • -0.14 • • • 1954 • • • • • • Time 1955 Residuals vs. Time • • • • •• • • •• • •• • • • •• • • • • • -0.12 1956 0 1957 10 1958 Lag 1959 20 Residual ACF Model: Component 1 :: ndiff= 1 ma: 1 12 13 Component 2 :: period= 12 ndiff= 1 on w= -( Thousands of Passengers ) ^ -0.3333 • •• • • • • •• • Fitted Values -0.16 • Residuals vs. Fitted Values 1951 30 1960 9 - 50 • 9 - 52 9 - 54 1961 Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 γ = −0.333 Transformation (Model 6) Output Part 1 esti(airline.tsd, gamma=-0.333, model=model.pdq(d=1, q=1, D=1, Q=1), y.range=c(100, 1100)) Normal Scores Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 No Transformation (Model 7) Output Part 1 esti(airline.tsd, gamma=1, model=model.pdq(d=1, q=1, D=1, Q=1), y.range=c(100, 1100)) • • • • • •• •• • • • • 300 •••• •• •• ••• •• 0.05 2 1 0 -1 -2 1949 • • • • •• •• • • • •• • • • •• • • • • • • •• • • • • ••• • • • • • • • • •• ••• • • • • •• • • • • • • • • • • ••••• Residuals 0.0 •• •••• ••• ••• ••••• •••• •••• •••• •• •• •••• •• ••• ••• •••• •• •• •••• ••• ••• • • Normal Probability Plot • •• • -0.05 -0.20 ACF ACF 1000 800 600 40 20 0 -20 40 400 200 0.006 0.002 200 ••• • -0.10 Thousands of Passengers Residuals Residuals 1.0 0.5 0.0 -0.5 -1.0 Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 Log Transformation (Model 4) Output Part 2 1950 • 9 - 53 1.0 0.5 0.0 -0.5 -1.0 • ••••• ••••••• •• •• • Normal Scores -0.002 -0.006 0.006 0.002 -0.002 -0.006 2 1 0 -1 -2 Residuals Residuals Thousands of Passengers 20 0 -20 1000 800 600 400 200 ••• ••••• •••• ••• • •• • • ••• ••• • •• • • ••• • ••• • •• • • •• ••• • • • •• • • • • • • ••• • •• • • •••• • •• • • • • • • •• • • •• • • • • • • •• • 50 • •• • • • • 600 400 200 ••••• •••• 1952 ••• • • ••••• • • •••• •• • ••••• •• • • •• • • -0.10 • • • •• • • • 1954 • • ••• • ••• • •• • • ••• ••• 1956 • Index Residuals 0.0 • •• • • ••• • •• •• ••• •• 0.05 •• •••• ••• ••• ••••• •••• •••• •••• •• •• •••• •• ••• ••• •••• •• •• •••• ••• ••• • • Normal Probability Plot • •• • -0.05 ••• • • • • Module 9 • •• 1958 • •• ••• • • • • 0.10 Segment 7 • •• • • • • • • ••• • •• • • •••• • 1960 •• • •• • • • ••• •• • • •• • • ••• •• 1962 • • • •• • • • 9 - 56 • Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 Log Transformation (Model 4) Output Part 2 0 10 30 ACF 20 Lag 30 40 Simulated Time Series #B w= (1-B)^ 1 (1-B^ 12 )^ 1 Sales time 0 10 PACF 20 Lag 30 50 9 - 60 Graphical Output from Function iden for Simulated Series #B with 1 Regular and 1 Seasonal Difference 9 - 58 Seasonal Differencing of Nonseasonal Data Can be Misleading ••• International Airline Passengers • 1960 30 1950 Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * •• • 1958 PACF 20 Lag • ••••• ••••••• •• •• • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Thousands of Passengers ) • • ••• • • 10 Normal Scores • • • •• • • • • 1962 International Airline Passengers •• • 1956 Index • • • •• •• •• • •• ••• •• •••• ••• •••• •• ••• ••• ••• ••• ••• ••• ••• •••• •• ••• ••• ••• ••• ••• •• • • Normal Probability Plot •• 0.006 9 - 57 9 - 55 Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • •••• •• • ••••• 1954 • • 0.002 Residuals -0.002 • 1000 800 Model: Component 1 :: ndiff= 1 ma: 1 12 13 Component 2 :: period= 12 ndiff= 1 on w= -( Thousands of Passengers ) ^ -0.3333 1952 -0.006 40 Simulated Time Series #B w= (1-B)^ 1 Sales time 0 2 1 0 -1 -2 ••• • • ••••• • • •• Airline Data esti SARIMA(0, 1, 1)(0, 1, 1)12 γ = −0.333 Transformation (Model 6) Output Part 2 1950 30 30 Partial ACF 10 • ••••• ••••••• •• •• • ACF 20 Lag Partial ACF -10 -30 1.0 Normal Scores Airline Passenger Model Summary Table 10 Thousands of Passengers w ACF 2 1 0 -1 -2 1000 800 600 400 200 Graphical Output from Function iden for Simulated Series #B with 1 Regular Difference 0 9 - 59 1.0 0.0 -1.0 1.0 0.0 -1.0 0.0 -1.0 Thousands of Passengers w ACF 0 10 -20 1.0 0.0 -1.0 • • • •• • • • • • ••• •• • •• • •• • •• • • ••• •• • • ••• • • • • • • • • 30 •• • • •• •• • • • • • • • • • • •• • •••• • •• ••• • •• ••• • • • • •• • • • • • ••• •• • •• •• •• • • • • • ••• •• • • • • • • 50 •• • ••••••••••••••••••••••••• • • • ••• •• • •• • •• • •• • • ••• • • • • • • • • • •• • •• •••• • • • •• •• • • • • • • ••• -30 • •• • • •• •• • • • • • • • • • Index • •• • Residuals -10 0 •••• 40 20 • • • •• ••• • •• ••• • 10 • •• • • ••• •• •• •••• •••• •• •••• •••• •••• •••• ••••• ••• •••• •• ••• •••• ••• ••• ••• •• ••••• • •• ••• •• •• Normal Probability Plot • • -20 • Module 9 Segment 8 • • •• • • • • • ••• •• • •• •• • •• • • 50 • • • ••• •• • • • • • •• • ••••••• ••••••••••• • 1955 1956 1957 1958 50 Range-Mean Plot 40 1959 1961 time 1963 10 1965 0 10 w= Billions of Kilowatt-hours 1962 0 1964 Ohio Electric Power Consumption 1960 60 1966 ACF 1967 20 Lag PACF 20 1968 1969 30 1970 9 - 66 1971 9 - 64 9 - 62 •••••• Function esti Output for Simulated Series #B SARIMA(0, 1, 1)(0, 1, 1)12 Model—Part 2 • 30 •• Simulated Time Series #B • • 1954 30 Lag 30 Ohio Power Consumption Data iden Output No Transformation and No Differencing iden(ohio.tsd, gamma=1) Ohio Power Example Model Identification ••• Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * ••• • •• 20 9 - 61 9 - 63 •• • • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Sales • 40 10 1968 • •• • • • Simulated Time Series #B • Index Residuals 0 •• ••• ••• •• ••• • •• ••• ••• ••• ••• •••• •••• ••• •••• ••••• • ••• •••• •• • • •• ••• ••• ••• •• ••• Normal Probability Plot • •• •• -10 1966 • Model: Component 1 :: ndiff= 1 ma: 1 on w= Sales • • • •• •• • • • • • = (1 − B12)at = −a12 + at 1964 20 Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * •• -20 • Seasonal Over-Differencing 1962 Normal Scores • •• • •• •••• Function esti Output for Simulated Series #B SARIMA(0, 1, 1)(0, 0, 0)12 Model—Part 2 • Assume that (1 − B)Zt = at so that Zt has a random walk model. Then Wt = (1 − B)Zt = at 12 )(1 − B)Zt 1960 Ohio Electric Power Consumption 1958 1970 will follow a “trivial model” and we will not expect to see anything in the ACF/PACF. What if we take seasonal differences? Wt = (1 − B 1956 Ohio Power Consumption Data which is a noninvertible MA(12)! 1954 2 1 0 -1 -2 1 0 -1 -2 100 50 150 250 Time Mean 1.0 0.5 Sales Billions of Kilowatt-hours 100 50 70 60 2 200 9 - 65 ACF Partial ACF 0.0 -1.0 1.0 0.5 0.0 -1.0 20 Sales w Range 50 40 30 20 12 10 8 6 4 Normal Scores 250 150 200 70 60 50 40 30 20 1956 10 1958 ACF 20 Lag 1960 time 1962 0 1964 Ohio Electric Power Consumption w= (1-B)^ 1 Billions of Kilowatt-hours 30 1966 10 1968 PACF 20 Lag 1970 30 9 - 67 Ohio Power Consumption Data iden Output No Transformation and One Regular Difference iden(ohio.tsd, gamma=1, d=1) 1954 0 1956 10 1958 ACF 20 Lag ACF 20 Lag 1960 time 1962 0 1964 Ohio Electric Power Consumption w= (1-B)^ 3 Billions of Kilowatt-hours 30 1961 1963 time 1965 0 1966 10 10 1968 PACF 20 Lag Lag 20 PACF 1967 Ohio Electric Power Consumption w= (1-B)^ 1 (1-B^ 12 )^ 1 Billions of Kilowatt-hours 1959 30 1969 1970 30 30 9 - 69 1971 w 1956 10 1958 ACF 20 Lag 1960 time 1962 0 1964 Ohio Electric Power Consumption w= (1-B)^ 2 Billions of Kilowatt-hours 30 1966 10 1968 PACF 20 Lag 1970 30 9 - 68 Ohio Power Consumption Data iden Output No Transformation and Two Regular Differences iden(ohio.tsd, gamma=1, d=2) 1954 0 1955 0 1957 ACF 20 Lag 1959 1961 1963 time 0 1965 10 Ohio Electric Power Consumption w= (1-B^ 12 )^ 1 Billions of Kilowatt-hours 30 Module 9 Segment 9 1967 PACF 20 Lag 1969 30 1971 9 - 70 9 - 72 Ohio Power Example Model Comparison Using No Transformation 10 Ohio Power Consumption Data iden Output No Transformation and One Seasonal Difference iden(ohio.tsd, gamma=1, D=1) Partial ACF Partial ACF Ohio Power Consumption Data iden Output No Transformation and Three Regular Differences iden(ohio.tsd, gamma=1, d=3) 1954 0 1957 10 1.0 0.0 -1.0 5 Ohio Power Consumption Data iden Output No Transformation Regular & Seasonal Difference iden(ohio.tsd, gamma=1, d=1, D=1) 1955 0 9 - 71 1.0 0.0 -1.0 15 5 0 -10 1.0 0.0 -1.0 10 5 0 -5 1.0 ACF w ACF Partial ACF Partial ACF Partial ACF 0.0 1.0 0.0 -1.0 1.0 0.0 -1.0 -1.0 1.0 0.0 -1.0 w ACF 0 -5 1.0 0.0 -1.0 0 10 -20 1.0 0.0 -1.0 w ACF w ACF 2 4 6 -2 -6 1.0 0.0 -1.0 Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * 2 • 1965 4 • 6 • •• •• • • • ••• • • Model: Component 1 :: ar: 1 2 Component 2 :: period= 12 ndiff= 1 on w= Billions of Kilowatt-hours 1960 Index 0 • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • -2 • • • • •• ••• ••• ••• •••• • ••• •••• ••••••• ••• •••• •••• ••• ••• ••• •• •••• ••• •••••• •••• ••• •• ••• •• • ••• •• Normal Probability Plot • •• 1970 1970 • • •• • •• • • • •• •• • • • •• • • • • •• • • •• • • • •• • • • ••• • •• • • • • • • •• •• • •• • • • 9 - 75 • • • • • • • • • • •• • • • • • • •• • •• • • •• • • • •• • • • ••• • •• • •• • • • • • •• •• • •• • • • 9 - 73 Ohio Power Consumption Model Summary Table •• Ohio Power Consumption Data SARIMA(2, 0, 0)(0, 1, 0)12 No Transformation (Model 1) Output Part 2 • •• • • • • • • -4 • • 80 • • 30 • • 1955 1956 • • 1957 • 1958 Ohio Electric Power Consumption 1960 • 60 • 1961 • • 1963 Residuals vs. Time •• Time 1962 • • • 70 1964 0 1965 10 1966 Model: Component 1 :: ar: 1 2 Component 2 :: period= 12 ndiff= 1 on w= Billions of Kilowatt-hours 1959 Residuals vs. Fitted Values • • • •• • • Fitted Values 50 • • • • • • • • • • • • • • • •• • • • • • • • •• • • • • •• • •• • • • • • • •• •• • •• • • • • • •• •• •• •• • • • • • • • •• • • •• •• • •• • • • • ••• • • • • • • •• • • •• • ••• •• • • • • • • • •••• • •• • • •• • •• • • • • •• • • • • •• • • • •• • • •• • • • • • • • • • • • • 40 1967 1968 Residual ACF 20 Lag 1969 30 1970 9 - 74 1971 Ohio Power Consumption Data esti SARIMA(2, 0, 0)(0, 1, 0)12 No Transformation (Model 1) Output Part 1 esti(ohio.tsd, gamma=1, model=model.pdq(p=2, D=1)) • 1954 • • • • • 1954 • • • • • • 30 1955 • 1956 • 40 1957 • 1959 • • • •• • • • • • • • • Ohio Electric Power Consumption • 1960 • • • • 60 • • • • • •• • 1961 • • • • • • • • • • • • • • Time 1962 1963 Residuals vs. Time • • • 70 1964 0 1965 10 1966 Model: Component 1 :: ar: 1 2 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1958 • • 50 Fitted Values • • • •• • • •• • • •• • • • • •• • • •• • • • • •• • •• • • • ••• •• • •• • •• • Residuals vs. Fitted Values • • • • •• • • • • • • • • • •• • • • •• • • • •• • • • •• • • • • • • •• • • • • • • • •• • • • • • • •• • ••• • • •• •• • • • • • • •••• • • •• • • •• • • • • • 1955 • • • •••• •• • •• Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • -4 • -2 Index 0 2 • 1965 4 • • • • •• ••• ••• ••• •••• • ••• •••• ••••••• ••• •••• •••• ••• ••• ••• •• •••• ••• •••••• •••• ••• •• ••• •• • ••• •• Normal Probability Plot • •• Residuals • • 6 • •• •• • • • ••• • • Model: Component 1 :: ar: 1 2 Component 2 :: period= 12 ndiff= 1 on w= Billions of Kilowatt-hours 1960 • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • 1967 1968 Residual ACF 20 Lag 1970 1969 1970 1971 9 - 76 9 - 78 • • • • • • • • • • •• • • • • • • •• • •• • • •• • • • •• • • • ••• • •• • •• • • • • • •• •• • •• • • • Ohio Power Consumption Data SARIMA(2, 0, 0)(0, 1, 0)12 No Transformation (Model 1) Output Part 2 30 Ohio Power Consumption Data SARIMA(2, 0, 0)(0, 1, 1)12 No Transformation (Model 2) Output Part 1 esti(ohio.tsd, gamma=1, model=model.pdq(p=2, D=1, Q=1)) ACF ACF • 1955 • Residuals Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * 1965 • • •• •• • • • ••• • • Model: Component 1 :: ar: 1 2 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours Index 4 6 • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • 1960 2 1.0 0.5 0.0 -0.5 -1.0 6 4 2 0 -2 -4 6 4 • • • •••• •• • •• Ohio Power Consumption Data SARIMA(2, 0, 0)(0, 1, 1)12 No Transformation (Model 2) Output Part 2 • •• • • • • • 0 • Normal Probability Plot -2 • • •• ••• •• ••• ••• ••• ••• •••• •••• ••• •• •••• ••• •••• ••• ••• ••• •••• •••• ••• •••• ••• ••• •• ••• ••• •• •• Normal Scores • 1955 • -4 • 9 - 77 3 2 1 0 -1 -2 -3 • • • •••• •• • • Residuals 1.0 0.5 0.0 -0.5 -1.0 6 4 2 0 -2 -4 6 4 2 0 -2 -4 Residuals Residuals Residuals Residuals Billions of Kilowatt-hours 2 0 -2 -4 80 60 Normal Scores Normal Scores 40 20 3 2 1 0 -1 -2 -3 3 2 1 0 -1 -2 -3 Billions of Kilowatt-hours Billions of Kilowatt-hours 60 40 20 80 60 40 20 • 1954 • • • • 1955 • • •• • •• • • •• • •• • •••• • • •• • • 1956 • 1957 1959 • • • • • • • •• • • • Ohio Electric Power Consumption • 1960 • • • • 60 • • • • • • •• • • 1961 • • • • • • • • • • Time 1962 1963 Residuals vs. Time • •• • • • 70 1964 0 1965 10 1966 Model: Component 1 :: ma: 1 ar: 1 2 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1958 • Residuals vs. Fitted Values Fitted Values 50 • • • • • • •• • • • • • • • •• • • • • • • • • • •• • • • • • • • •• • • • •• • • ••• • •• •• •• • • •• • • • • • • • •• • • • • •• • • • •••• • • •• • •• •• • • • • •• • • • • • • • • •• • •• • • • 40 Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * 0 Index 2 4 • • 1965 Normal Probability Plot -2 • • •• ••• •• ••• ••• ••• ••• •••• •••• ••• •• •••• ••• •••• ••• ••• ••• •••• •••• ••• •••• ••• ••• •• ••• ••• •• •• 6 • • •• •• • • • ••• • • 1967 1968 Residual ACF 20 Lag 1970 1970 1969 30 1970 1971 9 - 79 •• •• • •• • • • • •• • •• • • • •• • • • • • • • •• • • • • • • •• • • • ••• • • • • • •• •• • •• • • • 9 - 81 • • •• • •• • • • •• •• • • • •• • • • • •• • • •• • • • •• • • • ••• • •• • • • • • • •• •• • •• • • • Model: Component 1 :: ar: 1 2 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1960 • -4 • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • • Residuals Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • • •• •• • • • ••• • • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1965 6 • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • Index • 4 80 60 Ohio Power Consumption Data SARIMA(2, 0, 1)(0, 1, 1)12 No Transformation (Model 3) Output Part 1 esti(ohio.tsd, gamma=1, model=model.pdq(p=2,q=1,D=1,Q=1)) • • • 30 • •• • • • • • Ohio Power Consumption Data SARIMA(2, 0, 0)(0, 1, 1)12 No Transformation (Model 2) Output Part 2 • 1955 •• 1960 2 • • •• • • • • •• Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * 0 Index 2 • 4 • 6 1965 Normal Probability Plot -2 •• •• ••• ••• •• ••• ••• ••• •••• ••••• ••• •• •••• •••• ••• •••• •••• ••• ••• •••• ••• ••• •••• •••• •• • •• ••• •• •• • • •• •• • • • ••• • • 1970 9 - 80 •• •• • • •• • • • •• • •• • • • •• • • •• • • •• • • • • • • • •• • • • ••• • • • • • •• •• • •• • • • Model: Component 1 :: ma: 1 ar: 1 2 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1960 -4 • • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • Ohio Power Consumption Data SARIMA(2, 0, 1)(0, 1, 1)12 No Transformation (Model 3) Output Part 2 • 1955 • • • •••• •• • • Residuals Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) No Transformation (Model 5) Output Part 1 1954 • • • • • • • 1955 • 1956 • 1957 • 1959 • • • • • • •• •• Ohio Electric Power Consumption • • 1960 • • • • • • • 60 • • •• • • • 1961 • • • • • • • • • • • Time • • 70 • 1962 1963 Residuals vs. Time • • • 1964 0 1965 10 1966 Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1958 50 • Residuals vs. Fitted Values 40 • • • • • • •• • • • • • • ••• • •• • • • •• • •• • • • • • • ••• • • •• • •• •• •• • •• • •• •• • •• • • •• • •• •• • • • ••• • • • •• • • •• • • • • •• • •• • • • •••• • •• • •• • • • • •• •• •• • • • • • • • • • • •• • • •• • Fitted Values 1967 1968 Residual ACF 20 Lag 1969 30 1970 • •• • • • • • •• Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * 0 Index 2 • 4 • 6 1965 Normal Probability Plot -2 •• •• ••• ••• •• ••• ••• ••• •••• ••••• ••• •• •••• •••• ••• •••• •••• ••• ••• •••• ••• ••• •••• •••• •• • •• ••• •• •• • • •• •• • • • ••• • • 1970 9 - 82 9 - 84 •• •• • • •• • • • •• • •• • • • •• • • •• • • •• • • • • • • • •• • • • ••• • • • • • •• •• • •• • • • Model: Component 1 :: ma: 1 ar: 1 2 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours -4 • • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • 1960 • Residuals 1971 esti(ohio.tsd, gamma=1, model=model.pdq(d=1, q=1, D=1, Q=1)) • 30 • 1955 • • • •••• •• • Ohio Power Consumption Data SARIMA(2, 0, 1)(0, 1, 1)12 No Transformation (Model 3) Output Part 2 ACF • • • •••• •• • • •• • • • • • 0 • Normal Probability Plot -2 • • •• ••••• ••• ••• ••• •• • •••• •••• •••• ••• •••• ••••• ••• ••• ••• •••• ••• ••• •••• •• ••• ••• •• ••• • •• •• •• 1.0 0.5 0.0 -0.5 -1.0 ACF Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) No Transformation (Model 5) Output Part 2 • 1955 -4 • 9 - 83 Normal Scores Normal Scores • • • •••• •• • • • Residuals 3 2 1 0 -1 -2 -3 3 2 1 0 -1 -2 -3 1.0 0.5 0.0 -0.5 -1.0 40 20 6 4 2 0 -2 -4 6 4 Billions of Kilowatt-hours Residuals Residuals Billions of Kilowatt-hours 2 0 -2 -4 80 60 Normal Scores Normal Scores 40 20 3 2 1 0 -1 -2 -3 3 2 1 0 -1 -2 -3 6 4 2 0 -2 -4 6 4 2 0 -2 -4 80 Residuals Residuals Billions of Kilowatt-hours Billions of Kilowatt-hours 60 40 20 80 60 40 20 1955 • 1956 • 1957 1959 • • • • • • •• •• Ohio Electric Power Consumption • • 1960 • • • • • • • 60 • • •• • • • 1961 • • • • • • • • • • • Time • • 70 • 1962 1963 Residuals vs. Time • • • 1964 0 1965 10 1966 Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1958 • Residuals vs. Fitted Values • • • • • • •• • • • • • • ••• • •• • • • •• • •• • • • • • • ••• • • •• • •• •• •• • •• • •• •• • •• • • •• • •• •• • • • ••• • • • •• • • •• • • • • •• • •• • • • •••• • •• • •• • • • • •• •• •• • • • • • • • • • • •• • • •• 50 1967 1968 Residual ACF 20 1969 30 1970 1971 Module 9 Segment 10 Ohio Power Example Model Comparison Using a Log Transformation and an Explanation of the Persistent ACF Spike at Lag 10 9 - 86 Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Log Transformation (Model 6) Output Part 1 1954 • • • • • 1955 • • 3.4 1956 1957 • • • • • 3.8 1959 • Ohio Electric Power Consumption 1960 • • •• •• • • • • 4.0 • • • • • •• • • • Time • • 1962 4.2 • • 1963 Residuals vs. Time • • • • • • • •• • 1961 • • • • • • • 1964 0 1965 10 1966 1968 Lag 20 Residual ACF 1967 Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Billions of Kilowatt-hours ) 1958 • •• •• • •• • Residuals vs. Fitted Values 3.6 •• • • • • • • •• • • • • • •• • • • • • • •• • • •• • •• • • •• • •• • • • • • • • • • • • • •• • • •• • •• • • • • •• • •• • • • • •• •• •• •• • • • • • • •• • • •• • • • • •• •• • •• • • • • • • • • • • •• • •• • • • • Fitted Values 1969 30 1970 9 - 88 1971 esti(ohio.tsd, gamma=0, model=model.pdq(d=1, q=1, D=1, Q=1)) • 3.2 • • •• • • • • • 1955 • • • •••• •• • •• Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * • Index 1965 Normal Probability Plot -0.05 0.0 0.05 •• •• •• • ••• ••• ••• ••• •••• •••••• •• •••• •••• ••• ••••• •••• •••• •••• ••• •••• ••••• ••••• ••• ••• •••• ••• ••• ••• •• •• • Residuals • • • 0.10 • •• •• • • • ••• • • 1970 9 - 90 • • •• • • • • • • •• • • • •• • • • •• • • • • • • •• • • • • • • •• • • • ••• • • • • • •• •• • •• • • • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Billions of Kilowatt-hours ) 1960 • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Log Transformation (Model 6) Output Part 2 ACF Ohio Power Consumption Model Summary Table • • • 9 - 89 1.0 0.5 0.0 -0.5 -1.0 0.10 0.05 0.0 -0.05 0.10 9 - 85 9 - 87 Ohio Power Consumption Model Summary Table • 40 Lag Normal Scores Residuals Residuals Billions of Kilowatt-hours 0.05 0.0 -0.05 80 60 40 20 Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) No Transformation (Model 5) Output Part 1 1954 • • • • • ACF 6 4 2 esti(ohio.tsd, gamma=1, model=model.pdq(d=1, q=1, D=1, Q=1)) • 30 Fitted Values 3 2 1 0 -1 -2 -3 1.0 0.5 0.0 -0.5 -1.0 Residuals Residuals 0 -2 -4 6 4 2 0 -2 -4 • • •• • • • • •• Ohio Electric Power Consumption Actual Values * * * Fitted Values * * * Future Values * * 95 % Prediction Interval * * -4 • 0 Index 2 • 4 • 1965 Normal Probability Plot -2 • • •• ••••• ••• ••• ••• •• • •••• •••• •••• ••• •••• ••••• ••• ••• ••• •••• ••• ••• •••• •• ••• ••• •• ••• • •• •• •• Residuals 6 • • •• •• • • • ••• • • 1970 •• •• • •• • •• • • • • •• • • • •• • • • • • • • •• • • • • • • •• • • • ••• • • • • • •• •• • •• • • • Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= Billions of Kilowatt-hours 1960 • • • • •• • • • • •• • • •••• • •• • • •• • ••• •• •• • •••• •• • • •• • • • • • •• • •• • •• • • •• •• • • •• • • • • • • •••• ••• • • •• • • • • • • •• •••• • ••• • • •• • • • • • • • • •• • • • •• • ••• • • • •• • • • • • • • Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) No Transformation (Model 5) Output Part 2 • -1300 5 0.6 -1200 -0.5 5 0.5 -1100 0.0 ma(1) 0.4 0.5 0.45 ) ma(1 1.0 9 - 93 -1000 -1000 -800 -900 -1100 0.55 0.6 Ohio Power Consumption Model Summary Table 0.60 0.55 0.50 -750 -720 0.5 0.65 0.70 0.75 • 1954 • • 0.001 0.001 0.30 • • • 1955 • • 3.4 1956 1957 • • • • • 0.01 3.8 1959 • 0.40 0.45 ma(1) 0.9 0.7 0.5 0.50 Ohio Electric Power Consumption 1960 • • •• •• • • • • 4.0 • • • • • •• • • • Time • • 1962 4.2 • • 1963 Residuals vs. Time • • • • • • • •• • 1961 • • • • • • • 1964 0 1965 0.3 0.01 10 1966 0.001 0.001 0.1 0.55 1968 20 Residual ACF 1967 Model: Component 1 :: ndiff= 1 ma: 1 Component 2 :: period= 12 ndiff= 1 ma: 1 on w= log( Billions of Kilowatt-hours ) 1958 • •• •• • •• • Residuals vs. Fitted Values 3.6 •• • • • • • • •• • • • • • •• • • • • • • •• • • •• • •• • • •• • •• • • • • • • • • • • • • •• • • •• • •• • • • • •• • •• • • • • •• •• •• •• • • • • • • •• • • •• • • • • •• •• • •• • • • • • • • • • • •• • •• • • • • Lag 1969 0.001 0.60 9 - 94 0.0001 30 1970 9 - 96 1971 esti(ohio.tsd, gamma=0, model=model.pdq(d=1, q=1, D=1, Q=1)) Ohio Power Consumption Data SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Log Transformation (Model 6) Output Part 1 0.35 9 - 92 -1.0 0.7 1) 0. ma 6 (1 2* 0.35 Perspective Plot of SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Model Relative Likelihood Surface for the Ohio Data Z 0.45 3.2 Fitted Values ACF 0.05 0.10 9 - 91 1955 • • • •••• •• • 3 2 1 0 -1 -2 -3 80 60 40 20 Contour Plot of SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Model Relative Likelihood Surface for the Ohio Data Billions of Kilowatt-hours ma(12*1) Contour Plot of SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Model -2[Log-likelihood] Surface for the Ohio Data Normal Scores 0.5 5 0.4 9 - 95 1.0 0.5 0.0 -0.5 -1.0 ma(12*1) Residuals Residuals 0.0 -0.05 0.10 0.05 0.0 -0.05 1.0 0.5 0.0 -0.5 -1.0 1 0.8 0.6 0.4 0.2 0 ••• •••• 0.05 •• •• •••• ••••• ••••• •••• •••• •••••• •••• ••••••• ••••• ••••• ••• •••• •• 0.0 timeseries • 0.05 •• • 0.10 0.10 0.10 0.05 • 0.05 0.10 0.10 0.10 Lag 2 • • Lag 7 series 0.0 0.05 0.10 • •• •••• • • • • • •• ••• • ••• •• • • • • • •••• •• • • •• ••• ••• •••• •• • • • •• ••••••••• • •• • •••• • •• • • •••• ••• • ••••••• • • • ••••• ••••• •• •• •• • • • •• • • ••••••••• ••• ••• •••• • •• • ••• • ••• •• • • • • • • •• • • • • • • • • • •• -0.05 • 0.05 Lag 12 series 0.0 0.10 •• •• • • • • • • • •• • • ••••• •••••• •••••••• • • •• • • •• •• • • • • • • • • • • • • •••• •••• ••••• •••••• ••• ••• • •• • • •• •• •••••••• •••••••••••••••• • • • • • ••••• •••••••• • ••• •••• • • • • •• •••• ••• • • •• • • • • • • • •• • • • • • • -0.05 0.0 0.05 0.10 • • • • • • • •• •• • • •• • ••• •• • ••• ••• •• •• •••• •••• ••••••••• ••• • • • •• ••• ••• •• •• • • • • •• •• • ••• • • • • • •••• •••••••• ••••••••••• • • • • ••••••••••••• ••••• ••• • • •••• •••• • • • •• • • • •• • • •• • • • • •• • • • -0.05 series • -0.05 Lag 3 • Lag 8 series 0.0 0.05 0.10 • • • • • • • • • • • • •••••••• • • •••• • • •• • • • ••• • • •• • • ••••••••••• ••• ••• • • • • • • • • • ••••••• •••••• •• ••• • • • •• • ••• •• ••••• • ••••• ••• •• • • • • • • •••• •••••• ••••••• •• ••• •• • • •• • ••• • • •• • • • • • • •• • •• • • • • • • • • • 0.05 Lag 13 series 0.0 0.10 • •• • • • • • • •••••••• •• •• ••• ••• • • •• •• • •• •• • •••• • • • •• • •••• •• ••••••• • ••• • •• • • • •• • • ••• • •• ••••••• •• • • ••••• ••• •••••• •• • • • •• •••••• •••• •••••• • •••••• • • • • • •••• •• • • • • ••• •• ••• •• • • • • • • • • -0.05 -0.05 0.0 0.05 0.10 • • • • • • • • •• • • •• • • • • •• • • •••• • • • • • •• • ••••••• • •• •• •• • •• • • ••• •• •• •• •••••• •• • • • •••• ••• ••••••• ••• • • • • • • • • •• •• •••••••••••••••• ••• •••••• • • ••••••• ••••• •• • • • ••• • •• • • • • • • • • • series Series lag 9 Lag 1 • Lag 6 series 0.0 • • • • ••• • • • • •• • • •• •••••• •••••• • ••••• •• ••• ••••• • •• ••••• • • • • • • • • • • ••• •••••••••• ••••• • • • • •• •• • •• • • •• • • • ••••• ••• •••• •••• ••••••• • • •• • •• • •••• • • •• • • •• • ••••• •••• ••• • • • • • •• •• • • • • • • • • • • -0.05 • 0.05 Lag 11 series 0.0 • • •• • • • • • • • • •• • •• •• • •••• •••••• •• • • •••• • ••••••• •• ••••• • • • •• ••• •• ••• ••• •• ••••• • •• • •• • • •• •••• •••• • ••• • • • • ••••••••••••••••• ••••••• ••• •• •• • ••••••• • ••• • • •• • • ••• • • • • • • • • • • • •• • -0.05 0.0 • • • •• • • • • • • •• • • • • • • •••• •••• • •••• • • • • • •• •••••••••• •••••••• ••• ••• • • • • • • •• •• ••• • • • • • • •• ••• • •••••• •••• •• •••••• •••• •• • • • • • •• ••••••• ••••••••••• •• •• • • • • • •• •• • ••• ••• ••• • • • • • •• •• • -0.05 series Series lag 4 0 • • 5 Lag 4 •• 0.0 series Lag 9 0.0 series 10 Lag 0.05 0.05 15 0.10 0.10 9 - 97 20 Series : timeseries -0.05 • • • • • •• • •• • • ••• •••••• ••• •• •• • • •• • • • ••• • •• ••• •••••••••••••• •••• • • • • •••• •••••• ••••• • • •• •••••••• •• • • • • •• ••••• • ••••••••• ••••• ••••••• •• • • • ••• •••• • ••••• • • • • • •• • •• • •• • • • • • •• • -0.05 • •• •• • • • • •• • • •• • •••• •••• •• • • • • • • • • • •• • • •• ••• • •••••••••• •• •••• •• •• • •• • •••• •••• •••••••• •• •••••• • • • • • ••••• ••• •• • ••• • • • •••••••••••• ••••••• ••• ••• • • • • •••• • ••• ••• • • •• •• •• • • •• • • • ACF of the Residuals for the Ohio Power using the SARIMA(0, 1, 1)(0, 1, 1)12 (Airline) Model show.acf(ohio.model6.out$resid) •• -0.05 •• Lag 5 0.05 Lag 10 series 0.0 •• •• • • • •• • •• • ••••••• •• ••• • •• • • • •• ••• • ••• ••• • • • • • • • • • • • • ••••••••••• •••••••••••• •• • • •••• •• • • • •••• ••••••• •• •• • •••• ••• ••• • • •••••• • • • ••• • • ••• •• ••• • ••••• •• • •• • • ••• • • • • • • • • -0.05 0.0 • • • • • ••• • •• • •••• • • • • • ••• • • • •• •• ••••••••• •• •••••• • •• • •• ••• •• •• •• •• • • • ••• •• ••••• •••• ••••••• ••• • • • ••••••• ••••••••• •• ••••••• • • • • • • • •• •• • • • •• •••• ••• • • • • • • •• • •• •• • •• • • -0.05 series ACF 0.05 -0.05 0.05 -0.05 0.05 -0.05 0.05 -0.05 0.05 -0.05 0.05 -0.05 1.0 0.6 0.2 -0.2 Series lag 3 Series lag 8 Series lag 13 0.05 -0.05 0.05 -0.05 Series lag 2 Series lag 7 Series lag 12 0.05 -0.05 0.05 -0.05 Series lag 1 Series lag 6 Series lag 11 0.05 -0.05 0.05 -0.05 timeseries Series lag 5 Series lag 10 0.05 -0.05 0.05 -0.05