Introduction to Stochastic Time Series
Models.
We have learned several simple extrapolation
techniques for Deterministic Time Series Models
We will study more complex extrapolation
techniques that assume the time series we are
analyzing are formed random or stochastic
processes.
It is assumed that the time series we are analyzing
as samples drawn from bigger random processes.
Mathematically,
 y1, y2, . . . yT drawn randomly from a probability
distribution
 it is assumed : y1, y2, . . . yT normally distributed
and based on auto regressive (order 1) process.
Remark:
 the assumption is to simplify the analysis
 accuracy of the model depends on how close is the
assumption to the reality.
Random Walk
The simplest stochastic time series model is a Random
Walk Process.
The model:
yt = yt-1 + et; or yt - yt-1 = et; E(et) = 0;
E (etes) = 0; t  s
What is the rational of the model?
If we use the model to forecast, then the prediction is the
following:
yRT+1 = E (yT+1 | yT, . . . y1)
= yT + E (eT+1)
= yT
yRT+2 = E (yT+2 | yT, . . . y1)
= E (yT+1 + eT+2)
= E (yT + eT+1 + eT+2 )
= yT
Similarly, yRT+k = yT
Comments:
(i). The forecasts using a random walk model is always the
same and is equal to yT regardless whether one period,
two periods or k periods forecasts.
(ii). However, errors of the forecasts do not the same; the
longer the period, the bigger the forecast error.
See the following analysis:
e1 = yT+1 - yRT+1
= yT + eT+1 - yT = eT+1
var (e1) = var (eT+1) = 2e
e2 = yT+2 - yRT+2
= yT + eT+1 + eT+2 - yT = eT+1 + eT+2
var (e2) = var (eT+1 + eT+2) = 2e + 2e = 2 2e since
eT+1 and eT+2 stochastically independent.
Therefore, the longer the period the bigger the variance
and the bigger the confidence interval as well.
See Fig. 16.1 (Pindyck)
Random Walk with Trend
One of the variation of the Random Walk models is by
adding the trend to the model. The model accommodates the
possibility of existing increasing or decreasing trend and
therefore the model:
yt = yt-1 + d + et
One period forecast:
yRT+1 = E (yT+1 | yT, . . . y1) = yT + d
k-period forecast:
yRT+k = yT + k d
However the error will increase as the period increases.
See Fig. 16.2
Stationery and Non Stationery Process
Since the model we are observing is from a
stochastic process, we need to identify whether
the process is:
(i). time invariant or
(ii).time variant
If the stochastic process is time invariant it is
called stasionery process; while if the process is
time variant , it is called non-stationery process.
If the process is a stationer, the process is
easily modeled with an equation with constant
parameters and can be estimated using
previous data. However, if the process is not
stationer, this approach can not be used.
Recall: one equation regression model that we
have learned. The parameters of the model that
established based on structural relationship can
be estimated properly if this structural
relationship is time invariant. If the structural
relationship is time variant, the parameters
need to be estimated with special care.
Properties of Stasionery Processes
If the series yt is stationery, then
(i). P(yt, . . . ,yt+k) = P(yt+m, . . . , yt+k+m)  m,t,k
(ii). E(yt) =y independent of t
(iii).Var(yt) = 2y = E [(yt-y )2] independent of t
(iv). k = cov (yt, yt+k) ; independent of t
= cov (yt+m, yt+m+k)
Comment:
For lag zero, or for k=0,
0 = cov (yt, yt) = var (yt) = 2y
TimeSeries Identification through AutoCorrelation Function (ACF)
Fungsi autokorelasi bermanfaat untuk menjelaskan suatu
proses stokastik. Fungsi ini akan memberikan informasi
bagaimana korelasi antara data-data (yt) yang berdekatan.
Fungsi autokorelasi dengan lag (jeda) k
sebagai:
k = cov (yt, yt+k) / (yt yt+k)
didefinisikan
untuk proses yang stasioner, var (yt) = var (yt+k) = 2y
sehingga k = cov (yt, yt+k) / 2y = k / 0
Dengan demikian,  untuk setiap proses stokastik, 0 = 1
Bila kita mempunyai proses stokastik sederhana
yt = et; white noise
et iid (0, 2), maka fungsi autokorelasi dari proses ini
adalah:
k = cov (et, et+k) / ( var (et) var(et+k) )½
k = 0 karena cov (et, et+k) =0 untuk k > 0 (untuk k = 0 ?)
Ramalan k periode ke depan: yT+1 = E(eT+1) = 0  k.
Dapat disimpulkan bahwa bila k = 0  k > 0, tidak ada
manfaatnya menggunakan model ini untuk membuat
ramalan.
Sampel dari fungsi autokorelasi didefinisikan sebagai:
rk = ck / c0; ck =  (yt - ya)(yt+k - ya)
c0 =  (yt - ya)2 ; ya: rata-rata yt
Dalam praktek, kita hanya mempunyai suatu realisasi dari
proses stokastik. Oleh karena itu, kita hanya dapat
menghitung sampel fungsi autokorelasi.
Plot antara rk dan k disebut correlogram sampel sedangkan
plot antara k dan k disebut correlogram populasi.
Kalau kita mengetahui apakah k = 0 atau tidak pada suatu
nilai k atau mengetahui k = 0 untuk semua k > 0 informasi
ini sangat bermanfaat. Untuk melakukan ini, ada beberapa
tes yang perlu diketahui (Kenapa kita perlu tahu nilai k
untuk semua nilai k ?).
Tes Bartlett
Jika suatu time series dibentuk melalui proses white noise,
sampel auto korelasi berdistribusi normal dengan mean 0
dan standar deviasi 1/ T½, T banyaknya pengamatan, dan
dinotasikan dengan rk  N (0, 1/ T½). Bila T = 100, maka
rk  N (0, 0.1)
Oleh karena itu, bila ada rk > 0.2 (dua kali standar deviasi),
maka kita yakin dengan kepercayaan 95% bahwa   0 dan
berarti time series yang sedang kita analis bukan berasal
dari proses white noise.
Tes Box-Pierce
Untuk mengetes apakah semua k = 0, kita gunakan tes Q yang
dikenalkan oleh Box dan Pierce, Q = T  r2k  X2k
Bila Q > X2k,5% kita yakin dengan kepercayaan 95% bahwa tidak
semua k = 0. Bila ini terjadi, time series yang kita pelajari tidak
berasal dari proses white noise.
Sebagai ilustrasi, lihat Gambar 16.3 (Stasioner?)
Gambar ini menggambarkan pergerakan data inventory investment dari
tahun 1960-1995. Sedangkan sampel fungsi autokorelasi ditunjukkan
pada Gambar 16.4. Gambar fungsi autokorelasi ini memperlihatkan
bahwa nilai rk turun sangat cepat seiring dengan kenaikan k. Ini
menunjukkan bahwa data time series inventory investment merupakan
time series yang stasioner. Sebaliknya, jika rk tidak menurun dengan
cepat, indikasi ini menunjukkan bahwa data time series tidak stasioner.
Homogeneous Nonstationery Processes
Kenyataannya, tidak banyak data time series yang
stasioner. Meskipun demikian, beberapa data time series
yang tidak stasioner yang merupakan data-data ekonomi
maupun bisnis dapat dibuat stasioner dengan cara melihat
time series dari selisih dua data yang berurutan. Data time
series yang demikian itu disebut homogen.
Tingkat homogenitas dari masing-masing data berbedabeda tergantung berapa kali data tersebut diselisihkan
untuk menjadi stasioner. Bila dengan proses 1 kali selisih,
data sudah stasioner, data ini disebut homogen tingkat satu.
Secara umum, bila suatu data memerlukan n kali proses
selisih baru menjadi stasioner, data ini disebut homogen
tingkat n.
Definitions:
1 If yt non stationary
wt = yt – yt-1 =  yt stasionary,
yt is first-order homogeneous non stationary.
2. If yt non stasionary
zt = yt = yt – yt-1 non stasionary,
wt = 2 yt = yt - yt-1 = zt – zt-1 stasionary
yt second-order homogeneous non stationary
Example:
Simple Random Walk Process:
yt = yt-1 + et ; not stasioner
wt =  yt = yt – yt-1 = et ; white noise
For a white noise, 0= 1 and k = 0; k > 0
and this series is stasioner.
Thus, random walk is a homogenous series of degree 1.
Correlogram and Stasionerity
In general, growing time series variables like:
sales, GNP, etc. are not stationer.
However, growing GNP data can be stationerized
by differencing. Hence, the GNP is called a
homogeneous series of order 1 or 2 or higher.
Consequently, when we want to make a forecast
of GNP, we need to use the GNP that has been
stationerized.
How to identify whether a time series is a
stationery or not.
By using a correlogram, we can identify the
time series.
For stasionery data, correlogram tends to
decrease quickly as k (lag) increases.
For non stasionery data, correlogram tends not
to decrease towards zero as k (lag) increases.
Time series yang tidak stasioner dapat terus dicari barisan
selisihnya beberapa kali sampai stasioner atau tidak
mungkin stasioner dengan melihat correlogramnya.
Lihat Gambar 16.5 (stasioner) dan Gambar 16.6 (tidak
stasioner).
Contoh: Mengamati Interest Rate T-Bill AS, 1960-1996
Gambar 16.7 memperlihatkan gerakan interest T-Bill di
AS yang diamati bulanan dari 1960-1996. Dari gambar
tersebut terlihat bahwa mean nya tidak mungkin konstan.
Dugaan ini diperkuat dengan Gambar 16.8 yang
menunjukkan bahwa correlogram tidak segera menuju nol.
Dengan demikian, data time series tersebut tidak stasioner.
Langkah selanjutnya, data tersebut dicari selisihnya (first
difference) dan series yang baru ditunjukkan pada Gambar
16.9. Gambar ini memperlihatkan bahwa kali ini mean
sudah konstan. Hal ini juga diperkuat dengan gambar
correlogram yang cenderung menuju nol (Gambar 16.10)
Kita dapat menarik kesimpulan bahwa series sudah
stasioner.
Namun, series dicoba dicari lagi selisihnya lagi (firstdifference dua kali). Series yang terbentuk dapat dilihat
pada Gambar 16.11 dan correlogramnya disajikan pada
Gambar 16.12.
Dari kedua gambar tersebut dapat
disimpulkan bahwa series dalam keadaan stasioner.
Kondisi ini tidak jauh beda dengan kondisi series pada saat
first-difference satu kali.
.
Kesimpulannya, data interest
rate yang dianalisis
merupakan data tidak stasioner homogen tingkat satu.
Contoh Pergerakan harga suatu komoditas.
Harga suatu komoditas diamati tiap hari selama 250
hari.
Data ini tidak stasioner tetapi series dari
selisihnya stasioner.
Hal ini dapat dilihat pada
correlogram data aslinya dan data selisihnya. Dari
correlogram tersebut dapat disimpulkan bahwa data
selisihnya merupakan white noise (Gambar 16.13).
Dengan demikian, data aslinya dapat diduga sebagai
random walk sehingga dapat dimodel sebagai:
Pt = Pt-1 + et
Model inilah yang sering digunakan untuk meramal
harga saham dibursa efek.
Tes Dickey-Fuller
Beberapa kajian mengatakan bahwa data time series dari
variabel ekonomi dan keuangan berperilaku seperti random
walk atau setidak-tidaknya memiliki komponen random
walk.
Kajian-kajian tersebut didasarkan pada tes “Unit Root”
yang dikenalkan oleh David Dickey dan Wayne Fuller.
Jika kita percaya bahwa suatu variabel yt tumbuh seiring
dengan perjalanan waktu, yt dapat dijelaskan melalui
model berikut: yt = a + b t +  yt-1 + et; b>0
Model tersebut di atas dapat dinyatakan dalam bentuk lain:
yt - yt-1 = a + b t + ( - 1) yt-1 + et; disebut model utuh (U).
Bila b = 0 dan  = 1, maka modelnya menjadi model
terkendala seperti berikut: yt - yt-1 = a + et; disebut model
terkendala (T)
Dickey-Fuller menyatakan telah menyusun suatu distribusi
untuk r (estimator ) yang dapat digunakan untuk menguji
apakah =1 atau tidak.
Tes Dickey dan Fuller pada intinya adalah menguji apakah
b = 0 dan  = 1 sehingga model tersebut menjadi model
random walk.
Untuk menguji hal tersebut dilakukan tahapan berikut:
1. Regresikan model utuh, hitung ESSu ; ESS =  e2t
2. Regresikan model terkendala (b=0 dan =1), hitung ESST
3. Hitung statistik F= {(ESST – ESSu)/q} / {ESSu / (N – k)}
k : banyaknya parameter pada model utuh
q
: banyaknya parameter kendala
N : banyaknya pengamatan
4. Jika F > Tabel Dickey-Fuller,
tolak hipotesis yang menyatakan yt random walk.
Komentar:
1.Tes D-F hanya mengarahkan kepada analisis untuk menolak
atau tidak hipotesis bahwa yt mengikuti random walk.
2.Bila hipotesis tidak ditolak, hasilnya masih diragukan.
Ilustrasi
Akan dikaji apakah data time series dari harga-harga
komoditas seperti: BBM, tembaga dan karet mengikuti
pola random walk atau tidak. Kajian ini menggunakan
data tahunan dari 1870-1987 di AS (116 pengamatan)
Untuk melakukan kajian ini, lakukan tahapan berikut:
1. Model pergerakan harga yang ditawarkan
(i). Pt – Pt-1 = a + b t + ( - 1) Pt-1 + et ; model utuh
(ii). Pt – Pt-1 = a + et
; model terkendala
2. Regresikan model (i), hitung ESSu=4334.8 (tembaga)
3. Regresikan model (ii), hitung ESST= 4913.5 (tembaga)
4.F = (N – k) (ESST - ESSu) / (q) (ESSu)
= (116 – 4 ) ( 4913.5 – 4344.8) / (2)(4344.8) = 7.33
Sedangkan berdasarkan Tabel Dickey-Fuller, nilai
pembanding (dari Tabel 16.1) dengan sampel 100 dan
kepercayaan 95%, diperoleh angka sebesar 6.49.
5. Karena F > Tabel Dickey-Fuller, hipotesis yang
menyatakan gerakan harga tembaga mengikuti
pola random walk ditolak.
Untuk data harga BBM dan karet, hasil perhitungannya sebagai
berikut:
ESSu
ESST
F
Tabel DF
RW ?
BBM
100.09
125.00
13.93
6.49
Tidak
Karet
2242.80 2428.60 4.64
6.49
Ya
Timeseries Ko-Integrasi
Kadangkala ada dua variabel random yang masing-masing
merupakan random walk akan tetapi kombinasi linier dari dua
variabel tersebut merupakan time series yang stasioner.
Misalkan saja, xt dan yt masing-masing random walk tetapi
zt = xt -  yt merupakan timeseries yang stasioner
Pada situasi seperti ini, xt dan yt dikatakan berkointegrasi dan 
disebut parameter kointegrasi.
Sedangkan  diestimasi dengan OLS melalui regresi xt pada yt.
(Ingat kepada regresi linier sederhana: xt = a + b yt + et atau :
a + et = xt - b yt ; dengan notasi lain: zt = xt -  yt )
Dalam beberapa hal, teori-teori ekonomi dan
keuangan mengindikasikan adanya kointegrasi
antara dua variabel tertentu. Misalnya saja ada
kecenderungan pergerakan bersama antara harga
saham dan dividen yang dibagikan, meskipun
pergerakan harga saham dan pergerakan besaran
dividen yang dibagikan masing-masing bisa
merupakan random walk. Dalam hal kointegrasi
antara pergerakan harga saham dan pergerakan
besaran
dividen,
parameter
kointegrasinya
merupakan discount rate yang digunakan para
investor dalam menghitung present value dan
earnings. Contoh lain?
Tes Ko-Integrasi
· Bila xt random walk dan xt stasioner
yt random walk dan yt stasioner
apakah xt dan yt berkointegrasi.
Tahapan yang perlu dikerjakan:
1. Lakukan regresi berikut dengan OLS
xt = a + b yt + et
2. Tes apakah et stasioner atau tidak
3. Bila et stasioner, maka xt dan yt berkointegrasi.
Ilustrasi Ko-integrasi antara Konsumsi dan
Pendapatan
Akan dites apakah konsumsi dan pendapatan
berkointegrasi dengan menggunakan data kuartalan dari
tahun 1960-1995.
1.Tes apakah konsumsi dan Pendapatan masing-masing
random walk dengan Tes Dickey Fuller. Hasil tes
menunjukkan kedua series tersebut random walk.
Sedangkan data time series konsumsi dan pendapatan
merupakan time series yang stasioner.
2. Tes Kointegrasi
Regresikan konsumsi pada pendapatan
Ct = -89.94 + 0.9346 YDt
t: (-6.65) (231.87)
R2 = 0.9974 ; DW = 0.325
Kita dapat menggunakan test DW untuk menguji apakah et
(residual) dari regresi tsb. mengikuti suatu random walk.
Menurut tes DW, angka 0.325 < 0.386 (nilai kritis pada
Tabel DW (Tabel; 16.3)). Akibatnya, kita tidak dapat
menolak hipotesis pada level 5% (Tetapi, hipotesis ini
ditolak pada level 10%). Artinya, kita tidak terlalu yakin
bahwa et (residual) stasioner atau tidak sehingga kita juga
tidak tahu dengan pasti apakah konsumsi dan pendapatan
berkointegrasi.
The End of the
Lesson