Home CIEM Languages Técnicas para el análisis de series temporales medioambientales Home Description Facilities Location ACTIVITIES 2010 2009 2008 2007 2006 Upcoming events Interconsolider Meeting: CONSOLIDER "GRACCIE" & CONSOLIDER "i-MATH" 17/12/2009 - 18/12/2009 Reunión de Interconsolider Meeting: CONSOLIDER "GRACCIE" & CONSOLIDER "i-MATH" Details Date: 17/12/2009 - 18/12/2009 Year: 2009 Duration: 2 days Participants: 30 Andres M. Alonso Departamento de Estadı́stica Universidad Carlos III de Madrid Como nodo del proyecto Consolider "i-MATH", el Centro Internacional de Encuentros Matemáticos (CIEM) de Castro Urdiales (Cantabria), organiza los días 17 y 18 de diciembre de 2009 la jornada Interconsolider GRACCIE - i-MATH, "Matemáticas para el medio ambiente". Castro Urdiales, 17 de diciembre de 2oo9 GRACCIE (www.graccie.eu/happens.html) es un proyecto interdisciplinar dedicado al estudio de los Cambios Climáticos Graduales y Abruptos y su influencia en el Medio Ambiente. i-MATH (www.i-math.org) aglutina a la mayoría de la investigación matemática española. El propósito del workshop es incentivar http://halweb.uc3m.es/esp/Personal/personas/amalonso/esp/docencia.html English Español Calendar « M December T W 1 2 7 8 9 14 15 16 21 22 23 28 29 30 T 3 10 17 24 31 F S 4 5 11 12 18 19 25 26 » S 6 13 20 27 Introducción Temperatura Global de la Tierra 0,6 0,4 0,2 0 -0,2 Emisiones mundiales de CO2 -0,4 7 -0,6 6 -0,8 1850 5 1900 1950 2000 4 3 2 1 0 1950 Andrés M. Alonso 1960 1970 1980 1990 2000 CIEM’09 Estructura de la presentación 1. Ejemplos de modelización de series temporales medioambientales. 2. Los tres problemas de predicción en series temporales. 3. Reducción de la dimensión en series temporales. 4. Otros procedimientos y aplicaciones a medioambiente. Andrés M. Alonso CIEM’09 Ejemplos de modelización de series temporales medioambientales Durbán, M. and Glasbey, C. (2001) “Weather Modelling Using a Multivariate Latent Gaussian Model”, Agricultural and Forest Metheorology, 109, 187–201. Variables consideradas: Temperatura diaria máxima. Temperatura diaria mı́nima. Radiación solar. Humedad relativa. Velocidad media del viento. Precipitación diaria. Andrés M. Alonso CIEM’09 Ejemplos de modelización de series temporales medioambientales Modelos utilizados: donde yk (t) = N (µk (t), σk2 ) X 2πjt + θkj µk (t) = βk0 + βkj cos j 365 Variable latente para la precipitación: α0 + α1r(t)γ + α2r(t)2γ yk (t) = ∗ Variables escaladas: zk (t) = si r(t) > 0 en otro caso yk (t)−µk (t) . σk Modelo VARMA(2,1) para z(t): z(t) = A1zt−1 + A2zt−2 + et − M1et−1. Andrés M. Alonso CIEM’09 194 Ejemplos de modelización de series temporales medioambientales M. Durban, C.A. Glasbey / Agricultural and Forest Meteorology 109 (2001) 187–201 M. Durban, C.A. Glasbey / Agricultural and Forest Meteorology 109 (2001) 187–201 Ajuste satisfactorio en las variables observadas. Ajuste satisfactorio en el número de dı́as lluviosos y en la cantidad de lluvia acumulada. Andrés M. Alonso CIEM’09 197 Ejemplos de modelización de series temporales medioambientales M. Castellano-Méndez, W. González-Manteiga, M. Febrero-Bande, J.M. PradaSánchez y R. Lozano-Calderón (2004) “Modelling of the monthly and daily behaviour of the runoff of the Xallas river using Box-Jenkins and neural networks methods”, Journal of Hydrology, 296, 38–58. Variables consideradas: Precipitación diaria (l/m2). Desborde medio (m3/s). Mediciones disponibles en dos presas: Fervenza y Santa Eugenia. Andrés M. Alonso CIEM’09 Ejemplos de modelización de series temporales medioambientales Modelos utilizados: Modelo ARIMA(a, b, c) × (d, e, f )12 (aditivo) para variables mensuales: ∇e12∇bZt = a X i aiZt−i + c X i ciεt−i + d X i diZt−12i + f X fiεt−12i + εt. i Desborde medio mensual en Fervenza (logs): ARIMA(0, 0, 1) × (0, 1, 1)12. Desborde medio mensual en S. Eugenia (logs): ARIMA(0, 0, 1) × (1, 1, 1)12. Precipitación media en ambas presas: ARIMA(1, 0, 0) × (1, 0, 0)12. Precipitación media en Puente Oliveira (logs & 0’s): ARIMA(0, 0, 0) × (1, 0, 1)12. Andrés M. Alonso CIEM’09 Ejemplos de modelización de series temporales medioambientales M. Castellano-Méndez et al. / Journal of Hydrology 296 (2004) 38–58 53 Fig. 7. Santa Eugenia Model 1 prediction series compared with observed series MMSERO. {Yi } being the time series that we want to estimate, and {Y^ i } the estimation time series. S2Y being the variance of the observed variable {Yi } means that the rate of absolute error was approximately 17.8%. The validation coefficient of efficiency was CE ¼ 0:675: This error means that the 68.5% of the variance of the validation data are explained by the model. The Box –Jenkins validation mean relative absolute error was MRAE ¼ 3:123 corresponding to the rate of absolute error of 312.3%. The validation coefficient of efficiency was CE ¼ 21405:845: This awful result shows that Box –Jenkins models are not Ajuste satisfactorio en las variables observadas. N X S2e Andrés M. Alonso ¼ 2 ðYi 2 YÞ i¼1 N ð45Þ Y being the mean of the time series {Yi }: We have considered a validation set in order to estimate the performance of the predictor; CIEM’09 Ejemplos de modelización de series temporales medioambientales R.B. Cleveland, W.S. Cleveland, J.E. McRae, and I. Terpenning (1990) “STL: A Seasonal-Trend Decomposition Procedure Based on Loess”, Journal of Official Statistics, 6, 2–73. Variables consideradas: Concentración diaria y mensual de dióxido de carbono (ppm). Número de hombres desempleados en USA. Modelos utilizados: Yv = Tv + Sv + Rv La tendencia, Tv , y la estacionalidad, Sv , se obtienen mediante un procedimiento recursivo que utiliza el suavizador loess. Andrés M. Alonso CIEM’09 Ejemplos de modelización de series temporales medioambientales Andrés M. Alonso CIEM’09 code Furuögrund Helsinki Kaskinen Kemi Kungholmsfort Landsort Mäntyluoto Ölands Norra Ude Ratan Rauma Spikarna Stockholm Warnemünde Wismar FUR HEL KAS KEM KUN LAN MAN OLA RAT RAU SPI STO WAR WIS Jan 1916–Dec 2004 Jan 1879–Dec 2004 Jan 1927–Dec 2004 Jan 1920–Dec 2004 Jan 1887–Dec 2004 Jan 1887–Dec 2004 Jan 1911–Dec 2004 Jan 1887–Dec 2004 Jan 1892–Dec 2004 Jan 1933–Dec 2004 Jan 1969–Dec 2004 Jan 1889–Dec 2004 Jan 1856–Dec 2004 Jan 1849–Dec 2004 Ejemplos de modelización de series temporales medioambientales ( E) ( N) 21.23 24.97 21.22 24.52 15.58 17.87 21.47 17.01 20.92 21.43 17.53 18.08 12.08 11.47 64.92 60.15 62.33 65.67 56.01 58.75 61.6 57.37 64.00 61.13 62.37 59.32 54.18 53.9 of the observed time series. Roughly speaking, a forecast density of a realization of a stochastic process at some future time is an estimate of the probability distribution of the possible future values of the process. It thus provides a complete description of the uncertainty associated with the prediction, and stands in contrast to a point forecast, which by itself contains no description of the associated uncertainty. The implementation of the method for clustering time series is carried out in four stages: the algorithm starts defining a model for each one of the time series under analysis; next, based on M. Scotto, S. Barbosa, and A.M. Alonso (2009) Model-based clustering of Baltic sea-level, Applied Ocean Research, 31, 4–11. Fig. 2. Baltic Sea area and tide gauge locations. See Table 1 for further details. Modelos utilizados: Yv = Tv + Sv + Rv Rv sigue un modelo AR(p). Fig. 3. Monthly time series of relative sea-level heights from Baltic tide gauges. Andrés M. Alonso CIEM’09 MD 0.97 RPD 2.43 0.68 0.89 1.69 2.24 03/18 04/29 03/18 04/29 1.04 2.52 0.68 0.89 1.71 1.81 03/18 04/29 03/18 04/29 0.97 1.60 0.87 0.78 1.46 1.44 03/19 04/30 03/19 04/30 0.93 1.54 0.87 0.78 — — 03/19 04/30 — — Ejemplos de modelización dedetected series temporales value of the depths for the outliers by the procedure, which are shown in columns 4, 7, 10, and 13. With the FMD, the procedure, with both smoothed bootstrap estimates of the cutoff, detects one outlier in each group of curves in two consecutive days, 18 and 19 March. With the MD, the procedure medioambientales detects, with both smoothed bootstrap estimates of the cutoff, two outliers in each group of curves in two consecutive days, 18 March and 29 April, and, 19 March and 30 April, respectively, for working and nonworking days. Finally, with the RPD, the procedure detects two outliers in each group of curves except for the case of nonworking days and the smoothed bootstrap based on weighting. In this latter case, if appears that the derivatives are not given much information about the outliers. Once the outliers have been detected, we look for the causes for the abnormal values obtained by these curves. These causes may provide some information about the sources which produce abnormal large NOx emissions. In this case, the answers are easy to find. The Friday, 18 March and Saturday, 19 March correspond to the beginning of the Eastern vacation in Spain in the year 2005. The Friday, M. Febrero, P. Galeano, W. González-Manteiga (2008) “Outlier detection in functional data by depth measures, with application to identify abnormal NOx levels” Envirometrics, 19, 331–345. Modelos utilizados: Series temporales como datos funcionales. Parallel approach. Figure 3. Outliers detected in the NOx levels split into two groups: (up) working days; (down) nonworking days Andrés M. Alonso CIEM’09 Copyright © 2007 John Wiley & Sons, Ltd. Environmetrics 2008; 19: 331–345 DOI: 10.1002/env Estructura de la presentación 1. Ejemplos de modelización de series temporales medioambientales. X 2. Los tres problemas de predicción en series temporales. Predicción. Interpolación. Bechmarking. 3. Reducción de la dimensión en series temporales. 4. Otros procedimientos y aplicaciones a medioambiente. Andrés M. Alonso CIEM’09 Los tres problemas de predicción en series temporales Predicción: A.M. Alonso, J.R. Berrendero, A. Hernández, and A. Justel (2006) “Time series clustering based on forecast densities”, Computational Statistics and Data Analysis, 51, 762–766. Andrés M. Alonso CIEM’09 Los tres problemas de predicción en series temporales Predicción: A.M. Alonso, J.R. Berrendero, A. Hernández, and A. Justel (2006) “Time series clustering based on forecast densities”, Computational Statistics and Data Analysis, 51, 762–766. Andrés M. Alonso CIEM’09 Los tres problemas de predicción en series temporales Interpolación: A.M. Alonso, and A.E. Sipols (2008) “A time series bootstrap procedure for interpolation intervals”, Computational Statistics and Data Analysis, 52, A.M. Alonso, Ana E. Sipols / Computational Statistics & Data Analysis 52 (2008) 1792 – 1805 1792–1805. Observation TRAMO interpolation NP Conditional Mean Interpolation Interval 5.9 5.8 5.7 5.6 5.5 5.4 5.3 5.2 5.1 45 50 55 60 65 70 75 80 85 Fig. 3. Interpolation results for series G of Box and Jenkins (1976). Andrés M. Alonso CIEM’09 Fig. 3, we illustrate the results of the proposed procedure for a particular pattern of 12 consecutive mis Los tres problemas de predicción en series temporales Interpolación: Will be inserted by the editor Will be inserted by the editor 5 7 Fig. 2. Time series decomposition based on autoregression for the Potsdam record: (a) raw time series; (b) extracted annual component; (c) residual; (d) annual amplitude for each calendar year. Análisis de la temperatura media mensual. 3.1 Illustration Andrés M. Alonso The time series decomposition method described in section 2.2 is applied here to the Potsdam record (Figure 2a). The first step is fitting a AR(p) model in order to obtain the autoregressive parameters φ1 , φ2 , ..., φp . The mean over the complete period is first subtracted to the time series. Then a common issue at this stage is how to treat the missing observations CIEM’09 in the time series. Although the method itself does not require a complete time series (since it only depends on the eigen-analysis of the matrix G), the estimation of an autoregressive process Los tres problemas de predicción en series temporales Benchmarking: VAB IPI 120 110 110 100 100 90 90 80 80 70 1995 2000 70 95:1 2005 97:3 Años 01:1 02:2 05:1 07:3 Trimestres VAB 120 110 100 90 80 70 60 91:1 97:3 01:1 02:2 05:1 07:3 Trimestres Tomado de: A. Cuevas y E.M. Quilis “Chain–linking, benchmarking y ajuste estacional”. Andrés M. Alonso CIEM’09 Estructura de la presentación 1. Ejemplos de modelización de series temporales medioambientales. X 2. Los tres problemas de predicción en series temporales. X 3. Reducción de la dimensión en series temporales. Modelo factorial dinámico. Reducción mediante predicciones. 4. Otros procedimientos y aplicaciones a medioambiente. Andrés M. Alonso CIEM’09 Reducción de la dimensión en series temporales Modelo factorial dinámico: yt = Ω f t + ε t, yt es un vector m-dimensional de observaciones. Por ejemplo, temperaturas en m estaciones. ft es un vector r-dimensional, con r < m, que denominamos factores comunes. ε t es un vector m-dimensional, que denominamos factores especı́ficos. Suponemos que ft sigue un VARIMA model (p, d, q) × (P, D, Q)s: (1 − B)d(1 − B s)D φ(B)Φ(B s)ft = c + θ(B)Θ(B s)wt. Andrés M. Alonso CIEM’09 Reducción de la dimensión en series temporales Modelo factorial dinámico - Aplicaciones: A.M. Alonso, C. Garcı́a-Martos, J. Rodrı́guez, and M.J. Sánchez (2007) Predicción del consumo de agua mediante la obtención de factores comunes inobservados. A.M. Alonso, C. Garcı́a-Martos, J. Rodrı́guez, and M.J. Sánchez (2008) Seasonal dynamic factor analysis and bootstrap inference: Application to electricity market forecasting. A.M. Alonso, D. Peña, and J. Rodrı́guez (2008) A methodology for population projections: An application to Spain. A.M. Alonso (2008) Predicción de tablas de mortalidad dinámicas mediante un procedimiento bootstrap, Editorial MAPFRE, Madrid. I En progreso: Análisis de la temperatura media mensual. Andrés M. Alonso CIEM’09 Reducción de la dimensión en series temporales Modelo factorial dinámico - Aplicaciones: 400 0.05 200 0.04 0 0.03 −200 0.02 −400 −600 400 450 500 550 600 650 700 5 0.01 0 5 10 15 20 25 30 35 0 5 10 15 20 25 30 35 0 5 10 15 20 25 30 35 1.5 1 0.5 0 0 −0.5 −5 400 450 500 550 600 650 700 4 −1 1.5 1 2 0.5 0 0 −2 −4 400 Andrés M. Alonso −0.5 450 500 550 600 650 700 −1 CIEM’09 Reducción de la dimensión en series temporales Reducción mediante predicciones: A.M. Alonso, J.R. Berrendero, A. Hernández, and A. Justel (2006) “Time series clustering based on forecast densities”, Computational Statistics and Data Analysis, 51, 762–766. Andrés M. Alonso CIEM’09 Estructura de la presentación 1. Ejemplos de modelización de series temporales medioambientales. X 2. Los tres problemas de predicción en series temporales. X 3. Reducción de la dimensión en series temporales. X 4. Otros procedimientos y aplicaciones a medioambiente. Comparación de series temporales. Clasificación de series temporales. Análisis discriminante de series temporales. Análisis espectral. Andrés M. Alonso CIEM’09 Otros procedimientos y aplicaciones a medioambiente Comparación de series temporales: A.M. Alonso and Maharaj, E.A. (2006) Comparison of time series using subsampling, Computational Statistics and Data Analysis, 50, 2589–2599. Estamos interesados en el siguiente contraste: H0 : PX = PY . H1 : PX 6= PY Comparación de modelos generadores (AR ó ARMA): H0 : φ X = (φX,1, φX,2, . . . , φX,p)0 = φ Y = (φY,1, φY,2, . . . , φY,p)0 . H1 : φ X = (φX,1, φX,2, . . . , φX,p)0 6= φ Y = (φY,1, φY,2, . . . , φY,p)0 Comparación de densidades espectrales: H0 : λX (ω) = λY (ω) H1 : λX (ω) 6= λY (ω) Andrés M. Alonso (0 ≤ ω ≤ π) . CIEM’09 Otros procedimientos y aplicaciones a medioambiente Clasificación de series temporales: A.M. Alonso, J.R. Berrendero, A. Hernández, and A. Justel (2006) “Time series clustering based on forecast densities”, Computational Statistics and Data Analysis, 51, 762–766. Andrés M. Alonso CIEM’09 Otros procedimientos y aplicaciones a medioambiente Clasificación de series temporales: M. Scotto, S. Barbosa, and A.M. Alonso (2009) Model-based clustering of Baltic sea-level, Applied Ocean Research, 31, 4–11. Andrés M. Alonso CIEM’09 Otros procedimientos y aplicaciones a medioambiente Clasificación de series temporales: Andrés M. Alonso 0 200 400 600 800 1000 1200 1400 1600 NW WL NN KW LW NY CH NL AC FP ES BR PR BS M. Scotto, A.M. Alonso, and S. Barbosa (2009) Clustering time series of sea levels: an extreme value approach. CIEM’09 Otros procedimientos y aplicaciones a medioambiente Análisis discriminante de series temporales: Maharaj, E.A. and A.M. Alonso (2007) Discrimination of locally stationary time series using wavelets, Computational Statistics and Data Analysis, 52, 879–895. A.M. Alonso, D. Casado, S. López-Pintado, and J.J. Romo (2008) A functional data based method for time series classification. Earthquake 10 5 0 −5 −10 Explosion 10 5 0 −5 −10 Unknown Event 10 5 0 −5 −10 Andrés M. Alonso 0 200 400 600 800 1000 1200 1400 1600 1800 2000 CIEM’09 Otros procedimientos y aplicaciones a medioambiente Análisis espectral: Series localmente estacionarias. a) NINO3 Sea Surface Temperature (seasonal) NINO3 SST (degC) 4 2 0 −2 −4 1880 1900 1920 1940 Time (year) 1960 1980 2000 b) NINO3 SST Wavelet Power Spectrum c) Global Wavelet Spectrum Period (years) 1 2 4 8 16 32 64 1880 1900 1920 1940 Time (year) 1960 1980 2000 0 1 2 3 Power (degC2) Avg variance (degC2) d) 2−8 yr Scale−average Time Series 0.8 0.6 0.4 0.2 0 1880 1900 1920 1940 Time (year) 1960 1980 2000 Tomado de: C. Torrence y G.P. Compo “A practical guide to wavelet analysis”. Andrés M. Alonso CIEM’09 N o si em pr e es fá ci l Aplicaciones a medioambiente Andrés M. Alonso CIEM’09