Analysez et modélisez des séries temporelles

Série temporelle et processus stochastique

On considère ici un ensemble d'observations dans $\$\backslash (\backslash mathbb\{R\}\backslash )\$$  enregistrées à un temps spécifique $\$\backslash (t\backslash in\backslash mathbb\{Z\}\backslash )\$$ , on parle alors de série temporelle univariée à temps discret.
On considère en Statistique que l'observation $\$\backslash (x\backslash )\$$  est la réalisation d'une variable aléatoire $\$\backslash (X\backslash )\$$ . De manière analogue, une série temporelle $\$\backslash (\backslash left(x\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  sera considérée comme la réalisation d'un processus stochastique $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\; \_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$ . Ce qu'il faut retenir à ce stade, c'est qu'on parle d'un processus stochastique si, pour tout $\$\backslash (t\backslash in\backslash mathbb\{Z\}\backslash )\$$  fixé, $\$\backslash (X\_\{t\}\backslash )\$$  est une variable aléatoire réelle.

La notion de bruit blanc

A l'issue d'une modélisation, il nous faudrait idéalement obtenir un signal résiduel qui ne contient plus d'information temporelle. Dans le cadre des modèles ARMA, on souhaite que le résidu soit un bruit blanc (faible), c'est-à-dire sans dépendance temporelle linéaire.
 $\$\backslash (\backslash left(\backslash varepsilon\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  est un bruit blanc faible s'il est constitué de v.a.r telles que :

Une notion fondamentale : la stationnarité

Dans de très nombreux cas, on ne peut pas renouveler la suite de mesures dans des conditions identiques. Pour que le modèle déduit à partir d'une suite d'observations ait un sens, il faut que toute portion de la trajectoire observée fournisse des informations sur la loi du processus et que des portions différentes, mais de même longueur, fournissent les mêmes indications. D'où la notion de stationnarité.

Un processus $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  est (faiblement) stationnaire si son espérance et ses autocovariances sont invariantes par translation dans le temps :

•  $\$\backslash (\backslash forall\; t\backslash in\backslash mathbb\{Z\}:\backslash mathbb\{E\}\backslash left(\; X\_\{t\}\backslash right)=\backslash mu\backslash \; .\backslash )\$$

•  $\$\backslash (\backslash forall\; t\; \backslash in\backslash mathbb\{Z\},\backslash forall\; h\backslash in\backslash mathbb\{Z\}:\backslash operatorname\{Cov\}\backslash left(\; X\_\{t\},X\_\{t-h\}\backslash right)\backslash )\$$ ne dépend que de l'intervalle séparant les 2 instants $\$\backslash (h\backslash )\$$ , pas de l'instant $\$\backslash (t\backslash )\$$ .

Modéliser par des processus stationnaire

Une série présentant une tendance et/ou une saisonnalité (elle sont nombreuses dans le quotidien du data analyst !) ne pourra pas être modélisée par un processus stationnaire ; une technique communément employée est de travailler non pas sur la série mais sur des différences de la série comme l'illustre l'exemple suivant.
Considérons le processus $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  vérifiant :

$\$\backslash [X\_\{t\}=at+b+\backslash varepsilon\_\{t\}\backslash ]\$$

avec $\$\backslash (a\backslash neq\; 0\backslash )\$$ .

On a :

$\$\backslash [\backslash mathbb\{E\}\backslash left(\; X\_\{t\}\backslash right)\; =\backslash mathbb\{E\}\backslash left(\; at+b+\backslash varepsilon\_\{t\}\backslash right)\; =at+b\backslash ]\$$

et :

Contrairement à $\$\backslash (\backslash operatorname\{Cov\}\backslash left(\; X\_\{t\},X\_\{t-h\}\backslash right)\backslash )\$$ , $\$\backslash (\backslash mathbb\{E\}\backslash left(\; X\_\{t\}\backslash right)\backslash )\$$  dépend de $\$\backslash (t\backslash )\$$ .
Le processus $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  n'est donc pas stationnaire.

Considérons maintenant le processus $\$\backslash (\backslash left(\; Y\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  "différence première" :

$\$\backslash [Y\_\{t\}=X\_\{t\}-X\_\{t-1\}\backslash \; .\backslash ]\$$

On a :
D'où :

$\$\backslash [\backslash mathbb\{E\}\backslash left(\; Y\_\{t\}\backslash right)\; =a\backslash ]\$$

et :

$\$\backslash (\backslash mathbb\{E\}\backslash left(\; Y\_\{t\}\backslash right)\backslash )\$$

$\$\backslash (\backslash mathbb\{E\}\backslash left(\; Y\_\{t\}\backslash right)\; \backslash )\$$  et $\$\backslash (\backslash operatorname\{Cov\}\backslash left(\; Y\_\{t\},Y\_\{t-h\}\backslash right)\backslash )\$$  ne dépendent pas de $\$\backslash (t\backslash )\$$  donc $\$\backslash (\backslash left(\; Y\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  est bien un processus stationnaire.
On a donc transformé un processus non stationnaire $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  par différenciation pour obtenir un processus stationnaire $\$\backslash (\backslash left(\; Y\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$ .

Mesurer la dépendance temporelle linéaire

La fonction d'autocovariance

Les modèles ARMA sont linéaires, afin de définir leur structure nous utiliserons les autocorrélogrammes simples et partiels basés sur la fonction d'autocovariance.
On appelle fonction d'autocovariance d'un processus stationnaire $\$\backslash (X\backslash )\$$  la fonction $\$\backslash (\backslash gamma\backslash )\$$  suivante :
$\$\backslash (\backslash forall\; h\backslash in\backslash mathbb\{Z\}:\backslash gamma(h)=\backslash operatorname\{Cov\}\backslash left(\; X\_\{t\},X\_\{t-h\}\backslash right)\backslash \; .\backslash )\$$

$\$\backslash (\backslash gamma\backslash )\$$  est une fonction symétrique :

$\$\backslash (\backslash forall\; h\backslash in\backslash mathbb\{Z\}:\backslash gamma\backslash left(\; -h\backslash right)=\backslash gamma(h)\backslash \; .\backslash )\$$

On pourra donc calculer la fonction d'autocovariance pour $\$\backslash (h\backslash in\backslash mathbb\{N\}\backslash )\$$ .

L'autocorrélogramme simple

On appelle autocorrélogramme simple d'un processus $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  stationnaire la fonction $\$\backslash (\backslash rho\backslash )\$$  suivante :

$\$\backslash [\backslash forall\; h\backslash in\backslash mathbb\{Z\}:\backslash rho(h)=\backslash operatorname\{Corr\}\backslash left(\; X\_\{t\},X\_\{t-h\}\backslash right)=\backslash frac\{\backslash gamma(h)\}\{\backslash gamma(0)\}\backslash \; .\backslash ]\$$

Il s'agit d'une simple normalisation de la fonction d'autocovariance.

L'autocorrélogramme partiel

On constate que la corrélation existant entre 2 instants successifs d'un processus stationnaire se "diffuse". Il s'avère intéressant de connaître la corrélation entre 2 instants éloignés d'un processus conditionnellement aux instants intermédiaires, il s'agit là de l'\red{autocorrélogramme partiel} noté $\$\backslash (r\backslash )\$$  :

• $\$\backslash (r(0)=1\backslash \; .\backslash )\$$

• $\$\backslash (r(1)=\backslash rho(1)\backslash \; .\backslash )\$$

• $\$\backslash (\backslash forall\; h\backslash in\backslash mathbb\{N\}\backslash setminus\backslash left\backslash \{0,1\backslash right\backslash \}\; :\; r(h)=\backslash operatorname\{Corr\}\backslash left(\; X\_\{t\},X\_\{t-h\}\backslash left/\; X\_\{t-1\},\backslash ldots,X\_\{t-h+1\}\backslash right.\backslash right)\backslash \; .\backslash )\$$

Afin de les déterminer, on calcule au préalable les autocorrélations simples et on les déduit à l'aide de l'algorithme de Durbin-Levinson (non abordé dans ce cours).

Estimer les moments d'un processus stationnaire

Soit $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  un processus stationnaire.
A partir de $\$\backslash (\backslash left(\; X\_\{1\},\backslash ldots,X\_\{T\}\backslash right)\backslash )\$$ , on peut considérer les estimateurs suivants :

Remarquons que :

• Estimer $\$\backslash (\backslash widehat\{\backslash gamma\}(h)\backslash )\$$  pour des valeurs élevées de $\$\backslash (h\backslash )\$$  peut devenir délicat au vu du nombre d'observations en jeu. En pratique on n'excède pas un quart de la taille de la série temporelle.

• On peut mener les calculs même lorsque le processus n'est pas stationnaire ! Les logiciels le font par défaut, le data analyst devra évaluer la pertinence du calcul.

• Les estimations des autocorrélations partielles se déduisent des estimations des autocorrélations simples grâce à l'algorithme de Durbin-Levinson.

Tester la blancheur d'un résidu

A l'issue d'une modélisation ARMA, il faudra tester la blancheur du résidu à partir de l'autocorrélogramme simple.
Soit $\$\backslash (\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash )\$$  un processus stationnaire.

Considérons le test suivant :
$\$\backslash (\backslash begin\{cases\}\; H\_0:\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash text\{\; est\; un\; bruit\; blanc\}\backslash \backslash \; H\_1:\backslash left(\; X\_\{t\}\backslash right)\_\{t\backslash in\backslash mathbb\{Z\}\}\backslash text\{\; n\text{'}est\; pas\; un\; bruit\; blanc\}\; \backslash end\{cases\}\backslash \; .\backslash )\$$
Si on dispose de $\$\backslash (\backslash left(\; X\_\{1\},\backslash ldots,X\_\{T\}\backslash right)\backslash )\$$ , on considère la statistique de Portmanteau (calculée sur les $\$\backslash (k\backslash )\$$ premières estimations des autocorrélations) :

$\$\backslash [Q\_\{k\}=T\backslash sum\_\{h=1\}^\{k\}\backslash widehat\{\backslash rho\}^\{2\}(h)\backslash \; .\backslash ]\$$

Une trop grande valeur de $\$\backslash (Q\_\{k\}\backslash )\$$  indique que les autocorrélations sont trop importantes pour être celles d'un bruit blanc (en effet ces autocorrélations sont théoriquement nulles pour un bruit blanc).
Il existe d'autres versions de cette statistiques, par exemple la statistique de Ljung–Box :

$\$\backslash [Q\_\{k\}^\{\backslash ast\}=T\backslash left(\; T+2\backslash right)\backslash sum\_\{h=1\}^\{k\}\; \backslash frac\{\backslash widehat\{\backslash rho\}^\{2\}(h)\}\{T-h\}\backslash \; .\backslash ]\$$

Sous $\$\backslash (H\_0,\backslash )\$$$\$\backslash (Q\_\{k\}\backslash )\$$ (ainsi que $\$\backslash (Q\_\{k\}^\{\backslash ast\}\backslash )\$$ ) suit asymptotiquement une loi du Khi-deux à $\$\backslash (k\backslash )\$$ degrés de liberté :

$\$\backslash [Q\_\{k\}\backslash xrightarrow\{\backslash mathcal\{L\}\}\backslash chi^\{2\}(k)\backslash \; .\backslash ]\$$

On rejette donc l'hypothèse $\$\backslash (H\_0\backslash )\$$  au niveau de test $\$\backslash (\backslash alpha\backslash )\$$  si :

$\$\backslash [Q\_\{k\}>\backslash chi\_\{k,1-\backslash alpha\}^\{2\}\; \backslash ]\$$

où $\$\backslash (\backslash chi\_\{k,1-\backslash alpha\}^\{2\}\backslash )\$$  désigne le quantile d'ordre $\$\backslash (1-\backslash alpha\backslash )\$$  d'une loi du Khi-deux à $\$\backslash (k\backslash )\$$  degrés de liberté.

La p-valeur vaut :

$\$\backslash [\backslash operatorname\{p-valeur\}=\backslash mathbb\{P\}\backslash left(\backslash chi\_\{k\}^\{2\}\backslash geq\; Q\_\{k\}\backslash right)\backslash \; .\backslash ]\$$

Vers les processus ARMA

Il existe un résultat théorique, nommé décomposition de Wold, qui nous indique que tout processus stationnaire peut être modélisé par un processus ARMA, ce résultat est remarquable car il rend universel le modèle linéaire sur des processus stationnaires.