Réalisez des modélisations de données performantes

On souhaite cette fois expliquer, de manière linéaire, une variable $\$\backslash (Y\; \backslash )\$$ (variable à expliquer), aléatoire en fonction de $\$\backslash (p\; \backslash )\$$ variables $\$\backslash (\backslash left(\; X\_\{1\},\backslash ldots,X\_\{p\}\backslash right)\backslash )\$$ , et non plus d'une seule variable.

Extension naturelle du modèle de régression linéaire simple, le modèle de régression linéaire multiple suppose que :

$\$\backslash [Y=\backslash beta\_\{1\}\backslash ,\; X\_\{1\}+\backslash beta\_\{2\}\backslash ,\; X\_\{2\}+\backslash ldots+\backslash beta\_\{p\}\backslash ,\; X\_\{p\}+\backslash varepsilon\backslash ]\$$

où :

• $\$\backslash (Y\; \backslash )\$$ est une v.a.r, observable ;

• $\$\backslash (\backslash left(\; X\_\{1\},\backslash ldots,X\_\{p\}\backslash right)\backslash )\$$ sont déterministes (non aléatoires), observables ;

• $\$\backslash ((\backslash beta\_1,\backslash ldots,\backslash beta\_p)\backslash )\$$ sont des paramètres inconnus (non observables) ;

• $\$\backslash (\backslash varepsilon\backslash )\$$ , l'erreur du modèle, est une v.a.r centrée de variance $\$\backslash (\backslash sigma^2\backslash )\$$ inconnue (c'est également un paramètre du modèle).

Dans le cas de l'ozone, on considérera le pic d'ozone journalier pour $\$\backslash (Y\; \backslash )\$$ et les différentes variables météorologiques (température, vitesse du vent, etc.), ainsi que le pic d'ozone de la veille pour $\$\backslash (X\_1,\backslash ldots,X\_p\backslash )\$$ .

Les données

On considère ici que l'on dispose de $\$\backslash (n\backslash )\$$ observations $\$\backslash (\backslash left(x\_\{i1\},\backslash ldots,x\_\{ip\},y\_i\backslash right)\_\{i\backslash in\backslash \{1,\backslash ldots,n\backslash \}\}\backslash )\$$ d'un échantillon i.i.d de $\$\backslash (\backslash left(X\_1,\backslash ldots,X\_\{p\},Y\backslash right)\backslash )\$$ :

$\$\backslash (\backslash forall\; i\backslash in\backslash \{1,\backslash ldots,n\backslash \}\; :y\_\{i\}=\backslash beta\_\{1\}\backslash ,\; x\_\{i1\}+\backslash beta\_\{2\}\backslash ,\; x\_\{i2\}+\backslash ldots+\backslash beta\_\{p\}\backslash ,\; x\_\{ip\}+\backslash varepsilon\_\{i\}\backslash \; \backslash )\$$

De manière identique à la régression linéaire simple, les erreurs $\$\backslash (\backslash left(\backslash varepsilon\_i\backslash right)\_\{i\backslash in\backslash \{1,\backslash ldots,n\backslash \}\}\; \backslash )\$$ vérifient pour $\$\backslash (\backslash left(i,j\backslash right)i\backslash in\backslash \{1,\backslash ldots,n\backslash \}^2\backslash )\$$ :

•  $\$\backslash (\backslash mathbb\{E\}\backslash left(\backslash varepsilon\_i\backslash right)=0\backslash )\$$ (elles sont centrées autour de 0) ;

•  $\$\backslash (\backslash operatorname\{Var\}\backslash left(\backslash varepsilon\_i\backslash right)=\backslash sigma^2\backslash )\$$ (leur variance, inconnue, est constante et égale à $\$\backslash (\backslash sigma^2\backslash )\$$ ) ;

•  $\$\backslash (\backslash operatorname\{Cov\}\backslash left(\backslash varepsilon\_i,\backslash varepsilon\_j\backslash right)=0\backslash )\$$ si $\$\backslash (i\backslash ne\; j\backslash )\$$ (elles n'ont pas de dépendance linéaire).

Matriciellement, on peut réécrire le problème sous la forme suivante :

$\$\backslash [\backslash mathbf\{Y\}\; =\backslash mathbb\{X\}\; \backslash boldsymbol\{\backslash beta\}\; +\backslash boldsymbol\{\backslash varepsilon\}\backslash ]\$$

où :

$\$\backslash [\backslash mathbf\{Y\}\; =\backslash begin\{pmatrix\}y\_\{1\}\backslash \backslash \backslash vdots\backslash \backslash y\_\{n\}\backslash end\{pmatrix\},\backslash \; \backslash mathbb\{X\}\; =\backslash begin\{bmatrix\}x\_\{11\}\; \backslash ldots\; x\_\{1p\}\backslash \backslash \backslash vdots\; \backslash \; \backslash \; \backslash \; \backslash vdots\; \backslash \; \backslash \; \backslash \; \backslash vdots\backslash \backslash x\_\{n1\}\backslash ldots\; x\_\{np\}.\backslash end\{bmatrix\},\backslash \; \backslash boldsymbol\{\backslash beta\}\; =\backslash begin\{pmatrix\}\backslash beta\_\{1\}\backslash \backslash \backslash vdots\backslash \backslash \backslash beta\_\{p\}\backslash end\{pmatrix\},\backslash \; \backslash boldsymbol\{\backslash varepsilon\}=\backslash begin\{pmatrix\}\backslash varepsilon\_\{1\}\backslash \backslash \backslash vdots\backslash \backslash \backslash varepsilon\_\{n\}\backslash end\{pmatrix\}\backslash ]\$$

Régression linéaire multiple avec ou sans constante

En présence d'un terme constant dans le modèle, on considérera que la première variable $\$\backslash (X\_1\backslash )\$$ est égale à 1 : 

$\$\backslash [\backslash forall\; i\backslash in\backslash \{1,\backslash ldots,n\backslash \}\; :x\_\{i1\}=1\backslash ]\$$

On est alors en présence de $\$\backslash (p-1\backslash )\$$ vraies variables explicatives et de $\$\backslash (p\; \backslash )\$$ paramètres à estimer (avec en sus $\$\backslash (\backslash sigma^2\backslash )\$$ qui reste à estimer quel que soit le cas).

Linéarisation de modèles de régression

Il est possible de considérer comme variables explicatives des transformations (puissance, exponentielle, logarithme, etc.) de  $\$\backslash (X\_1,\backslash ldots,X\_p\backslash )\$$ .

Après cette introduction au modèle, continuons avec la méthode des Moindres Carrés Ordinaires, que vous avez découverte dans la partie précédente...