Réalisez des modélisations de données performantes

Pour utiliser notre modèle à des fins de prévision, il vaut mieux qu'il soit le plus parcimonieux possible, c'est-à-dire qu'il n'intègre que les variables qui sont réellement utiles.

L'idée ici est d'utiliser un algorithme de recherche de modèle qui cherchera à optimiser un certain critère statistique.

Quels critères statistiques pouvez-vous utiliser ?

Concernant les critères statistiques, on considère généralement des critères tels que R². Cependant, on sait que ce n'est pas l'indicateur le plus sensé. On peut également utiliser une information de type AIC ou BIC et le $\$\backslash (C\_p\backslash )\$$ de Mallows.

Ces derniers critères cherchent un compromis entre :

• l'ajustement du modèle ;

• la qualité de la prévision.

En effet, ces deux quantités ne varient pas dans le même sens : quand le nombre de paramètres augmente, meilleur est l'ajustement, mais moins bonne sera la prévision.

Déterminez les régresseurs adaptés

Supposez que l'on dispose de $\$\backslash (K\; \backslash )\$$ régresseurs potentiels et que vous cherchiez à déterminer les $\$\backslash (k\; \backslash )\$$ régresseurs les mieux adaptés.

Il est possible de considérer les critères de sélection suivants pour chacun des modèles testés :

• le coefficient de détermination (ajusté ou pas) ;

• la variance résiduelle ;

• des critères basés sur l'information de Kullback (AIC ou BIC, par exemple) ;

• la statistique de Mallows.

Étudiez en détail les critères de sélection

Ces critères sont un compromis entre l'ajustement du modèle (on privilégie une faible variance résiduelle) et la parcimonie de ce modèle (on privilégie alors un faible nombre de variables explicatives). On trouve parmi eux (pour un modèle $\$\backslash (\backslash mathcal\{M\}\_k\backslash )\$$  à $\$\backslash (k\backslash )\$$  variables explicatives) :

• Le Critère d'Akaike (AIC : Akaike Information Criterium) :

  $\$\backslash [\backslash operatorname\{AIC\}\backslash left(\; \backslash mathcal\{M\}\_k\backslash right)=n\backslash ln\backslash left(\backslash widehat\{\backslash sigma\}\_\{\backslash mathcal\{M\}\_k\}^\{2\}\backslash right)\; +2k\backslash ]\$$

• Le Critère de Schwarz (BIC : Bayesian Information Criterium, également noté SBC pour Schwarz Bayesian Criterium) :

  $\$\backslash [\backslash operatorname\{BIC\}\backslash left(\; \backslash mathcal\{M\}\_k\backslash right)=n\backslash ln\backslash left(\; \backslash widehat\{\backslash sigma\}\_\{\backslash mathcal\{M\}\_k\}^\{2\}\backslash right)\; +k\backslash ,\backslash ln\backslash left(\; n\backslash right)\backslash ]\$$

• La statistique de Mallows : $\$\backslash (\backslash operatorname\{C\_\{p\}\}\backslash )\$$ est défini par :

$\$\backslash [\backslash operatorname\{C\_\{p\}\}\backslash left(\; \backslash mathcal\{M\}\_k\backslash right)=\backslash frac\{\backslash operatorname\{SCR\}\backslash left(\; \backslash mathcal\{M\}\_k\backslash right)\; \}\{\backslash widehat\{\backslash sigma\}^\{2\}\}-n+2k\backslash ]\$$

où $\$\backslash (\backslash widehat\{\backslash sigma\}^\{2\}\; \backslash )\$$ est la variance du modèle complet (avec tous les régresseurs) et $\$\backslash (\backslash operatorname\{SCR\}\backslash left(\; \backslash mathcal\{M\}\_k\backslash right)\backslash )\$$ la somme des carrés des résidus du modèle $\$\backslash (\backslash mathcal\{M\}\_k\backslash )\$$ .

La statistique de Mallows est une mesure de l'erreur quadratique moyenne (qui englobe le biais et la variance) des prédictions produites par un sous-modèle. Si un sous-modèle à $\$\backslash (k\; \backslash )\$$ variables explicatives possède un pouvoir prédictif proche de celui du modèle complet, au sens de l'erreur quadratique moyenne, alors $\$\backslash (\backslash operatorname\{C\_\{p\}\}\backslash simeq\; k.\backslash )\$$
En pratique, il est recommandé de choisir le modèle vérifiant $\$\backslash (\backslash operatorname\{C\_\{p\}\}\backslash leq\; k\backslash )\$$ .

Découvrez les procédures itératives de choix

La procédure la plus complète, mais la plus fastidieuse également, consiste à sélectionner le modèle qui minimise un des critères précédents pour tous les modèles de régression potentiels à $\$\backslash (k\; \backslash )\$$ régresseurs, pour $\$\backslash (k\backslash in\backslash left\backslash \{\; 1,\backslash ldots,K\backslash right\backslash \}\backslash )\$$ .

Sachez qu'il existe aussi des procédures alternatives :

• Procédure ascendante ou forward
  On initialise la procédure en intégrant seulement la constante, puis les régresseurs sont introduits un par un, le principe étant de retenir à chaque pas la variable qui contribue le plus à augmenter la somme des carrés expliqués.

• Procédure descendante ou backward
  On initialise la procédure en intégrant tous les régresseurs, puis on élimine à chaque pas le régresseur associé à la plus petite diminution de la somme des carrés expliqués (la constante est toujours conservée).

• Procédure pas-à-pas ou stepwise
  Cette méthode est une procédure de sélection de type forward, avec possibilité d'éliminer, éventuellement, des variables devenues non significatives (dans une étape backward).

Et voilà, vous savez comment sélectionner automatiquement le modèle le plus juste grâce à un algorithme. Allez, on passe à la pratique dans le prochain chapitre.