Entraînez un modèle prédictif linéaire

Dans le chapitre précédent, nous avons vu que la régularisation permet d'éviter le sur-apprentissage d'une régression linéaire en rajoutant à la fonction objective (la somme des carrés des erreurs) un terme de régularisation qui mesure la complexité du modèle.

Régularisation de Tykhonov

 La régularisation de Tykhonov est un cas particulier de régularisation, dans lequel on utilise pour régulariser la régression linéaire le carré de la norme du vecteur de poids $\$\backslash (\backslash beta\backslash )\$$ .

Plus précisément, il s'agit de la norme $\$\backslash (\backslash ell\_2\backslash )\$$, ou norme euclidienne, c'est-à-dire

$\$\backslash [||\backslash beta||\_2^2\; =\; \backslash sum\_\{j=0\}^p\; \backslash beta\_j^2.\backslash ]\$$

 Nous avons donc maintenant le problème d'optimisation suivant :

$\$\backslash [\backslash arg\; \backslash min\_\{\backslash beta\; \backslash in\; \backslash mathbb\{R\}^\{p+1\}\}\; (y\; -\; X\backslash beta)^\backslash top\; (y-X\backslash beta)\; +\; \backslash lambda\; ||\backslash beta||\_2^2,\backslash ]\$$

 que l'on peut aussi écrire

$\$\backslash [\backslash arg\; \backslash min\_\{\backslash beta\; \backslash in\; \backslash mathbb\{R\}^\{p+1\}\}\; ||y\; -\; X\backslash beta||\_2^2\; +\; \backslash lambda\; ||\backslash beta||\_2^2\backslash ]\$$

Le modèle linéaire que l'on apprend en résolvant cette équation est appelé régression ridge, ou ridge regression en anglais.

Solution de la régression ridge

 La fonction à minimiser est encore une fois une forme quadratique. Comme dans le cas de la méthode des moindres carrés (régression linéaire non régularisée), nous pouvons résoudre ce problème d'optimisation en annulant le gradient en $\$\backslash (\backslash beta\backslash )\$$ de la fonction objective : 

$\$\backslash [\backslash nabla\_\backslash beta\; \backslash left(\; ||y\; -\; X\backslash beta||\_2^2+\backslash lambda\; ||\backslash beta||\_2^2\; \backslash right)\; =\; 0\backslash ]\$$

Encore une fois, il s'agit du gradient d'une forme quadratique, qui se calcule de manière analogue à la dérivée d'un polynôme de degré 2 :

$\$\backslash [-\; 2\; X^\backslash top\; (y\; -\; X\backslash beta)\; +\; 2\; \backslash lambda\; \backslash beta\; =\; 0\backslash ]\$$

 Ce qui nous donne

$\$\backslash [(\backslash lambda\; I\; +\; X^\backslash top\; X)\; \backslash beta\; =\; X^\backslash top\; y.\backslash ]\$$

 Or si $\$\backslash (\backslash lambda\; >\; 0\backslash )\$$ , la matrice $\$\backslash ((\backslash lambda\; I\; +\; X^\backslash top\; X)\; \backslash )\$$ est toujours inversible !

La régression ridge admet donc toujours une unique solution explicite :

$\$\backslash [\backslash beta\; =\; (\; \backslash lambda\; I\; +\; X^\backslash top\; X)^\{-1\}\; X^\backslash top\; y.\backslash ]\$$

Importance de la standardisation des variables

Que se passe-t-il si l'on multiplie la variable $\$\backslash (x\_1\backslash )\$$ par une constante $\$\backslash (\backslash alpha\backslash )\$$ ? Regardons tout d'abord le cas de la régression linéaire sans régularisation. La solution de la régression linéaire vérifie  $\$\backslash (X^\backslash top\; (y\; -\; X\; \backslash beta)=0.\backslash )\$$

Maintenant, si j'appelle  $\$\backslash (\backslash tilde\; X\backslash )\$$ la matrice obtenue en remplaçant  $\$\backslash (x\_1\backslash )\$$ par  $\$\backslash (\backslash alpha\; x\_1\backslash )\$$ dans  $\$\backslash (X\backslash )\$$ , la solution $\$\backslash (\backslash tilde\; \backslash beta\backslash )\$$ de la régression linéaire qui explique $\$\backslash (y\backslash )\$$ comme une fonction linéaire de $\$\backslash (\backslash alpha\; x\_1,\; x\_2,\; \backslash dots,\; x\_p\backslash )\$$ vérifie $\$\backslash (\backslash tilde\; X^\backslash top\; (y-\; \backslash tilde\; X\; \backslash tilde\; \backslash beta)=0\backslash )\$$ . On a donc $\$\backslash (\backslash sum\_\{i=1\}^n\; \backslash alpha\; X\_\{i1\}\; \backslash left(\; \backslash tilde\; \backslash beta\_1\; -\; \backslash sum\_\{j\; \backslash neq\; 1\}\; X\_\{ij\}\; \backslash beta\_j\; -\; \backslash alpha\; X\_\{i1\}\; \backslash tilde\; \backslash beta\_1\; \backslash right)\; =\; 0,\backslash )\$$ ce dont on peut conclure que $\$\backslash (\backslash tilde\; \backslash beta\_1\; =\; \backslash frac\{1\}\{\backslash alpha\}\; \backslash beta\_1.\backslash )\$$ Ainsi, multiplier une variable par une constante équivaut à diviser le poids correspondant par la même constante.

Dans le cas de la régression ridge, cependant, l'effet de la multiplication de  $\$\backslash (x\_1\backslash )\$$ par une constante dépend aussi du terme de régularisation $\$\backslash (\backslash lambda\; \backslash beta\_1^2\backslash )\$$ , et est bien moins clair.

Pour cette raison, l'échelle de la plage des valeurs prises par les différentes variables a un impact sur le résultat de la régression ridge (mais pas sur celui de la régression non régularisée). Pour cette raison, je vous recommande fortement de standardiser les variables avant d'apprendre une régression ridge. Il s'agit de faire en sorte que chaque variable ait un écart-type de 1, en leur appliquant la transformation suivante :

$\$\backslash [X\_j^i\; \backslash leftarrow\; \backslash frac\{X\_j^i\}\{\backslash sqrt\{\backslash frac\{1\}\{n\}\; \backslash sum\_\{i=1\}^n\; (X\_j^i\; -\; \backslash frac\{1\}\{n\}\; \backslash sum\_\{i=1\}^n\; X\_j^i\; )^2\}\}.\backslash ]\$$

 Cette transformation est implémentée dans sklearn.preprocessing.StandardScaler.

Chemin de régularisation

Comment la solution de la régression ridge évolue-t-elle en fonction du coefficient de régularisation  $\$\backslash (\backslash lambda\backslash )\$$ ? Si  $\$\backslash (\backslash lambda\backslash )\$$ est très grand, alors la régularisation prend le dessus, le terme d'erreur n'importe plus et la solution est $\$\backslash (\backslash beta=0\backslash )\$$ . À l'inverse, si $\$\backslash (\backslash lambda\backslash )\$$ est très faible, le terme de régularisation n'est plus utilisé, et on retrouve la solution de la régression linéaire non régularisée.

On peut visualiser l'effet que la valeur du coefficient de régularisation a sur chaque variable en affichant la valeur des différents coefficients $\$\backslash (\backslash beta\_j\backslash )\$$ en fonction de  $\$\backslash (\backslash lambda\backslash )\$$ quand $\$\backslash (\backslash lambda\backslash )\$$ décroît. Le résultat s'appelle le chemin de régularisation.

En pratique, on choisira la valeur optimale du coefficient de régularisation entre ces deux extrêmes (solution nulle et solution de la régression non régularisée) par validation croisée.

Un des effets de la régression ridge, que l'on peut observer sur le schéma entre les variables j=2 et j=4, est de grouper les variables corrélées, en leur affectant des coefficients similaires. Là où la régression non régularisée peut « répartir » le poids affecté à un groupe de variable corrélées de plusieurs façons, la régression régularisée les répartit de manière homogène.

 Conclusion

• La norme ℓ2 du vecteur de poids peut être utilisée comme terme de régularisation de la régression linéaire.

• Cela s'appelle la régularisation de Tykhonov, ou régression ridge.

• La régression ridge admet toujours une solution analytique unique.

• La régression ridge permet d'éviter le surapprentissage en restraignant l'amplitude des poids.

• La régression ridge a un effet de sélection groupée : les variables corrélées ont le même coefficient.

 La régression ridge est implémentée dans scikit-learn : linear_model.Ridge.

linear_model.RidgeCVpermet de déterminer la valeur optimale du coefficient de régularisation par validation croisée.