• 10 heures
  • Moyenne

Ce cours est visible gratuitement en ligne.

Ce cours est en vidéo.

Vous pouvez obtenir un certificat de réussite à l'issue de ce cours.

J'ai tout compris !

Mis à jour le 01/02/2019

Contrôlez la complexité de votre modèle

Connectez-vous ou inscrivez-vous gratuitement pour bénéficier de toutes les fonctionnalités de ce cours !

 

Limitations de la régression linéaire

Dans le chapitre précédent, nous avons vu que la régression linéaire souffre de quelques inconvénients quand les variables sont corrélées : la solution n'est pas unique et les coefficients ont une grande variabilité, et l'interprétation est plus difficile.

Une autre situation dans laquelle la solution n'est pas unique est celui où le nombre de variables est plus grand que celui d'observations. Dans ce cas, la matrice  $\(X^\top X\)$ n'est pas inversible :  $\(X\)$ ne peut pas être de rang colonne plein en ayant plus de colonnes (variables) que de lignes (observations).

Il y a donc un risque de sur-apprentissage.

Régularisation

Pour limiter le sur-apprentissage, on peut utiliser une technique, la régularisation, qui consiste à contrôler simultanément l'erreur du modèle sur le jeu d'entraînement et la complexité du modèle. Souvenez-vous, plus un modèle est « complexe », plus il est susceptible de sur-apprendre. L'idée ici va être de ne pas minimiser seulement l'erreur du modèle, mais une nouvelle fonction objective qui est la somme d'un terme d'erreur et d'un terme mesurant la complexité du modèle. Dans le cas de la régression linéaire, il s'agit donc de résoudre

$\[\arg \min_{\beta \in \mathbb{R}^{p+1}} (y - X\beta)^\top (y - X \beta) + \lambda \mbox{ Regularisateur}(\beta)\]$

Le régularisateur, qui mesure la complexité du modèle, est une fonction des poids $\(\beta\)$ du modèle.

Dans les chapitres suivants, vous verrez quelques exemples concrets de régularisateurs.

Choix du coefficient de régularisation

Quel que soit le régularisateur utilisé, notre algorithme d'apprentissage contient maintenant un hyperparamètre, le coefficient de régularisation $\(\lambda\)$ qui contrôle l'importance relative du terme d'erreur et du terme de régularisation.

Plus $\(\lambda\)$ est grand, plus le terme de régularisation est important. Plus il est petit, est plus l'erreur est importante ; s'il est suffisamment faible (et en particulier s'il est égal à zéro), on retrouvera la solution de la régression linéaire non-régularisée. Quelle valeur donner à cet hyperparamètre ? En général, c'est une question que l'on réglera en utilisant une validation croisée (cf. le chapitre correspondant du cours « Évaluez et améliorez les performances d'un modèle de machine learning »).

Exemple de certificat de réussite
Exemple de certificat de réussite