Utilisez des modèles supervisés non linéaires

Beaucoup de phénomènes physiques ne sont pas linéaires. Par exemple, la température mensuelle moyenne dans une ville donnée est approximativement périodique en fonction de la saison.

Il est donc inévitable que, en machine learning aussi, les modèles linéaires ne suffisent pas toujours à bien appréhender nos données. Mais que faire si l'on n'a à sa disposition que des algorithmes linéaires comme la SVM linéaire ou la régression ridge ?

Prenons l'exemple de classification sur l'image ci-dessous : il s'agit de séparer, en deux dimensions, les points bleus des points orange.

Il s'agit de séparer les points oranges des points bleus, en deux dimensions. Un modèle linéaire va donc créer une droite comme fonction de décision. Mais on n'aura jamais de bonnes performances avec une droite ! Quelle frontière de décision serait plus appropriée ? Personnellement, je verrais bien un cercle centré à l'origine. Si j'appelle  $\$\backslash (x\_1\backslash )\$$ et  $\$\backslash (x\_2\backslash )\$$ mes deux dimensions, un cercle a pour équation $\$\backslash (x\_1^2\; +\; x\_2^2\; =\; R^2\backslash )\$$, où R est son rayon. J'ai donc 1 unique paramètre à déterminer : le rayon R du cercle. Mais ma boite à outils de modèles linéaires ne permet pas de faire ça...

Comment faire? En fait, il me suffit de remarquer que si je crée deux nouvelles variables $\$\backslash (\backslash phi\_1\; =\; x\_1^2\backslash )\$$  et $\$\backslash (\backslash phi\_2\; =\; x\_2^2\backslash )\$$ , alors mon équation devient  $\$\backslash (\backslash phi\_1\; +\; \backslash phi\_2\; -\; R^2\; =\; 0\backslash )\$$ ce qui est une équation... eh oui,  linéaire ! En utilisant une application $\$\backslash (\backslash Phi\backslash )\$$  qui a (x1, x2)' associe (x1², x2²)', j'ai décrit mon problème dans un nouvel espace, appelé espace de redescription, défini par les coordonnées  $\$\backslash ((\backslash Phi(x\_1),\; \backslash Phi(x\_2))\backslash )\$$  et dans lequel mon problème est linéaire.

Dans le cas du cercle centré à l'origine, mon espace de redescription fait la même dimension que l'espace dans lequel mes données étaient initialement décrites.

Mais prenons un cas plus général, par exemple celui d'une ellipse (alignée avec les axes). L'ellipse a pour équation  $\$\backslash (\backslash frac\{(x\_1-c\_1)^2\}\{a^2\}\; +\; \backslash frac\{(x\_2-c\_2)^2\}\{b^2\}\backslash )\$$ . Pour arriver à la décrire dans un espace linéaire, je vais avoir besoin de plus de deux dimensions. Par exemple, je peux prendre $\$\backslash (\backslash Phi((x\_1,\; x\_2)^\backslash top)\; =\; (x\_1,\; x\_2,\; x\_1^2,\; x\_2^2)^\backslash top\backslash )\$$  . J'utilise maintenant quatre dimensions. Ce cas de figure ressemble plus à ce que nous rencontrerons en pratique : l'espace de redescription sera de dimension beaucoup plus grande que l'espace initial.

Par exemple, pour apprendre un polynôme de degré d en p dimensions, il faut utiliser comme nouvelles variables tous les monômes de degrés inférieur ou égal à d, c'est-à-dire tous les polynômes de la forme $\$\backslash (x\_1^\{d\_1\}\; x\_2^\{d\_2\}\; \backslash dots\; x\_p^\{d\_p\}\backslash )\$$ où $\$\backslash (0\; \backslash leq\; d\_1,\; d\_2,\; \backslash dots,\; d\_p\backslash )\$$  et $\$\backslash (d\_1\; +\; d\_2\; +\; \backslash dots\; +\; d\_p\; =\; d\backslash )\$$.

Étant donné un jeu de données $\$\backslash (\backslash \{x\_1,\; x\_2,\; \backslash dots,\; x\_n\backslash \}\backslash )\$$ étiquetées par $\$\backslash (\backslash \{y\_1,\; y\_2,\; \backslash dots,\; y\_n\backslash \}\backslash )\$$ , je peux maintenant appliquer un algorithme de machine learning linéaire (par exemple, SVM linéaire ou régression ridge) dans l'espace de redescription : je vais apprendre une fonction g linéaire sur les données transformées $\$\backslash (\backslash \{\backslash Phi(x\_1),\; \backslash Phi(x\_2),\; \backslash dots,\; \backslash Phi(x\_n)\backslash \}\backslash )\$$ et leurs étiquettes $\$\backslash (\backslash \{y\_1,\; y\_2,\; \backslash dots,\; y\_n\backslash \}\backslash )\$$ . Ma fonction de décision sera donc  $\$\backslash (f\; =\; g\; \backslash circ\; \backslash Phi\backslash )\$$ : pour faire une prédiction, je commence par calculer l'image $\$\backslash (\backslash Phi(x)\backslash )\$$ de x dans l'espace de redescription, puis je lui applique g. La fonction g est linéaire en $\$\backslash (\backslash Phi(x)\backslash )\$$ , mais la fonction f n'est pas linéaire.

Ce processus est bien évidemment valable pour un problème de régression comme de classification. Ainsi, une façon de construire une fonction de décision non-linéaire est de redécrire les données dans un nouvel espace dans lequel on apprend une fonction de décision linéaire.

En résumé

• Il est possible d’appliquer un algorithme linéaire à un problème non linéaire.

• Une façon de construire une fonction de décision non linéaire est de redécrire les données dans un nouvel espace dans lequel on apprend une fonction de décision linéaire.

Deux questions se posent maintenant : comment choisir l'application Φ et l'espace de redescription ? Comment apprendre de manière efficace dans un espace de redescription de dimension potentiellement très grand ?

C'est ce que nous verrons dans le prochain chapitre !