Initiez-vous au Machine Learning

Vous aurez besoin d’installer scikit-learn pour coder l’exemple en même temps que moi. 

Je vous recommande aussi d’utiliser un notebook Jupiter, pratique pour afficher vos résultats au fur et à mesure directement dans un navigateur web.

Reprenons notre problématique des loyers abordée dans le premier chapitre de ce cours. La question qu'on essaie de résoudre est :

Étant donné les caractéristiques de mon appartement, combien devrais-je normalement payer mon loyer ?

Imaginons pour l'instant que la seule caractéristique dont nous disposons est la surface de l'appartement. Notre training set est un ensemble de N = 545 observations de surface et des loyers associés :  (x,y)=(surface,loyer) .

Commençons par charger et afficher les données d'entraînement, juste pour avoir une meilleure idée de ce à quoi on a affaire :

# On importe les librairies dont on aura besoin pour ce tp
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# On charge le dataset
house_data = pd.read_csv('house.csv')

# On affiche le nuage de points dont on dispose
plt.plot(house_data['surface'], house_data['loyer'], 'ro', markersize=4)
plt.show()

Clairement, d'après la visualisation, on peut se dire que le montant du loyer dépend de manière linéaire de la surface du logement. On peut donc émettre une hypothèse de modélisation qui est que le phénomène possède la forme d'une droite. 

Aussi, on peut voir que lorsque la surface devient un peu trop grande, les données semblent devenir moins modélisables facilement, il y a plus de variabilité. On va considérer pour l'instant résoudre le problème de prédiction pour les loyers inférieurs à 10,000€, afin de conserver une robustesse du modèle à ces données plutôt anormales, qui correspondent peut-être à un autre modèle distinct ou à un traitement comme outliers.

house_data = house_data[house_data['loyer'] < 10000]

La régression linéaire s’appuie sur l’hypothèse que les données proviennent d’un phénomène qui a la forme d'une droite, c’est-à-dire qu’il existe une relation linéaire entre l’entrée (les observations) et la sortie (les prédictions).

Nous avons donc notre contrainte de modèle sous-jacent qui doit être sous la forme ˆy=xTθ  avec  xT=(x1,x2,x3,...,xN),ˆyT=(^y1,^y2,^y3,...,^yN)   

où N est le nombre d'observations à notre disposition (id est le nombre d'appartements considérés dans notre cas).

En général, une observation a plusieurs variables qui la caractérisent (un appartement est par exemple caractérisé par une surface et un nombre de pièces). Donc une observation est caractérisée par un vecteur  xTi=(1,vi1,vi2,...,viD)  avec D le nombre de variables caractérisant l'observation.

Dans notre cas, puisqu’on est en une dimension,  D=1 , on peut écrire pour une observation  i    ^yi=xTiθ=θ0+θ1×vi1 

où  vi1 représente la surface pour du ième appartement de notre échantillon de taille N  .

Notre objectif est donc de trouver la droite paramétrée par θ=(θ0,θ1) qui fitte le mieux aux données d’entraînement.

Pour effectuer une régression linéaire, on doit ensuite choisir une fonction de perte dont on a parlé dans le chapitre précédent. On ne va pas prendre de risque, on va prendre la distance euclidienne. 😉

La distance euclidienne d'une observation yi  vis-à-vis de notre modèle ˆyi  est :

||ˆyi−yi||2=||xTiθ−yi||2

Le risque empirique dont on parlait dans le chapitre précédent est donc, pour N observations : 

  E=∑Ni=1||xTiθ−yi||2  

Et on va donc chercher à trouver le θ qui minimise cette fonction de perte (qu’on note E) :

ˆθ=argminθE

Pour la régression linéaire, la solution de l'équation de minimisation (juste au-dessus) est exacte :

  ˆθ=(XTX)−1XTy  

Alors, en l’occurrence on a de la chance. 😅 Il existe bien une solution exacte dans ce cas précis, qu’on vient de donner. Mais on peut aussi utiliser un algorithme appelé descente de gradient pour trouver une approximation de la solution. C'est en particulier utile lorsque l'on a beaucoup de données d'exemple, car c'est assez long pour un ordinateur de calculer la solution exacte ci-dessus (on calcule un inverse de matrice, ce qui n'est pas gratuit en temps de calcul !).

Bon en tout cas, on peut maintenant calculer les paramètres directement :

# On décompose le dataset et on le transforme en matrices pour pouvoir effectuer notre calcul
X = np.matrix([np.ones(house_data.shape[0]), house_data['surface'].values]).T
y = np.matrix(house_data['loyer']).T

# On effectue le calcul exact du paramètre theta
theta = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

print(theta)

On trouve donc la valeur numérique de θ pour nos données :

[[ 266.45460292]
 [ 30.66119596]]

Notre modèle final qui colle bien aux données sera donc dans notre cas (approximativement) :

loyer=30.7×surface+266.4

On peut représenter graphiquement la droite qu'on a trouvée, pour vérifier qu'elle colle bien aux données :

plt.xlabel('Surface')
plt.ylabel('Loyer')

plt.plot(house_data['surface'], house_data['loyer'], 'ro', markersize=4)

# On affiche la droite entre 0 et 250
plt.plot([0,250], [theta.item(0),theta.item(0) + 250 * theta.item(1)], linestyle='--', c='#000000')

plt.show()

Maintenant qu’on a notre paramètre θ, c’est-à-dire qu’on a trouvé la droite qui colle le mieux à nos données d’entraînement, on peut effectuer des prédictions sur de nouvelles données, c'est-à-dire prédire le loyer en fonction de la surface qu’on nous donne en entrée, en appliquant directement la formule du modèle ci-dessus.

Par exemple, si on l’applique pour une surface de 35 mètres carrés :

theta.item(0) + theta.item(1) * 35

On obtient une estimation du loyer :

1339.646166

Essayez avec n'importe quelle surface !

• À partir d'une problématique et d'un dataset, nous avons considéré une hypothèse de travail pour contraindre le modèle : ici nous nous sommes placés dans le cas d'une régression linéaire, qui signifie contraindre la forme du modèle à une droite.

• Nous avons décomposé l'entraînement de ce modèle sur les observations, afin de déterminer le paramètre (pente et ordonnée à l'origine) de la droite optimale pour ces données. C'est cette partie que l'on appelle apprentissage du modèle.

• À l'aide du modèle ainsi trouvé, nous avons effectué des prédictions de montant de loyer à partir de n'importe quelle surface donnée.

Maintenant qu’on a trouvé un premier modèle, il serait possible de tester plein d’hypothèses différentes pour aller plus loin et améliorer ses performances.

Toutes ces questions peuvent (et devraient !) être testées. Trouver la configuration la plus pertinente revient, du coup, à tester les différents modèles qui en découlent (régression linéaire ou non linéaire, dimensions différentes, et tous les autres algorithmes que l'on verra par la suite) et trouver celui qui convient le mieux en termes de performance.