Découvrez la science des données pour les objets connectés

Fonction de transfert

Par souci de cohérence, les mêmes notations ont été conservées à travers les différentes parties. Ainsi, les entrées d'un réseau sont encore notées $\$\backslash (X\_1,\backslash ldots,X\_p\backslash )\$$ comme les variables explicatives d'un modèle, tandis que les poids des entrées sont des paramètres $\$\backslash (\backslash boldsymbol\{\backslash alpha\},\; \backslash boldsymbol\{\backslash beta\}\backslash )\$$ à estimer lors de la procédure d'apprentissage, et que la sortie est la variable $\$\backslash (Y\backslash )\$$ à expliquer ou cible du modèle.

Un perceptron multicouche réalise donc une transformation des variables d'entrée :

  $\$\backslash (\backslash quad\; Y=f(X\_1,\backslash ldots,X\_p\; ;\; \backslash boldsymbol\{\backslash alpha\})\backslash )\$$

où $\$\backslash (\backslash boldsymbol\{\backslash alpha\}\backslash )\$$ est le vecteur contenant chacun des paramètres $\$\backslash (\backslash alpha\_\{jk\backslash ell\}\backslash )\$$ de la $\$\backslash (j^\{ème\}\backslash )\$$  entrée du $\$\backslash (k^\{ème\}\backslash )\$$ neurone de la $\$\backslash (l^\{ème\}\backslash )\$$ couche ; la couche d'entrée ( $\$\backslash (\backslash ell=0\backslash )\$$ ) n'est pas paramétrée, elle ne fait que distribuer les entrées sur tous les neurones de la couche suivante.

Un théorème dit d'approximation universelle montre que cette structure élémentaire à une seule couche cachée  est suffisante pour prendre en compte les problèmes classiques de modélisation ou apprentissage statistique. En effet, toute fonction régulière peut être approchée uniformément avec une précision arbitraire et dans un domaine fini de l'espace de ses variables, par un réseau de neurones comportant une couche de neurones cachés en nombre fini possédant tous la même fonction d'activation, et un neurone de sortie linéaire.

En régression ( $\$\backslash (Y\backslash )\$$ quantitative), la dernière couche est constituée d'un seul neurone muni de la fonction d'activation identité, tandis que les autres neurones (couche cachée) sont munis de la fonction sigmoïde. En classification binaire, le neurone de sortie est muni également de la fonction sigmoïde tandis que dans le cas d'une discrimination à $\$\backslash (m\backslash )\$$ classes ( $\$\backslash (Y\backslash )\$$ qualitative), ce sont $\$\backslash (m\backslash )\$$ neurones avec fonction sigmoïde, un par classe, qui sont considérés en sortie.

Ainsi, en régression avec un perceptron à une couche cachée de $\$\backslash (q\backslash )\$$ neurones et un neurone de sortie, cette fonction s'écrit : 

$\$\backslash (\backslash quad\; y=f(\backslash boldsymbol\{x\};\backslash boldsymbol\{\backslash alpha,\; \backslash beta\})\; \backslash quad\; =\; \backslash quad\; \backslash beta\_0+\backslash boldsymbol\{\backslash beta\}\text{'}\backslash boldsymbol\{z\}\backslash )\$$

  avec $\$\backslash (\backslash quad\; z\_k\; \backslash quad\; =\; \backslash quad\; g(\backslash alpha\_\{k0\}+\backslash boldsymbol\{\backslash alpha\_k\}\text{'}\backslash boldsymbol\{x\});\; k=1,\backslash ldots,q.\backslash )\$$

Apprentissage

Supposons que l'on dispose d'une base d'apprentissage de taille $\$\backslash (n\backslash )\$$ d'observation  $\$\backslash ((x\_i^1,\backslash ldots,x\_i^p\; ;\; y\_i)\backslash )\$$ des variables explicatives $\$\backslash (X^1,\backslash ldots,X^p\backslash )\$$ et de la variable à prévoir $\$\backslash (Y\backslash )\$$ . Considérons le cas le plus simple de la régression avec un réseau constitué d'un neurone de sortie linéaire et d'une couche à $\$\backslash (q\backslash )\$$ neurones, dont les paramètres sont optimisés par moindres carrés. Ceci se généralise à toute fonction perte dérivable, et donc à la discrimination à $\$\backslash (m\backslash )\$$ classes.

L'apprentissage est l'estimation des paramètres $\$\backslash (\backslash boldsymbol\{\backslash alpha\}\_\{j=0,p;k=1,q\}\backslash )\$$ et $\$\backslash (\backslash boldsymbol\{\backslash beta\_\{k=0,q\}\}\backslash )\$$ par minimisation de la fonction perte quadratique (ou d'une fonction d'entropie en classification) :

$\$\backslash (\backslash quad\; Q(\backslash boldsymbol\{\backslash alpha,\; \backslash beta\})\; =\backslash sum\_\{i=1\}^n\; Q\_i=\backslash sum\_\{i=1\}^n\backslash left[y\_i-f(\backslash boldsymbol\{x\}\; ;\; \backslash boldsymbol\{\backslash alpha,\; \backslash beta\})\backslash right]^2\backslash )\$$

Différents algorithmes d'optimisation sont proposés, ils sont généralement basés sur une évaluation du gradient par rétropropagation.

Rétropropagation du gradient

Il s'agit donc d'évaluer la dérivée de la fonction coût en une observation et par rapport aux différents paramètres.
Soit $\$\backslash (z\_\{ki\}=g(\backslash alpha\_\{k0\}+\backslash boldsymbol\{\backslash alpha\_k\}\text{'}\backslash boldsymbol\{x\}\_i)\backslash )\$$ et $\$\backslash (\backslash boldsymbol\{z\}\_i=\backslash \{z\_\{1i\},\backslash ldots,z\_\{qi\}\backslash \}\backslash )\$$ .

Les dérivées partielles de la fonction perte quadratique s'écrivent :

$\$\backslash (\backslash quad\; \backslash frac\{\backslash partial\; Q\_i\}\{\backslash partial\; \backslash beta\_k\}\; =\; -2(y\_i-\backslash phi(x\_i))(\backslash boldsymbol\{\backslash beta\}\text{'}\backslash boldsymbol\{z\}\_i)z\_\{ki\}\; =\; \backslash delta\_iz\_\{ki\}\backslash )\$$

$\$\backslash (\backslash quad\; \backslash frac\{\backslash partial\; Q\_i\}\{\backslash partial\; \backslash alpha\_\{kj\}\}\; =\; -\; 2(y\_i-\backslash phi(x\_i))(\backslash boldsymbol\{\backslash beta\}\text{'}\backslash boldsymbol\{z\}\_i)\backslash beta\_k\; g\text{'}(\backslash boldsymbol\{\backslash alpha\}\_k\text{'}\backslash boldsymbol\{x\}\_i)x\_\{ip\}\; =\; s\_\{ki\}x\_\{ip\}.\backslash )\$$

 Les termes $\$\backslash (\backslash delta\_i\backslash )\$$ et $\$\backslash (s\_\{ki\}\backslash )\$$ sont respectivement les termes d'erreur du modèle courant à la sortie et sur chaque neurone caché. Ces termes d'erreur vérifient les équations dites de rétropropagation :

  $\$\backslash (\backslash quad\; s\_\{ki\}=g\text{'}(\backslash boldsymbol\{\backslash alpha\}\_k\text{'}\backslash boldsymbol\{x\}\_i)\backslash beta\_k\backslash delta\_i\backslash )\$$

dont les termes sont évalués en deux passes. Une passe avant, avec les valeurs courantes des poids : l'application des différentes entrées $\$\backslash (\backslash boldsymbol\{x\}\_i\backslash )\$$ au réseau permet de déterminer les valeurs ajustées $\$\backslash (\backslash widehat\{f\}(\backslash boldsymbol\{x\}\_i)\backslash )\$$ . La passe retour permet ensuite de déterminer les $\$\backslash (\backslash delta\_i\backslash )\$$ qui sont rétropropagés afin de calculer les $\$\backslash (s\_\{ki\}\backslash )\$$ , et ainsi obtenir les évaluations des gradients.

Algorithmes d'optimisation

Sachant évaluer les gradients, différents algorithmes, plus ou moins sophistiqués, sont implémentés. Le plus élémentaire est une utilisation itérative du gradient : en tout point de l'espace des paramètres, le vecteur gradient de $\$\backslash (Q\backslash )\$$ pointe dans la direction de l'erreur croissante. Pour faire décroître $\$\backslash (Q\backslash )\$$ , il suffit donc de se déplacer en sens contraire. Il s'agit d'un algorithme itératif modifiant les poids de chaque neurone selon :

 $\$\backslash (\backslash quad\; \backslash beta\_k^\{(r+1)\}=\backslash beta\_k^\{(r)\}-\backslash tau\backslash sum\_\{i=1\}^n\backslash frac\{\backslash partial\; Q\_i\}\{\backslash partial\; \backslash beta\_k^\{(r)\}\}\backslash )\$$

$\$\backslash (\backslash quad\; \backslash alpha\_\{kp\}^\{(r+1)\}=\backslash alpha\_\{kp\}^\{(r)\}-\backslash tau\backslash sum\_\{i=1\}^n\backslash frac\{\backslash partial\; Q\_i\}\{\backslash partial\; \backslash alpha\_\{kp\}^\{(r)\}\}.\backslash )\$$

Algorithme de rétropropagation élémentaire du gradient :

•  $\$\backslash (\backslash tt\; Initialisation\backslash )\$$ des poids $\$\backslash (b\_\{jk\backslash ell\}\backslash \backslash )\$$ par tirage aléatoire selon une loi uniforme sur $\$\backslash ([0,\; 1]\backslash )\$$. 

• Normaliser dans $\$\backslash ([0,1]\backslash )\$$ les données d'apprentissage.

• Tant que errmax ou niter itermax :

  • ranger la base d'apprentissage dans un nouvel ordre aléatoire ;

  • pour chaque élément $\$\backslash (i=1,\backslash ldots,n\backslash )\$$ de la base :

    • calculer $\$\backslash (\backslash varepsilon(i)=y\_i-f(x\_i^1,\backslash ldots,x\_i^p\; ;\; \backslash boldsymbol(b)(i-1))\backslash )\$$ en propageant les entrées vers l'avant,

    • l'erreur est rétropropagée dans les différentes couches afin d'affecter à chaque entrée une responsabilité dans l'erreur globale,

    • mise à jour de chaque poids $\$\backslash (b\_\{jk\backslash ell\}(i)=b\_\{jk\backslash ell\}(i-i)+\backslash Delta\; b\_\{jk\backslash ell\}(i)\backslash )\$$

Le coefficient de proportionnalité $\$\backslash (\backslash tau\backslash )\$$ est appelé le taux d'apprentissage. Il peut être fixe, à déterminer par l'utilisateur, ou encore varier en cours d'exécution selon certaines heuristiques. Il paraît en effet intuitivement raisonnable que, grand au début pour aller plus vite, ce taux décroisse pour aboutir à un réglage plus fin au fur et à mesure que le système s'approche d'une solution.

Bien d'autres méthodes d'optimisation ont été adaptées à l'apprentissage d'un réseau : méthodes du gradient avec second ordre utilisant une approximation itérative de la matrice hessienne (algorithme BFGS, de Levenberg-Marquardt), ou encore une évaluation implicite de cette matrice par la méthode dite du gradient conjugué. La littérature sur le sujet propose quantités de recettes destinées à améliorer la vitesse de convergence de l'algorithme, ou bien lui éviter de rester collé à une solution locale défavorable. D'autres heuristiques proposent d'ajouter un terme d'inertie afin d'éviter des oscillations de l'algorithme.

D'autres algorithmes encore sont des versions adaptatives, lorsque de nouvelles observations sont proposées une à une au réseau. Dans ce dernier type d'algorithme, des propriétés de dynamique markovienne (processus ergodique convergeant vers la mesure stationnaire) impliquent une  convergence presque sûre : la probabilité d'atteindre une précision fixée a priori tend vers 1 lorsque la taille de l'échantillon d'apprentissage tend vers l'infini.

On pourra se reporter à l'abondante littérature sur le sujet pour obtenir des précisions sur les algorithmes d'apprentissage et leurs nombreuses variantes.

Contrôle de la complexité

Régularisation

Dans les réseaux élémentaires, une option simple pour éviter le surapprentissage consiste à introduire un terme de pénalisation ou régularisation, comme en régression ridge, dans le critère à optimiser. Celui-ci devient alors :  $\$\backslash (Q(\backslash boldsymbol\{\backslash theta\})\; +\backslash gamma\; \backslash |\backslash theta\backslash |^2.\backslash )\$$

Plus la valeur du paramètre $\$\backslash (\backslash gamma\backslash )\$$ (decay) est importante et moins les poids des entrées des neurones peuvent prendre des valeurs chaotiques, contribuant ainsi à limiter les risques de surapprentissage.

Choix des paramètres

L'utilisateur doit donc déterminer :

• les variables d'entrée et la variable de sortie et leur faire subir, comme pour toutes méthodes statistiques, d'éventuelles transformations, normalisations ;

• l'architecture du réseau : le nombre de couches cachées qui correspond à une aptitude à traiter des problèmes de non-linéarité, le nombre de neurones par couche cachée. Ces deux choix conditionnent directement le nombre de paramètres (de poids) à estimer et donc la complexité du modèle. Ils participent à la recherche d'un bon compromis biais/variance, c'est-à-dire à l'équilibre entre qualité d'apprentissage et qualité de prévision ;

• trois autres paramètres interviennent également sur ce compromis : le nombre maximum d'itérations, l'erreur maximum tolérée et un terme éventuel de régularisation ridge (decay) ;

• le taux d'apprentissage ainsi qu'une éventuelle stratégie d'évolution de celui-ci ;

• la taille des ensembles ou batchs d'observations considérés à chaque itération.

En pratique, tous ces paramètres ne peuvent être réglés simultanément par l'utilisateur. Celui-ci est confronté à des choix concernant principalement le contrôle du surapprentissage : limiter le nombre de neurones ou la durée d'apprentissage, ou encore augmenter le coefficient de pénalisation de la norme des paramètres. Ceci nécessite de déterminer un mode d'estimation de l'erreur : échantillon validation ou test, validation croisée ou bootstrap.

Remarques

Les champs d'application des perceptrons multicouches (PMC) sont très nombreux : discrimination, prévision d'une série temporelle, reconnaissance de forme... Ils sont en général bien explicités dans les documentations des logiciels spécialisés.

Les critiques principales énoncées à l'encontre du PMC concernent les difficultés liées à l'apprentissage (temps de calcul, taille de l'échantillon, localité de l'optimum obtenu) ainsi que son statut de boîte noire. En effet, contrairement à un modèle de discrimination ou un arbre, il est a priori impossible de connaître l'influence effective d'une entrée (une variable) sur le système dès qu'une couche cachée intervient. Néanmoins, des techniques de recherche de sensibilité du système à chacune des entrées permettent de préciser les idées et, éventuellement de simplifier le système en supprimant certaines des entrées.

En revanche, ils possèdent d'indéniables qualités lorsque l'absence de linéarité et/ou le nombre de variables explicatives (images) rendent les modèles statistiques traditionnels inutilisables. Leur flexibilité, par l'introduction de couches spécifiques en apprentissage profond, alliée à une procédure d'apprentissage intégrant la pondération (le choix) des variables comme de leurs interactions, peuvent les rendre très efficaces.