Bonjour

je débute en science des données, j'essaye de comprendre la rétro-propagation 

c'est ce que j'ai compris, est ce que c'est correct ?

merci

Je n'y connais rien, mais j'ai trouvé ceci, en espérant que ça va t'aider:

https://www.theses.fr/1993PA066200

Oui c'est bien ça, mais il y a moyen de beaucoup simplifier l'expression en la découpant en plusieurs parties.

Cette forme est aussi beaucoup plus performante au niveau algorithmique puisqu'on calcul l'erreur d'une couche en fonction de l'erreur de la couche suivante (la couche vers la droite) c'est pour ça que ça s'appelle la "rétro-propagation" du gradient.

Bien sur il y a moyen de découper davantage pour optimiser encore plus le temps de calcul :

Et on peut même expliciter la plupart des dérivées, par exemple

Ou alors en remarquant que W n'est connecté qu'au premier nœud de la couche (l-2) donc que

J'espère que je n'ai pas fait d'erreur, si quelqu'un en voit une n'hésitez pas à me corriger.

-
Edité par WatashiGaKita 8 février 2022 à 14:07:19

Aux éventuels futurs mystifiés de la retro-propagation...

Je vous conseille cette vidéo "Backpropagation calculus | Chapter 4, Deep learning" de 3Blue1Brown :

https://www.youtube.com/watch?v=tIeHLnjs5U8

ainsi que l'intégralité des cours d'Andrew Ng sur c***<$%$ HACK DU MODERATEUR interdit de citer un concurrent d'OOC sur ses propres forums>***.com

-
Edité par ChristopheNaciri 17 mai 2022 à 15:22:44