Jeudi 20 Octobre 2022 à 14h00, Jérémie Laydevant défendra sa thèse intitulée : “Apprentissage supervisé dans les systèmes physiques dynamiques binaires grâce à la minimisation de l’énergie”.
Résumé :
L’apprentissage profond permet d’atteindre des performances jusqu’alors inaccessibles, que ce soit pour de la classification d’images, de la compréhension de parole ou de la génération de texte. Ces performances ont été permises par l’utilisation conjointe de réseaux de neurones profonds et d’un algorithme d’optimisation qui calcule le gradient d’une fonction de coût globale calculée à la sortie du réseau (rétropropagation du gradient) qui permet de faire émerger une hierarchie de détection des caractéristiques de la donnée d’entrée. Cependant, l’entrainement des réseaux de neurones, dont le nombre de paramètres augmente de façon drama- tique, avec du matériel digital standard basé sur l’architecture Von Neumann est extrêmement inefficace d’un point de vue de la con- sommation énergétique puisque l’on doit continuellement transférer les valeurs des paramètres de la mémoire au processeur. Le calcul neuromorphique se pose en alternative basse consommation et rapide à ce matériel standard en proposant de rapprocher physiquement mémoire et éléments de calcul. Cependant, les implémentations matérielles manquent encore aujourd’hui d’algorithmes qui leur permettent d’atteindre les performances offertes par une optimisation basée sur le calcul du gradient d’une fonction de coût globale tout en évitant le surcoût énergétique dû aux circuits complexes qui réalisent la rétropropagation du gradient. Equilibrium Propagation (EP) est un algorithme d’apprentissage alternatif à la rétropropagation du gradient qui calcule le gradient d’une fonction de coût globale. EP per- met de réaliser les deux phases d’apprentissage : la phase d’inférence et la phase de rétro-propagation des erreurs grâce à la propriété des systèmes physiques qui évoluent vers leur état le plus probable qui est aussi celui d’énergie minimale. La règle d’apprentissage prescrite par EP est locale et fait d’EP un bon candidat pour entrainer des implémentations matérielles neuromorphiques sans gros surcoût énergétique. En pratique, aucune implémentation matérielles grande échelle entraînée par EP n’a encore été démontrée. En effet, les dispositifs émergents envisagés pour les implémentations sont encore expérimentaux et souffrent donc d’une forte variabilité qui empêche l’entrainement sur puce. Dans cette thèse nous démontrons que nous pouvons entrainer avec EP un réseau de neurones artificiels dont les poids synaptiques et la fonction d’activation des neurones sont binarisés. Ceci permet d’envisager d’utiliser les dispositifs émergents dans un régime binaire qui réduit de façon considérable leur variabilité et autorise un apprentissage sur puce. Ces résultats peuvent également permettre de concevoir une puce digitale standard dédiée pour l’entrainement de réseaux de neurones binaires sur des dispositifs portables. Nous démontrons ensuite que nous pouvons appliquer EP à un système physique dont la fonction d’énergie est hautement paramétrisable : une Machine d’Ising (MI). La MI de DWave, par le biais de l’algorithme de recuit quantique, minimise successivement l’énergie des deux phases d’EP. Nous avons réussi à entrainer une architecture entièrement connectée sur la MI. Nous tirons également parti de la connectivité de la puce pour réaliser des convolutions et montrons que l’on peut entrainer un réseau convolutionel sur la MI avec EP. Ces travaux ouvrent la voie à l’entrainement supervisé sur puce de systèmes physiques non-conventionnels en s’affranchissant et de la nature expérimentale de nano-dispositifs envisagés pour des implémentations basse-consommation et de l’implémentation physique réelle puisque EP est adapté à entrainer des architectures de réseaux de neurones qui s’adaptent au matériel ciblé.
