Modèles neuronaux auto-organisateurs et implantation matérielle pour l'apprentissage continu.

Mots clés

réseaux de neurones, cartes auto-organisatrices, FPGA

Détail de l'offre

Ce sujet se situe à l'intersection des deux objectifs du projet ANR SORLAHNA : 1) concevoir une méthodologie d'implantation matérielle suffisamment flexible pour des architectures neuronales versatiles de quantification vectorielle (VQ) topologique, sur la base d'un NoC (network on chip) capable d'instancier une topologie virtuelle dynamique sur un circuit programmable, et 2) définir des modèles de VQ topologique pour le recueil dynamique des données issues d'un réseau distribué de capteurs dans la perspective d'un apprentissage machine basé sur ces données.
L'étudiant étudiera d'abord les différents algorithmes neuronaux de VQ topologique existants (SOM, NG), ainsi que leurs nombreuses variantes proposées en lien avec des données non stationnaires ou d'éventuelles implantations matérielles (DSOM, CSOM [4] , NP-SOM [5], PSOM [6], GNG, GWR, etc.).
La première contribution attendue de la thèse sera l'étude de la tolérance de tous ces modèles à la plus classique des contraintes d'implantation matérielle : le calcul en précision limitée. Si les SOM ont une robustesse avérée par rapport à différents types de perturbation des calculs ([7]), cette robustesse devra être évaluée avec des calculs en virgule fixe à précision faible pour tous les modèles utilisés dans le projet, et dans le contexte très spécifique de l'apprentissage continu et des données non-stationnaires : le compromis assez fin entre stabilité et dynamicité requis dans de tels contextes risque de se heurter à la perte de nuance inhérente à la réduction de la précision des calculs. Cette étude, bien qu'elle prenne en compte des considérations d'implantation matérielle, se fera intégralement par simulation logicielle et à l'aide de critères permettant de quantifier les performances des algorithmes de VQ sur la base de situations artificielles contrôlées d'apprentissage continu. Ces critères sont en cours d'élaboration au sein du projet SORLAHNA.
La seconde contribution attendue concernera les communications induites par les calculs des différents modèles de VQ topologique étudiés lorsque les graphes neuronaux correspondants sont instanciés sur le NoC en cours de conception à l'IJL. Si en théorie tous les graphes neuronaux dynamiques peuvent être virtualisés sur un tel NoC, cela se fera parfois au détriment de l'efficacité des protocoles de communication. Il sera nécessaire de modéliser les flux de messages échangés par les neurones dans ces différents modèles, ainsi que les effets de leur gestion par le NoC. Si des goulots d'étranglement sont identifiés, de nouvelles stratégies de placement des neurones ou de nouvelles architectures neuronales de VQ topologique pourront être proposés de manière à privilégier des calculs locaux et des règles d'apprentissage ne dépendant pas de mécanismes globaux, y compris pour déterminer l'évolution dynamique de la topologie sous-jacente dans le cas de l'apprentissage continu et des données non stationnaires.
Enfin, une dernière contribution portera sur l'impact que les mécanismes de quantification vectorielle dynamique peuvent avoir sur des architectures SOM multi-cartes embarquées, en termes d'équilibrage dynamique des ressources. Il s'agira d'étudier comment de telles approches de VQ dynamique peuvent permettre d'échanger continûment les ressources neuronales entre les cartes (avec une quantité totale constante de ressources matérielles). Ce travail apportera un point de vue original sur des modèles associatifs tels que les les cartes consensus (CxSOM [8]) ou des architectures profondes de SOM pour la VQ résiduelle dans un cadre d'implémentation matérielle contraint. Différents critères quantitatifs devront être déterminés pour mesurer l'apport des algorithmes dynamiques en termes de qualité des résultats d'apprentissage, de vitesse de convergence et de capacité à traiter des données non stationnaires.