Modèles neuronaux de quantification vectorielle, apprentissage continu et distributions non-stationnaires

Mots clés

réseaux de neurones, quantification vectorielle, cartes auto-organisées, apprentissage continu

Détail de l'offre

Ce sujet fait partie du projet ANR SORLAHNA, dont les deux objectifs sont : 1) concevoir une méthodologie d'implantation matérielle suffisamment flexible pour des architectures neuronales versatiles de quantification vectorielle (VQ) topologique, sur la base d'un NoC (network on chip) capable d'instancier une topologie virtuelle dynamique sur un circuit programmable, et 2) définir des modèles de VQ topologique pour le recueil dynamique des données issues d'un réseau distribué de capteurs et destinées à un apprentissage machine. C'est sur ce second aspect que porte cette thèse.

Dans une première phase, l'étudiant analysera les différents algorithmes neuronaux de VQ topologique existants (SOM, NG), ainsi que leurs différentes variantes proposées en lien avec des données non stationnaires ou d'éventuelles implantations matérielles (DSOM, CSOM [4] , NP-SOM [5], PSOM [6], GNG, GWR, etc.). En interaction avec différents chercheurs et étudiants impliqués dans le projet Sorlahna, l'étudiant analysera le potentiel des méthodes de quantification vectorielle à traiter des problèmes de CL, en définissant notamment une première série de critères pour qualifier et quantifier les performances des algorithmes de VQ confrontés à un problème de CL (sur la base d'un ensemble prédéfini de situations artificielles contrôlées d'apprentissage continu). La plupart des travaux actuels sur le CL considèrent un problème dont la statistique est stationnaire, dont on pourrait extraire des échantillons de façon i.i.d, mais pour lesquels ces échantillons sont fournis, en pratique et pour des raisons techniques, de façon non i.i.d. L'exemple typique est celui d'une classification où l'on fournit au préalable les échantillons de certaines classes uniquement, puis les échantillons d'autres classes dans un second temps, alors que le but est bien de traiter un problème de classification sur toutes ces classes. Nos travaux visent à étendre le problème du CL à des cas où la statistique est intrinsèquement non-stationnaire, ce qui amène à considérer des problèmes dont la formalisation elle-même inclut une dimension temporelle. Les situations et critères issus de cette première phase devront donc être représentatifs de problèmes où le caractère non i.i.d. des données d'apprentissage est aussi bien dû au processus d'échantillonnage des données qu'à la distribution sous-jacente elle-même.

Dans une seconde phase, l'étudiant étudiera les méthodes et propriétés permettant de (ré)générer des données représentatives du problème à partir des seules informations issues de la VQ topologique. Cette question dépend directement de la capacité des modèles de VQ à 'bien' modéliser la densité de probabilité de l'espace d'entrée, mais elle devient plus complexe dans un contexte de CL et d'évolution dynamique de la distribution des données. La validation de la capacité (ré)générative de nos algorithmes de VQ topologique ouvrira la voie à la troisième phase des travaux, dans laquelle des protocoles de transmission dynamique des informations de VQ seront mis au point afin d'optimiser la récolte de données issues de capteurs physiquement distribués, lorsque l'information recherchée n'est pas la connaissance des valeurs exactes perçues, mais la connaissance de leur distribution, comme cela peut être le cas lors d'un apprentissage machine. Par ailleurs, la nature topologique de la VQ réalisée par nos modèles pourra être exploitée pour optimiser la transmission des informations décrivant les données perçues.
En résumé, cette thèse vise à généraliser le concept du Continual Learning au cas des distributions non-stationnaires pour les algorithmes de quantification vectorielle avec préservation de topologie, dans un contexte où cette généralisation doit être compatible avec une implémentation matérielle de ces algorithmes.