ENACT Apprentissage et suivi des distributions de données sous forme de graphes neuronaux pour l'apprentissage continu embarqué

Mots clés

réseaux de neurones, quantification vectorielle topographique, apprentissage continu, gaz neuronaux, distributions non stationnaires, compatibilité matérielle

Détail de l'offre

Ce sujet s'inscrit dans le cadre du projet ANR SORLAHNA, dont les objectifs sont : 1) concevoir une méthodologie d'implémentation matérielle flexible pour des architectures neuronales polyvalentes de quantification vectorielle topographique (QV), basée sur un NoC (réseau sur puce) capable d'instancier une topologie virtuelle dynamique sur un circuit programmable ; et 2) définir des modèles de QV topographique pour l'acquisition dynamique de données enregistrées à partir d'un réseau distribué de capteurs et destinées à l'apprentissage automatique. Cette thèse se concentre sur ce deuxième aspect.

L'étudiant analysera d'abord les différents algorithmes neuronaux de QV topographique existants (SOM, NG), ainsi que leurs différentes variantes proposées pour les données non stationnaires (DSOM, CSOM [4], NP-SOM [5], PSOM [6], GNG, GNG-T [7], GWR, etc.), dans le contexte de l'apprentissage continu (CL). La plupart des travaux actuels sur la CL considèrent un problème dont les statistiques sont stationnaires, mais pour lequel ces échantillons sont fournis de manière non i.i.d., comme par exemple quand on fournit d'abord des échantillons de certaines classes seulement, puis des échantillons d'autres classes dans un second temps, alors que l'objectif est de traiter un problème de classification sur toutes ces classes. Nous avons étendu le CL aux cas où les statistiques sont non stationnaires, ce qui conduit à considérer des problèmes où les données d'apprentissage sont fournies en ligne et extraites : 1) avec un processus d'échantillonnage non i.i.d., 2) à partir de distributions qui évoluent lentement. Nous avons proposé un formalisme pour ce CL étendu, définissant différents contextes d'apprentissage qui dérivent dans le temps. Nous étudions comment les modèles multi-VQ (chaque modèle apprend un contexte et s'adapte à ses changements) peuvent aborder des problèmes aussi complexes. Un aspect clé est de pouvoir identifier le contexte actuel à partir des données fournies en ligne. L'étudiant analysera les liens entre la distribution des données et la forme du graphe appris par les modèles de QV topographique, afin de définir des algorithmes capables de fournir une bonne estimation du contexte actuel ou de déterminer un nouveau contexte. Pour faire le lien avec l'objectif matériel du projet Sorlahna, cette étude devra prendre en compte la tolérance des algorithmes de QV topographique aux contraintes matérielles de codage arithmétique simplifié et de calcul à précision limitée. Si les SOM se sont avérées robustes à différents types de perturbations de calcul ([8]), cette robustesse devra être évaluée et étendue à la préservation de la forme du graphe appris pour les modèles de QV topographique que nous utilisons avec des données non stationnaires : le compromis fin entre stabilité et dynamicité requis pour le CL risque d'entrer en conflit avec la perte de capacité de réglage très fin inhérente à la réduction de la précision des calculs. L'étudiant étudiera ensuite les méthodes et propriétés permettant de (re)générer des données uniquement à partir des informations codées dans le graphe appris par QV topographique, ces données devant être statistiquement représentatives du problème ou du contexte. Cette question dépend directement de la capacité des modèles de QV à bien modéliser la densité de probabilité de l'espace d'entrée dans le cadre du CL étendu. Une fois la capacité de (re)génération de nos algorithmes de QV topographique validée, des protocoles de transmission dynamique des informations de QV seront définis afin d'optimiser l'acquisition de données à partir de capteurs physiquement distribués, lorsque l'information recherchée n'est pas la connaissance des valeurs exactes perçues, mais la connaissance de leur distribution, comme cela peut être le cas lors de tâches d'apprentissage automatique.