Offre de thèse
Cartes auto-organisatrices sur circuit neuromorphique
Date limite de candidature
16-05-2024
Date de début de contrat
01-10-2024
Directeur de thèse
GIRAU Bernard
Encadrement
Comité de suivi individuel de thèse tel que défini par l'ED IAEM
Type de contrat
école doctorale
équipe
BISCUITcontexte
Parmi les différentes alternatives aux architectures de Von Neumann, les approches neuromorphiques bénéficient actuellement des récents succès du deep learning et de l'implication croissante des principaux fabricants de semi-conducteurs grâce à des puces neuromorphiques impressionnantes telles que l'IBM TrueNorth et les puces d'Intel Loihi et Loihi 2 ([1,2]). La puce Loihi 2 intègre par exemple un million de neurones impulsionnels et 120 millions de connexions synaptiques programmables. L'émergence de ces puces neuromorphiques est étroitement liée aux atouts que présentent les neurones dits de troisième génération pour des implantations matérielles. Ces neurones communiquent de manière temporelle par des impulsions, de façon directement inspirée par les potentiels d'action échangés par les neurones biologiques, permettant ainsi de transmettre l'information et de la traiter à la volée de façon asynchrone. Dans la même veine bio-inspirée, les caméras événementielles gagnent en popularité [3]. Les caméras événementielles comme DVS (Dynamic Vision Sensor) fonctionnent de manière analogue à la rétine en transmettant l'information sous forme d'impulsion uniquement lorsqu'un changement local de luminosité - au niveau du pixel - est détecté. Ce traitement asynchrone de l'information visuelle apporte de grands avantages : 1) une vitesse d'échantillonnage près d'un million de fois supérieure à celle des caméras standard, 2) une latence d'une microseconde et 3) une plage dynamique de 130 décibels (les caméras standards n'ont que 60 dB). Le tout pour une consommation énergétique significativement inférieure à celle des caméras standards.spécialité
Informatiquelaboratoire
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Mots clés
réseaux de neurones, cartes auto-organisatrices, circuits neuromorphiques
Détail de l'offre
Notre équipe de recherche étudie différents modèles de réseaux de neurones bio-inspirés, avec pour certains la perspective d'une implantation finale sur circuit neuromorphique. Nous avons notamment défini dans [4] une version impulsionnelle de cartes auto-organisatrices (SOM, self-organizing map), dont l'apprentissage est obtenu par une règle STDP (Spike-Timing Dependent Plasticity, [5]) déterminée de façon à coder l'information dans le temps des spikes et non dans leur fréquence. A l'instar des cartes de Kohonen ([6]), un modèle connu d'auto-organisation inspiré du cortex, nos SOM impulsionnelles permettent une quantification vectorielle non supervisée de données dans laquelle les prototypes s'organisent selon des règles de voisinage pré-fixées. Les cartes auto-organisatrices impulsionnelles sont au coeur de cette thèse. L'objectif est de les adapter et de les enrichir de manière à les exploiter dans un contexte neuromorphique notamment lié à l'architecture Intel Loihi. Différents aspects doivent être traités.
1- Prise en compte de stimuli neuromorphiques directs : le codage temporel utilisé dans notre modèle actuel de SOM traduit des réels en spikes. Avec l'avènement des caméras événementielles, il faut prendre en compte des stimuli directement fournis sous la forme d'impulsions non contrôlées. Ces caméras étant avant tout sensibles aux mouvements, on peut par exemple étudier comment en extraire le flot optique au travers du codage temporel et de l'apprentissage que nous avons définis.
2- Même si la puce Loihi propose un apprentissage programmable des poids synaptiques basé sur la STDP, les règles que notre modèle utilise ne peuvent pas être directement exprimées dans le modèle de calcul Loihi. Par conséquent de nombreuses adaptations devront être proposées pour aboutir à des SOM impulsionnelles implantables sur ce circuit neuromorphique, avec l'objectif final de le coupler directement avec des caméras événementielles.
Différentes caméras impulsionnelles ainsi qu'un accès aux plateformes de développement Loihi et Loihi 2 (au travers d'un accord avec Intel) seront à disposition pour la poursuite de ces recherches.
Keywords
neural networks, self-organizing maps, neuromorphic circuits
Subject details
Our research team is studying different models of bio-inspired neural networks, some of which being designed with the perspective of a final implantation on a neuromorphic circuit. In particular, we have defined in [4] a spiking version of self-organizing maps (SOM), whose learning is obtained by a STDP rule (Spike-Timing Dependent Plasticity, [5]) that we have defined in order to encode the information in time of the spikes and not in their frequency. Like Kohonen maps ([6]), a known model of self-organization inspired by the cortex, our spiking SOMs perform unsupervised vector quantization of data in which prototypes organize themselves according to predefined neighborhood rules. Spiking self-organizing maps are at the heart of this thesis. The objective is to adapt and enrich them in order to exploit them in a neuromorphic context, in particular related to the Intel Loihi architecture. Different aspects need to be addressed. 1- Taking into account direct neuromorphic stimuli: the temporal coding used in our current SOM model translates real numbers into spikes. With the advent of event cameras, it is necessary to take into account stimuli that are directly delivered in the form of uncontrolled spikes. These cameras being above all sensitive to movements, we can for example study how to extract the optical flow through the temporal coding and learning that we have defined. 2- Even though the Loihi chip includes a programmable STDP learning of each synaptic weight, the rules that our model uses cannot be directly expressed in the Loihi computational model. Consequently, many adaptations will have to be proposed to achieve the implementation of spiking SOMs on such neuromorphic circuit, with the final objective of coupling it directly with event cameras. Various event cameras as well as an access to the Loihi and Loihi 2 development platforms (through an agreement with Intel) will be available for this research project.
Profil du candidat
Le candidat doit avoir l'équivalent d'un Master en informatique, de préférence dans une spécialité liée à l'intelligence artificielle et/ou au calcul numérique distribué. Une connaissance adéquate de la conception de circuit numérique sera prise en compte, ainsi qu'une expérience solide en conception logicielle. D'éventuels travaux déjà réalisés autour du calcul neuromorphique seront un atout important. Le candidat doit parler couramment l'anglais et/ou le français.
Candidate profile
The candidate should have the equivalent of a Master in Computer Science, preferably in a specialty related to artificial intelligence and/or distributed numerical computation. Adequate knowledge of digital hardware design will be assessed, as well as a solid experience in software design. Any work already done in the field of neuromorphic computing will be an important asset. The candidate must be fluent in English and/or French.
Référence biblio
[1] M. Davies, N. Srinivasa, T.-H. Lin, Tsung-Han, G. Chinya, Y. Cao, S.H. Choday, G. Dimou, P. Joshi, N. Imam, S. Jain, Y. Liao, C.-K. Lin, A. Lines, R. Liu, D. Mathaikutty, S. McCoy, A. Paul, J. Tse, G. Venkataramanan, Y.H. Weng,A. Wild, Y. Yang and H. Wang. Loihi : A Neuromorphic Manycore Processor with On-Chip Learning. IEEE Micro, 38 (1), 2018.
[2] https://www.intel.com/content/www/us/en/research/neuromorphic-computing.html
[3] G. Gallego, T. Delbruck, G. Orchard, C. Bartolozzi, B. Taba and A. Censi, S. Leutenegger, A. Davison, J. Conradt, K. Daniilidis, D. Scaramuzza. Event-Based Vision : A Survey. IIEEE Transactions on Pattern Analysis and Machine Intelligence , 2020.
[4] A. Fois and B. Girau. A Spiking Neural Architecture for Vector Quantization and Clustering. 27th International Conference on Neural Information Processing (ICONIP), 2020.
[5] Markram, H., Lubke, J., Frotscher, M., and Sakmann, B. (1997). Regulation of synaptic efficacy ¨ by coincidence of postsynaptic APs and EPSPs. Science, 275(5297) :213–215.
[6] T. Kohonen. The self-organizing map. Neurocomputing, 21(1-3), 1998.