Offre de thèse
ENACT Apprentissage auto-supervisé efficace et interprétable par des méthodes tensorielles
Date limite de candidature
01-08-2025
Date de début de contrat
01-10-2025
Directeur de thèse
BRIE David
Encadrement
Réunions de travail hebdomadaires.
Type de contrat
école doctorale
équipe
BioSIS : Biologie, Signaux et Systèmes en Cancérologie et Neurosciencescontexte
L'apprentissage auto-supervisé a joué un rôle central dans les progrès récents en IA, en permettant d'exploiter de vastes quantités de données non-étiquetées pour apprendre des représentations réutilisables dans diverses tâches. Cependant, la compréhension de leurs propriétés, notamment de leur stabilité et de leur interprétabilité, reste un défi majeur. Ce problème est particulièrement crucial lorsque les données sont hétérogènes ou de petite taille, comme en apprentissage fédéré ou lors de l'adaptation ou de la spécialisation de modèles pré-entraînés. Les décompositions tensorielles de rang faible offrent un cadre théorique prometteur pour étudier les modèles existants et concevoir de nouvelles architectures ainsi que des algorithmes d'apprentissage plus efficaces.spécialité
Automatique, Traitement du signal et des images, Génie informatiquelaboratoire
CRAN - Centre de Recherche en Automatique de Nancy
Mots clés
Apprentissage auto-supervisé, Décompositions tensorielles, Représentations démêlées, IA Interpretable, Apprentissage fédéré, Modèles de rang faible
Détail de l'offre
L'apprentissage auto-supervisé a joué un rôle central dans les progrès récents en IA et dans ce que l'on appelle les modèles de fondation, permettant d'exploiter de grandes quantités de données non-étiquetées (texte, image, vidéo, etc.) pour apprendre des représentations qui peuvent ensuite être adaptées pour diverses tâches de prédiction ultérieures [1,2]. Cependant, malgré l'importance pratique de ces approches, la compréhension des performances des représentations apprises reste une question ouverte. Cette question est intimement liée à la capacité d'apprentissage des représentations démêlées [3], y compris l'influence des choix d'architecture sur leur stabilité. En particulier, la réponse aux questions suivantes a un impact direct sur des applications critiques de l'IA :
• dans quelles conditions les représentations apprises sont-elles interprétables, et quelle est l'influence de l'architecture et de la méthode d'apprentissage sur leur stabilité et sur la performance des tâches en aval, en particulier si l'on considère la spécialisation sur des ensembles de données petits ?
• comment se comportent-elles face à des données hétérogènes (par exemple, personnalisées ou dont les distributions statistiques ne sont pas identiques dans tous les ensembles de données), ce qui est fréquent dans les applications médicales, en particulier dans le cadre de l'apprentissage fédéré ?
• Dans quelles conditions des modèles plus petits (avec un impact carbone plus faible) peuvent-ils obtenir de bonnes performances pour des tâches spécialisées ?
Objectifs : Pour relever ces défis, ce projet vise à : 1) étudier les aspects théoriques des représentations construites par des approches d'apprentissage auto-supervisé (et faiblement supervisé), qui se rapportent à leurs propriétés d'unicité, et, sur la base de ces résultats théoriques, 2) développer de nouvelles approches d'apprentissage auto-supervisé et non-supervisé assurant leur stabilité et interprétabilité même dans des conditions difficiles et sur des données hétérogènes. Un intérêt particulier sera porté au développement de petits modèles à faible consommation énergétique et impact environnemental réduit pour effectuer des tâches spécialisées, y compris, par exemple, l'adaptation efficace de grands modèles pré-entraînés (comme dans les travaux de LoRA [4]), et la compréhension de leur interaction avec les grands modèles généralistes.
Ces objectifs seront atteints en exploitant les connexions entre les modèles d'IA (par exemple, les réseaux neuronaux) et les décompositions tensorielles (multicouches) de rang faible [5,6,7], qui fournissent un cadre mathématique rigoureux pour développer des nouveaux algorithmes et architectures et pour comprendre leur comportement. Ces techniques seront validées sur des applications d'IA difficiles, telles que la séparation de différents processus cérébraux dans des données de résonance magnétique fonctionnelle dans un cadre d'apprentissage fédéré [8], ou l'analyse d'images hyperspectrales/de télédétection provenant de plusieurs scènes [9].
Keywords
Self-supervised learning, Tensor decompositions, Disentangled representations, Interpretability in AI, Federated learning, Low-rank models
Subject details
Self-supervised learning has been one of the main pillars of recent progress in AI and in the so-called foundation models, allowing algorithms to leverage large amounts of unlabeled data (text, image, video, etc.) to learn representations that can later be adapted to different predictive (downstream) tasks [1,2]. However, despite the practical importance of such approaches, understanding the performance of learned representations is still an open question. This is intimately linked to the learnability of disentangled representations [3], including the influence of architecture choices on their stability. In particular, answering the following key questions has direct impact on critical AI applications: • when can learned representations be interpreted, and what is the influence of architecture and learning method on both their stability and on the performance of downstream tasks, especially on considering specialization over small or heterogeneous datasets? • how do they perform on heterogeneous (e.g., personalized, or whose statistical distributions is not identical across all datasets) data, which is common in medical applications, in particular, in the framework of federated learning? • under which conditions can smaller models (with lower carbon impact) perform well on specialized tasks? Goals: To tackle these challenges, in this project we aim to: 1) study the theoretical aspects of representations constructed by self-supervised (and weakly supervised) learning approaches, which relates to their disentanglement properties, and, based on these theoretical findings, 2) develop new approaches to self-supervised and unsupervised learning guaranteeing stability and interpretability of latent representations under challenging conditions and heterogeneous datasets. Particular interest will be given on developing small models (with low energy and environmental/carbon footprint) to perform in specialized tasks, including, for example, the efficient adaptation of large pretrained models (as in LoRA works [4]), and understanding their interplay and links with large generalist (foundation) models. These objectives will be achieved by leveraging connections between AI models (e.g., neural networks) and (multilayer) low-rank tensor decompositions [5,6,7], which supply a rigorous mathematical framework to develop new algorithms and model architectures and to understand their behavior. These techniques will be validated on challenging AI applications, such as the separation of different brain processes in functional magnetic resonance data in a federated learning setting [8], or cross-scene hyperspectral/remote sensing image analysis [9].
Profil du candidat
Étudiant.e en MASTER (niveau bac + 5), compétences dans le traitement du signal, IA, et/ou mathématiques appliquées. Une solide formation en mathématiques est requise. Bonne capacité de communication en anglais.
Candidate profile
Master degree or equivalent, with experience in one or more of the following fields: signal processing, machine learning, applied mathematics. A strong mathematical background and good communication skills in English are required.
Référence biblio
[1] X. Liu, F. Zhang, Z. Hou, L. Mian, Z. Wang, J. Zhang, and J. Tang, “Self-supervised learning: Generative or contrastive,” IEEE transactions on knowledge and data engineering, vol. 35, no. 1, pp. 857–876, 2021.
[2] K. He, X. Chen, S. Xie, Y. Li, P. Doll´ar, and R. Girshick, “Masked autoencoders are scalable vision learners,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 16000–16009, 2022.
[3] X. Wang, H. Chen, Z. Wu, W. Zhu, et al., “Disentangled representation learning,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024.
[4] E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, W. Chen, et al., “Lora: Low-rank adaptation of large language models.,” ICLR, vol. 1, no. 2, p. 3, 2022.
[5] R. A. Borsoi, K. Usevich, D. Brie, and T. Adali, “Personalized coupled tensor decomposition for multimodal data fusion: Uniqueness and algorithms,” IEEE Transactions on Signal Processing, 2024.
[6] Y. Panagakis, J. Kossaifi, G. G. Chrysos, J. Oldfield, M. A. Nicolaou, A. Anandkumar, and S. Zafeiriou, “Tensor methods in computer vision and deep learning,” Proc. IEEE, vol. 109, no. 5, pp. 863–890, 2021.
[7] A. Cichocki, A.-H. Phan, Q. Zhao, N. Lee, I. Oseledets, et al., “Tensor networks for dimensionality reduction and large-scale optimization: Part 2 applications and future perspectives,” Foundations and Trends in Machine Learning, vol. 9, no. 6, pp. 431–673, 2017.
[8] B. J. Casey, T. Cannonier, M. I. Conley, A. O. Cohen, D. M. Barch, M. M. Heitzeg, M. E. Soules, T. Teslovich, D. V. Dellarco, H. Garavan, et al., “The adolescent brain cognitive development (ABCD) study: imaging acquisition across 21 sites,” Developmental cognitive neuroscience, vol. 32, pp. 43–54, 2018.
[9] M. Ye, Y. Qian, J. Zhou, and Y. Y. Tang, “Dictionary learning-based feature-level domain adaptation for cross-scene hyperspectral image classification,” IEEE Transactions on Geoscience and Remote Sensing, vol. 55, no. 3, pp. 1544–1562, 2017.