*

Distillation de connaissances à partir de modèle d'apprentissage des propriétés de transport des matériaux

Offre de thèse

Distillation de connaissances à partir de modèle d'apprentissage des propriétés de transport des matériaux

Date limite de candidature

30-05-2025

Date de début de contrat

01-10-2025

Directeur de thèse

D'AQUIN MATHIEU

Encadrement

Thèse co-encadré entre le LORIA, dans l'équipe MosAIk dédié à l'intelligence artificielle, et le LEMTA en science des matériaux.

Type de contrat

ANR Financement d'Agences de financement de la recherche

école doctorale

IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES

équipe

K

contexte

Cette thèse s'inscrit dans le cadre d'une chaire du cluster IA Enact sur l'IA pour la decouverte scientifique. Il s'agit d'une collaboration de long term entre le LORIA et le LEMTA de Nancy.

spécialité

Informatique

laboratoire

LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications

Mots clés

extraction de connaissances, apprentissage automatique, science des matériaux, distillation de connaissances, apprentissage profond, modèles informés par la physique

Détail de l'offre

Différents types de modèles sont utilisés pour estimer et prédire les propriétés des matériaux à partir de leurs caractéristiques de niveau inférieur et de leur structure atomique. Ceux-ci incluent les modèles ab initio et basés sur la simulation, qui sont très coûteux en temps et en ressources de calcul, les modèles analytiques qui sont plus simples, mais plus approximatifs, et les modèles d'apprentissage automatique qui sont appris, soit à partir de données expérimentales, soit à partir de calculs ab initio. Les modèles analytiques ont l'avantage d'être hautement interprétables, étant exprimés sous forme de formules simples basées sur un petit nombre de descripteurs. Les modèles d'apprentissage automatique, de plus en plus basés sur des réseaux neuronaux profonds, y compris les réseaux neuronaux à base de graphes (GNN), ont démontré une grande précision mais manquent souvent d'interprétabilité. Par conséquent, la vérification, la révision et l'alignement de ces modèles avec les connaissances existantes sont difficiles, et les mécanismes sous-jacents à leur grande précision restent largement obscurs. L'objectif de cette thèse est de concevoir de nouvelles méthodes de distillation des connaissances, en s'appuyant sur des approches d'interprétabilité mécaniste pour les réseaux neuronaux, afin d'extraire des connaissances interprétables de ces modèles. Le but est de comprendre comment les modèles d'apprentissage automatique dans ce contexte calculent les descripteurs (y compris potentiellement ceux inconnus auparavant), comment ces descripteurs s'alignent sur les modèles existants, et comment ils peuvent être intégrés dans de nouveaux modèles analytiques qui soient à la fois plus précis et plus interprétables. Nous nous focaliserons en particulier sur les interactions phonon-phonon et phonon-électron à la base des propriétés de transport telles que la conductivité thermique.

Keywords

knowledge extraction, machine learning, material science, knowledge distillation, deep learning, physics informed models

Subject details

Many different types of models are used to estimate and predict the properties of materials from their lower level characteristics and their atomic structure. Those include complex models used in ab-initio, simulation-based models that are very costly in time and computational resources, analytical models that are simpler, but more approximative, and machine learning models that are learned, either from experimental data or from ab-initio computations. Analytical models have the advantage of being highly interpretable, being expressed as a simple formula based on a small number of descriptors. Machine learning models that are increasingly based on deep neural networks, including GNNs (graph neural networks) have been shown to be often more accurate, but cannot be understood. As a result, they are difficult to verify, revise and align with existing models, and the mechanism by which they achieved high accuracy while being relatively lightweight remains obscure. The objective of this PhD is to devise new methods for knowledge distillation, including through approaches for the mechanistic interpretability of neural networks, to extract interpretable knowledge from such models. The goal is to understand how machine learning models in this context compute descriptors, some of them possibly unknown, how those align with known models and how they could be combined into new analytical models that would be at the same time more accurate, and more interpretable. We will focus in particular on phonon-phonon and phonon-electron interactions that are at the foundation of transport properties such as thermal conductivity.

Profil du candidat

Profil fort en informatique, et/ou science des données, avec un intérêt pour l'apprentissage automatique et les approches de l'IA centrée connaissances. Un intérét et une appétence pour la physique des matériaux sont un plus.

Candidate profile

Strong competence in computer science and/or data science, with an interest in machine learning and approaches to knowledge-centric AI. An interest and some capabilities in material physics are welcome.

Référence biblio

Bereska, Leonard ; Gavves, Efstratios: Mechanistic Interpretability for AI Safety -- A Review, arXiv (2024). —arXiv:2404.14082 [cs]

d'Aquin, Mathieu: Finding Concept Representations in Neural Networks with Self-Organizing Maps. In: Proceedings of the 12th Knowledge Capture Conference 2023. Pensacola FL USA: ACM, 2023 —ISBN979-8-4007-0141-2, S.53–60

Jaafreh, Russlan ; Yoo Seong, Kang ; Kim, Jung-Gu ; Hamad, Kotiba: A deep learning perspective into the figure-of-merit of thermoelectric materials. In: Materials Letters Bd. 319 (2022), S.132299

Luo, Yufeng ; Li, Mengke ; Yuan, Hongmei ; Liu, Huijun ; Fang, Ying: Predicting lattice thermal conductivity via machine learning: a mini review. In: npj Computational Materials Bd. 9, Nature Publishing Group (2023), Nr.1, S.1–11

Nikolov, Andriy ; d'Aquin, Mathieu: Uncovering Semantic Bias in Neural Network Models Using a Knowledge Graph. In: Proceedings of the 29th ACM International Conference on Information & Knowledge Management. Virtual Event Ireland: ACM, 2020 —ISBN978-1-4503-6859-9, S.1175–1184

Rai, Daking ; Zhou, Yilun ; Feng, Shi ; Saparov, Abulhair ; Yao, Ziyu: A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models, arXiv (2024). —arXiv:2407.02646 [cs]

Seko, Atsuto ; Togo, Atsushi ; Hayashi, Hiroyuki ; Tsuda, Koji ; Chaput, Laurent ; Tanaka, Isao: Prediction of Low-Thermal-Conductivity Compounds with First-Principles Anharmonic Lattice-Dynamics Calculations and Bayesian Optimization. In: Physical Review Letters Bd. 115, American Physical Society (2015), Nr.20, S.205901

Srivastava, Yagyank ; Jain, Ankit: End-to-end material thermal conductivity prediction through machine learning. In: Journal of Applied Physics Bd. 134 (2023), Nr.22, S.225101