Offre de thèse
ENACT - Commande tolérante aux défauts des systèmes dynamiques basée sur les données et augmentée par l'IA
Date limite de candidature
28-04-2025
Date de début de contrat
03-11-2025
Directeur de thèse
YAME Joseph
Encadrement
Co-Encadrant : JAIN Tushar Modelling and Intelligent Control (MIC) Laboratory, School of Computing and Electrical Engineering, Indian Institute of Technology (IIT), Mandi
Type de contrat
école doctorale
équipe
CID - Contrôle - Identification - Diagnosticcontexte
This thesis proposal is a cotutelle PhD thesis between the University of Lorraine and the Indian Institute of Technology--(IIT), Mandi. The CRAN Research Team is the Data-Driven Modeling, Control, and Decision Making (DATA) Project of the CID Department. The CID department specializes in advanced methodologies for the modeling, identification, diagnosis, and fault-tolerant control of dynamic systems. The Indian research team is the ‘Modelling and Intelligent Control' group led by Prof. Tushar Jain of the Department of Automation and Control at IIT, Mandi. ENACT acknowledgment : 'This PhD offer is provided by the ENACT AI Cluster and its partners. Find all ENACT PhD offers and actions on https://cluster-ia-enact.ai/.'spécialité
Automatique, Traitement du signal et des images, Génie informatiquelaboratoire
CRAN - Centre de Recherche en Automatique de Nancy
Mots clés
Data-driven control, machine learning, optimal control, fault tolerance, reinforcement learning, energy efficiency
Détail de l'offre
Les progrès récents de la puissance de calcul et le développement d'analyses de données robustes ont revitalisé l'utilisation d'approches basées sur les données [3,4,5] dans le contrôle de systèmes dynamiques complexes. S'appuyant sur les travaux pionniers en matière de contrôle tolérant aux fautes (FTC) [1, 2] et sur la formulation du contrôle prédictif via la théorie des systèmes comportementaux [6, 7, 8], ce projet propose de fusionner la FTC classique pilotée par les données avec les techniques d'intelligence artificielle (IA) les plus récentes [12]. L'objectif est de développer des structures de contrôle adaptatif des défauts pour les systèmes dynamiques en intégrant des stratégies d'apprentissage par renforcement (RL) [9] avec des méthodes de réduction de la dimensionnalité, et avec des applications spécifiques ciblées sur les systèmes CVC (chauffage, ventilation et conditionnement d'air) des bâtiments multizones [10,11] comme plate-forme de validation pratique.
Les principaux problèmes ou questions de recherche concernant l'objectif ci-dessus peuvent être décomposés comme suit :
1) Comment concevoir des mécanismes de détection des défaillances et des contrôleurs basés sur la logique d'apprentissage par renforcement (RL) qui peuvent s'adapter aux défaillances abruptes et naissantes dans les systèmes dynamiques ?
2) Comment intégrer des méthodes de réduction de la dimensionnalité pour traiter des données de capteurs à haute dimension afin de diagnostiquer efficacement les défauts et la tolérance aux défauts ?
3) Comment concevoir des schémas d'apprentissage double où l'agent RL apprend à la fois la politique de contrôle et la stratégie de tolérance aux fautes simultanément en temps réel ?
4) Comment relever le défi majeur de la stabilité et de la robustesse des techniques de contrôle basées sur l'IA qui sont mathématiquement critiques en ce qui concerne les garanties rigoureuses sur la délimitation des trajectoires du système, les propriétés de convergence et la résilience de la politique de contrôle en cas de perturbations et de défaillances ?
La nature générique des résultats attendus devrait permettre de les appliquer à une large gamme de systèmes. En particulier, les résultats seront validés sur la nouvelle plateforme Eco-sûr du CRAN, dédiée aux problèmes de contrôle pour l'efficacité énergétique des bâtiments. La plateforme est équipée d'un grand nombre de systèmes de mesure qui fournissent des données sur une large gamme de variables relatives aux conditions climatiques intérieures et extérieures dans les bâtiments. Les résultats validés mettront notamment en évidence la manière dont l'IA peut exploiter de grands volumes de données en temps réel pour prendre des décisions plus éclairées et dont les systèmes basés sur l'IA peuvent optimiser le confort intérieur (température, humidité, qualité de l'air) tout en minimisant la consommation d'énergie, car cet équilibre est crucial pour créer des bâtiments durables qui sont à la fois respectueux de l'environnement et économiquement viables, tout en soutenant les avantages écologiques à long terme.
Keywords
commande basée données, apprentissage machine, commande optimale, tolérance aux fautes, apprentissage par renforcement, efficacité énergétique
Subject details
Recent advances in computing power and the development of robust data analytics have revitalized the use of data-driven approaches [3,4,5] in the control of complex dynamical systems. Building on the pioneering works in fault-tolerant control (FTC) [1, 2] and the formulation of predictive control via behavioral system theory [6,7,8], this project proposes to merge classical data-driven FTC with state-of-the-art artificial intelligence (AI) techniques [12]. The objective is to develop fault adaptive control schemes for dynamical systems by integrating reinforcement learning (RL) [9] strategies with dimensionality reduction methods, with specific applications targeted toward multi-zone building HVAC systems [10,11] as a practical validation platform. The main issues or research questions with regards to the above objective can be broken down as follows: 1) How to design RL-based fault detection mechanisms and controllers that can adapt to both abrupt and incipient faults in dynamical systems ?. 2) How to integrate dimensionality reduction methods to handle high-dimensional sensor data for effective fault diagnosis and fault tolerance ?. 3) How to design dual learning schemes where the RL agent learns both the control policy and the fault-tolerant strategy simultaneously in real-time ?. 4) How to address the key challenge for ensuring the stability and robustness of AI-based control techniques that are mathematically critical with respect to rigorous guarantees on the boundedness of system trajectories, convergence properties, and the resilience of the control policy under disturbances and faults ? The generic nature of the expected results should enable them to be applied to a wide range of systems. In particular, the results will be validated on CRAN's newly-built Eco-sûr platform, dedicated to control issues for the Energy Efficiency of Buildings. The platform is equipped with a large number of measurement systems that provide data on a wide range of variables relating to indoor and outdoor climatic conditions in buildings. In particular, the validated results will highlight how AI can harness large volumes of real-time data to make more informed decisions and how AI-based systems can optimize indoor comfort (temperature, humidity, air quality) while minimizing energy use as this balance is crucial for creating sustainable buildings that are both eco-friendly and economically viable, supporting long-term ecological benefits. Research Plan and Expected Outcomes: Building on the core objectives, the project will follow a streamlined research plan focused on : - In the initial phase, a state-of-the-art of the artificial intelligence (AI) techniques will be performed with a focus on Control Theory. - Then, theoretical tools will be developed for AI-augmented control architecture that unifies behavioral system theory with modern Reinforcement Learning algorithms. These tools should be able to harness nominal system trajectories as well as real time faulty behaviors. - The next phase involves implementing this framework in a simulation environment using Python and MATLAB/Simulink, where its performance will be rigorously evaluated under a range of fault scenarios. Real-world experiments will then be conducted on the Eco-sûr platform to validate the approach's effectiveness in enhancing energy efficiency and fault resilience in multi-zone building Heating Ventilation and Air-Conditioning systems.
Profil du candidat
Le candidat doit avoir :
- Une solide expérience en théorie du contrôle, en algèbre linéaire et en apprentissage automatique.
- Maîtrise des techniques de contrôle pilotées par les données et une certaine familiarité avec la théorie des systèmes comportementaux.
- une expérience de l'apprentissage par renforcement et des méthodologies de réduction de la dimensionnalité
- Bonne connaissance et compétences en programmation Python et MATLAB/Simulink pour la simulation et la mise en œuvre en temps réel.
- Avoir de trsè bonnes compétences en communication écrite et orale
- Un diplôme de Master en théorie du contrôle, en automatisation, en mathématiques appliquées ou dans une discipline connexe.
Candidate profile
The candidate must have:
- A strong background in Control Theory, Linear Algebra and Machine learning
- Proficiency in data-driven control techniques and some familiarity with behavioral system theory
- Experience with reinforcement learning and dimensionality reduction methodologies
- Good knowledge and programming skills in Python and MATLAB/Simulink for both simulation and real-time implementation
- Have exceptional written and verbal communication skills
- A Master's degree in Control Theory, Automation, Applied Mathematics, or a related discipline
Référence biblio
[1] T. Jain, J.J Yamé, and D. Sauter. Active Fault-Tolerant Control Systems: A Behavioral System Theoretical Perspective. Studies in Systems, Decision and Control 128, Springer, 2018.
[2] T. M. Maupong and P. Rapisarda. “Data-driven control: A behavioral approach”. Systems and Control Letters, 101 (2017).
[3] H. J van Waarde et al. Data Informativity: A New Perspective on Data-Driven Analysis and Control. IEEE Trans. on Automatic Control, 65(11), 2020.
[4] C. De Persis and P. Tesi. Formulas for Data-Driven Control: Stabilization, Optimality, and Robustness. IEEE Trans. on Automatic Control, 65(3), 2020.
[5] J.C Willems et al. A Note on Persistence of Excitation. Systems and Control Letters, 54(4), 2005.
[6] J. Coulson, J. Lygeros, and F. Dörfler. Data-Enabled Predictive Control: In the Shallows of the DeePC. ECC, 2019.
[7] J. Berberich et al. Data-Driven Model Predictive Control With Stability and Robustness Guarantees. IEEE Trans. on Automatic Control, 66(4), 2021.
[8] L. Huang et al. Decentralized Data-Enabled Predictive Control for Power System Oscillation Damping. IEEE Trans. on Control Systems Technology, 30(3), 2022.
[9] R. S. Sutton and A. G. Barto. Reinforcement Learning: An Introduction. MIT Press, 2018.
[10] J.J. Yamé, H. Jamouli, Frédéric Hamelin, Mayank Jha, Data-driven Linear Quadratic Control Using Q-Learning (To be presented at the American Control Conference, Denver, USA, July, 2025)
[11] Xu, S., Fu, Y., Wang, Y. et al. Efficient and assured reinforcement learning-based building HVAC control with heterogeneous expert-guided training. Sci Rep 15, 7677 (2025)
[12] S. L. Brunton, J. N. Kutz, Data-Driven Science and Engineering : Machine Learning, Dynamical Systems, and Control, 2nd Edition, Cambridge University press, 2022