Collaboration opportuniste entre agents hétérogènes via l'IA générative
Opportunistic Collaboration among Heterogeneous Agents via Generative AI
Jury
Directeur de these_ABDALLAH_FAHED_Université de Lorraine
Rapporteur_THOMASSEY_Sébastien_École Nationale Supérieure des Arts et Industries Textiles (ENSAIT)
Rapporteur_FRANCIS_Clovis_École Nationale Supérieure d'Arts et Métiers (ENSAM)
Examinateur_SAIED_Majd_Université Libanaise
Examinateur_KACEM_Imed_Université de Lorraine
CoDirecteur de these_BLANSCHE_Alexandre_Université de Lorraine
Examinateur_MATTA_Nada_Université de Technologie de Troyes
école doctorale
IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
Laboratoire
LCOMS - Laboratoire de Conception, Optimisation et Modélisation des Systèmes
Mention de diplôme
Informatique
Amphithéâtre
11 Rue de l'Université, IUT Saint-Dié-des-Vosges, 88100, Saint-Dié-des-Vosges
Mots clés
Collaboration,Interaction Homme-Robot,IA Générative,LLM,Agents Hétérogènes,VLM
Résumé de la thèse
Cette thèse présente le développement d'un système d'agents intelligents hétérogènes i.e., une caméra et un robot, qui collaborent entre eux de façon opportuniste pour réaliser une mission. Ils sont introduits dans un environnement intérieur inconnu, sans informations préalables, et sans un protocole de communication prédéfini pour l'échange des données. Pour cette recherche, la mission considérée est de retrouver un objet perdu qui est présent dans le champ de vision de la caméra mais pas dans celui du robot, dans le contexte d'une maison intelligente.
Keywords
Collaboration,Human-Robot Interaction,Generative AI,LLM,Heterogeneous Agents,VLM
Abstract
The work presented in this thesis represents the development of a system of heterogeneous agents i.e., a camera and a robot, that collaborate in an opportunistic way to accomplish a mission. They are introduced in an unknown indoor environment without any prior knowledge of each other, and without a predefined communication protocol for data exchange. In our study, we choose an object retrieval mission in the context of a smart home. In this thesis, we focused on developing two main pipelines:
Establish an Unstructured Ontology between the agents in Natural Language, using Generative AI.
