Offre de thèse
Diffusion pour l'apprentissage de politiques de manipulation en robotique
Date limite de candidature
30-11-2027
Date de début de contrat
01-12-2024
Directeur de thèse
MOURET Jean-Baptiste
Encadrement
Réunion hebdomadaire + réunions plus nombreuses quand c'est nécessaire.
Type de contrat
école doctorale
équipe
LARSENcontexte
Dans le cadre d'un parternariat entre Inria et le groupe La Poste, notre équipe cherche à tirer parti des nouvelles techniques d'intelligence artificielle générative pour permettre à un robot de saisir et manipuler des sacs de courrier, de taille et de poids variable. Cet objectif est complexe car les sacs combinent de nombreux défis : ils sont souples, n'ont pas de forme définie, et sont le plus souvent organisés en tas (et non pas empilés comme des boites).spécialité
Informatiquelaboratoire
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Mots clés
robotique, intelligence artificielle
Détail de l'offre
Dans le cadre d'un parternariat entre Inria et le groupe La Poste, notre équipe cherche à tirer parti des nouvelles techniques d'intelligence artificielle générative pour permettre à un robot de saisir et manipuler des sacs de courrier, de taille et de poids variable. Cet objectif est complexe car les sacs combinent de nombreux défis : ils sont souples, n'ont pas de forme définie, et sont le plus souvent organisés en tas (et non pas empilés comme des boites).
Nous souhaitons nous appuyer sur les techniques de diffusion [1] qui permettent d'apprendre des politiques conditionnées par des images à partir de démonstrations. Ces techniques s'appuient sur des idées similaires à celles utilisées pour générer des images (Dall-E, MidJourney, etc.) mais pour générer des trajectoires.
L'objectif de cette thèse sera de (1) évaluer les techniques actuelles dans ce contexte et (2) proposer des améliorations des techniques de diffusion pour leur permettre d'être plus performante (apprentissage avec moins d'exemples, meilleure généralisation, prise en compte des contraintes de la tâche et du robot, etc.).
[1] Chi C, Feng S, Du Y, Xu Z, Cousineau E, Burchfiel B, Song S. Diffusion policy: Visuomotor policy learning via action diffusion. arXiv preprint arXiv:2303.04137. 2023. https://arxiv.org/abs/2303.04137 https://www.youtube.com/watch?v=w-CGSQAO5-Q
Keywords
Robotics, Artificial Intelligence
Subject details
As part of a partnership between Inria and the La Poste group, our team seeks to leverage generative artificial intelligence techniques to enable a robot to grasp and handle mailbags of varying sizes and weights. Mailbags combine several open challenges: they are soft (like clothes), do not have any defined shape, and are typically organized in a heap (compared to a stack of boxes). We aim to build on diffusion techniques [1] that allow learning image-conditioned policies from demonstrations. These techniques reuse ideas developped for generating images (Dall-E, MidJourney, etc.) but to generate trajectories. The objective of this thesis will be to (1) evaluate current techniques in this context and (2) propose improvements to diffusion techniques to make them more effective (learning with fewer examples, better generalization, taking into account the constraints of the task and the robot, etc.). [1] Chi C, Feng S, Du Y, Xu Z, Cousineau E, Burchfiel B, Song S. Diffusion policy: Visuomotor policy learning via action diffusion. arXiv preprint arXiv:2303.04137. 2023. https://arxiv.org/abs/2303.04137 https://www.youtube.com/watch?v=w-CGSQAO5-Q
Profil du candidat
Compétences techniques et niveau requis :
- Très bon niveau en machine learning
- Très bon niveau en python (et notamment pytorch / numpy / etc.)
- Connaissance en robotique appréciées
Langues :
- la langue principale de l'équipe est l'anglais et toutes les communications (écrites et orales) sont en anglais.
Candidate profile
Technical skills and level required:
- very good knowledge of machine learning
- very good level in python, especially with the current machine learning libraries (Pytorch / numpy / etc.)
- knowledge of robotics is appreciated
Languages : the main language of the team is English and all the communication will be in English. French is not required
Référence biblio
[1] Chi C, Feng S, Du Y, Xu Z, Cousineau E, Burchfiel B, Song S. Diffusion policy: Visuomotor policy learning via action diffusion. arXiv preprint arXiv:2303.04137. 2023. https://arxiv.org/abs/2303.04137 https://www.youtube.com/watch?v=w-CGSQAO5-Q