ENACT Modélisation multimodale des gestes co-verbaux : Vers un système de génération automatique de gestes contextuellement pertinents.

Mots clés

Communication multimodale, Gestes co-verbaux, Deep Learning, Agents conversationnels

Détail de l'offre

** Présentation **
Le langage verbal est intrinsèquement accompagné de mouvements des mains, de la tête et du corps qui contribuent significativement à la transmission du sens (McNeill 1992, 2005 ; Kendon 2004). Dans le contexte du développement d'agents conversationnels virtuels (ECAs), comprendre et modéliser ces composantes multimodales complexes est un défi majeur pour parvenir à une communication humain-machine crédible (Cassel et al. 2000). Un objectif central de la recherche en génération de gestes co-verbaux est de créer une gestualité qui reproduit fidèlement les mouvements humains ('human-likeness') tout en étant parfaitement adaptée au contexte du discours ('speech appropriateness').
Cette thèse s'inscrit dans le cadre du projet ANR SYNCOGEST, qui vise à explorer la relation complexe entre gestes et parole en adoptant une approche pluridisciplinaire. L'objectif principal de SYNCOGEST est de développer des modèles génératifs pour doter les ECAs d'une gestualité plus naturelle et plus efficace en contexte de production de discours.

** Objectifs **
Cette thèse explore la modélisation du lien complexe entre parole et geste en développant une approche multimodale. En combinant l'analyse typologique des gestes, réalisée par des techniques de clustering basées sur des embeddings de descriptions non expertes, avec des annotations expertes et des représentations multimodales (texte, audio, classe de geste), cette recherche vise à développer un modèle robuste pour prédire et générer automatiquement des gestes co-verbaux pertinents.

À partir d'un corpus de gestes co-verbaux partiellement annoté (description simple et factuelle des gestes), nous chercherons à prédire les types de gestes appropriés pour un énoncé donné. Les gestes seront d'abord regroupés selon la similarité de leurs descriptions, à l'aide de grands modèles de langage (LLMs) ou de modèles de type BERT (Devlin et al., 2019), qui transformeront ces descriptions en représentations vectorielles. Ces regroupements seront ensuite confrontés aux annotations fonctionnelles des experts pour établir des correspondances avec les catégories fonctionnelles des gestes. Enfin, une représentation multimodale, combinant texte, audio et classe de geste, sera construite en utilisant des modèles d'apprentissage contrastif comme CLIP (Radford et al., 2021). Cette approche enrichira les modèles existants en prenant en compte à la fois l'analyse typologique et les annotations expertes.

Cette représentation multimodale servira d'entrée pour la génération des gestes en s'appuyant sur des modèles génératifs avancés. Nous étudierons des alternatives aux modèles de diffusion qui, bien que performants, présentent une complexité trop élevée pour une utilisation dans un ECA. Par exemple, l'association de mécanismes attentionnels et de Graph Neural Networks (GNN) (Liu et al., 2019; Wu et al., 2020) avec un décodeur basé sur une architecture de type Flow (Kingma et al., 2016) s'est révélée pertinente pour structurer et interpréter les données de manière plus efficace. Les travaux de cette thèse pourront tirer parti des recherches menées au sein de l'équipe avec cette approche pour la génération de gestes co-verbaux (Abel et al., 2025). Le système développé sera ensuite utilisé pour animer un avatar 3D, assurant ainsi la synchronisation des gestes avec la parole.