Offre de thèse
Modélisation de l'action jointe avec apprentissage par renforcement pour la variabilité inter- et intra- personnelle.
Date limite de candidature
02-05-2025
Date de début de contrat
01-10-2025
Directeur de thèse
DUTECH Alain
Encadrement
Cette thèse se déroulera au laboratoire LORIA de Nancy, au sein des équipes BISCUIT et NeuroRhythms. Une collaboration scientifique avec les autres membres de ces équipes est non seulemement attendue mais bienvenue, ainsi que des discussions scientifiques plus générales avec les autres membres du laboratoire. Les équipes fourniront ordinateurs et environnement de programmation, des plateformes robotiques et tout le soutien humain nécessaire pour mener à bien les aspects plus techniques du travail, permettant ainsi au doctorant ou à la doctorante de se concentrer sur les questions scientifiques. The thesis will take place at LORIA laboratory between the teams BISCUIT and NeuroRhythms. Scientific collaboration with other members of both teams is expected and welcomed, as well as more general scientific discussions and collaborations with other members of the laboratory. The teams will provide a set of programming tools, robotics platforms and all the human support necessary to the technical aspects of the work, allowing the doctoral student to focus on scientific issues. Other collaborations with external partners may be set up, drawing in particular on the networks of the “Drôles d'Objets” community and the “Organic Robotics” PEPR, in which the thesis supervisors participate. D'autres collaborations avec des partenaires extérieurs pourront se nouer, en s'appuyant notamment sur les réseaux de la communauté 'Drôles d'Objets' et du PEPR 'Robotique Organique' auxquels participent les encadrants de thèse.
Type de contrat
école doctorale
équipe
BISCUITcontexte
Lors des collaborations entre humains, l'affirmation de soi et le choix du moment dans l'interaction réciproque font toute la différence pour la réalisation d'objectifs communs. Ainsi, la plupart des tâches de collaboration reposent sur une interaction sociale directe où l'adaptation joue un rôle majeur, non seulement pour gérer les contingences inhérentes à la situation, mais aussi pour prendre en compte les particularités du contexte et de la personalité, où l'information doit être transmise sous des formes d'expression adéquates, ce qui va souvent au-delà de la dimension fonctionnelle du comportement. En ce sens, la motivation est une dimension très importante de l'interaction humaine qui conditionne la qualité de l'effort commun. Construire des robots en tenant compte de ces principes de l'interaction humain-robot et d'éthique faciliterait l'adoption de cette technologie dans notre société, tout en permettant d'interagir avec ces agents robotiques d'une manière plus intuitive et compréhensible. La question scientifique de savoir comment doter ces robots de capacités de s'adapter, en modifiant leur comportment de communication au niveau sensori-moteur, pour mieux transmettre leurs intentions et 'intuiter' les intentions de l'autre, alors qu'ils ne disposent pas du bagage dévelopemental propre aux humains, est encore une question largement ouverte en recherche. Ce problème de recherche est ancré dans les études philosophiques de l'intersubjectivité, études sur lesquelles la psychologie du développement et la psychologie sociale ont développé les points de vue antagonistes du 'cognitivisme' et de la 'perspective cognitive' (voir, par exemple, Newen et al., 2018, Gallagher, 2008). ------ In human collaboration, assertiveness and timing in reciprocal interaction make all the difference for the achievement of shared goals. Thus, most collaborative tasks are based on direct social interaction where adaptation plays a major role, not only to handle inherent situational contingencies but also to acknowledge contextual and personality particularities, where information should be conveyed in adequate forms of expression, which often transcends the functional dimension of behavior. In this sense, motivation is indeed a very important dimension in human interaction which conditions the quality of a joint effort. Building robotic agents according to the principles of human social interaction and ethics would help the adoption of this promising technology in our society, while being able to interact with such agents in an intuitive and understandable manner. An important aspect of research, which is an open problem to our days, is how providing social robots, not disposing of developmental background, with forms of knowledge representation which favors adaptation at a level of sensory-motor communication, for both conveying and “guessing” other's intention. This research problem is rooted in the philosophical study of intersubjectivity, grounding in developmental and social psychology the antagonist views between cognitivism and the so-named 4E cognition perspective (e.g Newen et al., 2018, Gallagher, 2008).spécialité
Informatiquelaboratoire
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Mots clés
Humain-Robot, Robotique Neuronale, Action Jointe, Attention Jointe, Modéliation Bio inspirée, Cognition Sociale
Détail de l'offre
Bien que des recherches récentes en robotique sociale se soient intéressées au fait de doter un robot de la capacité à trouver un équilibre entre des mouvements expressifs et des mouvements fonctionnels (visant uniquement à résoudre une tâche) dans les tâches d'actions jointes, en utilisant notamment l'apprentissage par renforcement (voir, par exemple, Hu et al., 2025), ces travaux ne concernent pas l'adaptabilité du robot à la situation d'interaction.
L'approche adoptée consiste généralement à doter le robot d'un répertoire de comportements prédéfinis, comportements qui ne sont peut-être pas toujours adaptés si l'on tient compte des différences entre les différents sujets humains (inter-variabilité). De plus, les approches ne considèrent pas non plus la variabilité pour un même sujet (intra-variabilité), au sens où les motivations, les envies, l'attention d'un sujet varient au cours du temps. De notre point de vue, ces approches n'abordent pas toute la complexité de la question de l'interaction jointe en robotitque sociale.
Ainsi, l'originalité du travail de thèse que nous proposons consiste à étudier la co-adaptation humain-
robot 'en-ligne' dans l'interaction expressive. Nous aimerions explorer l'utilisation du cadre général de l'apprentissage par renforcement (Sutton et Barto, 1998) pour modéliser le problème de l'adaptation comme un processus d'optimisation stochastique, prenant ainsi en compte la variabilité inter- et intra-sujet pour les scénarii d'interaction d'action conjointe.
Keywords
Human-robot interaction, Neural robotics, Joint Attention, Joint Action, Bio-inspired modeling, Social cognition
Subject details
Although recent studies in social robotics have addressed the problem of providing the robot with the ability to balance between motion expressiveness and function in achieving joint tasks (e.g. in Hu et al., 2025) using, for example, reinforcement learning, they do not consider the adaptability of the robot to the situation. The approach adopted consists in endorsing the robot with a predefined behavior repertory, with may not be suitable when considering human inter-variability. Also, the approach does not consider intra-subject variability, in the sense that humans continuously fluctuate in mood, awareness, and motivation; which results in our opinion in a somewhat narrow perspective for social robotics in joint action interaction with humans. Therefore, the originality of the thesis work we propose consists in investigating online human-robot co-adaptation in expressive interaction. We would like to explore using the general framework of Reinforcement Learning (Sutton and Barto, 1998) to model the adaptation problem as a stochastic optimization process, thus taking into account both inter- and intra-subject variability for joint action interaction scenarios.
Profil du candidat
-- Avoir obtenu un diplôme équivalent à un Master 2 français en robotique ou informatique ou mathématique appliquées ou sciences cognitives.
-- Un intérêt marqué pour la recherche en interaction humain-robot, 'embodiment', sciences cognitives et la modélisation bio-inspirée.
-- Savoir programmer en Python, (savoir programmer en C++ est un plus appréciable).
-- Des notions de modélisation géométrique et du contrôle de comportements robotique seraient un plus.
-- Niveau en français ou anglais requis : un niveau moyen, au minimum. Vous devez pouvoir commprendre, et vous exprimer correctement et de manière cohérente sur les sujets qui vous sont familiers.
Candidate profile
• Equivalent degree to a French Master II diploma in robotics, computer science, mathematical modeling or cognitive science.
• Deep research interest in human-robot interaction, embodiment, cognitive sciences and bio-inspired modeling.
• Programming skills in Python language (skills in C++ would be a plus).
• Notions of classical geometric modeling and behavior regulation in robotics would be a plus.
• Level of French or English required: at least intermediate level. You can speak the language understandably, coherently and confidently on everyday topics that are familiar to you.
Référence biblio
Amari, S.-i. (1977). Dynamics of pattern formation in lateral-inhibition type neural fields. Biological cybernetics, 27 (2), 77-87.
Sutton, R., & Barto, A. (1998). Reinforcement Learning. Bradford Book, MIT Press, Cambridge, MA.
Gallagher, S. (2008). Understanding others : embodied social cognition. In Handbook of cognitive science (p. 437-452). Elsevier.
Newen, A., Gallagher, S., & De Bruin, L. (2018). 4E cognition : Historical roots, key concepts, and central issues.
Chame, H. F., Mota, F. P., & da Costa Botelho, S. S. (2019). A dynamic computational model of motivation based on self-determination theory and CANN. Information Sciences, 476, 319-336.
Chame, H. F., Ahmadi, A., & Tani, J. (2020). A hybrid human-neurorobotics approach to primary intersubjectivity via active inference. Frontiers in psychology, 11, 584869.
Chame, H. F., Clodic, A., & Alami, R. (2023). TOP-JAM : A bio-inspired topology-based model of joint attention for human-robot interaction. 2023 IEEE International Conference on Robotics and Automation (ICRA), 7621-7627.
Chame, H. F., & Alami, R. (2024). AEGO : Modeling Attention for HRI in Ego-Sphere Neural Networks. 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2549-2555.
Hu, Y., Huang, P., Sivapurapu, M., & Zhang, J. (2025). ELEGNT : Expressive and Functional Movement Design for Non-anthropomorphic Robot. arXiv preprint arXiv :2501.12493.