Offre de thèse
Evaluation de l'impact des agents conversationnels LLM pour l'orientation scolaire et professionnelle : langage, confiance et justice sociale
Date limite de candidature
17-04-2026
Date de début de contrat
01-10-2026
Directeur de thèse
MONTICOLO Davy
Encadrement
Le directeur de thèse principal sera le Professeur Davy Monticolo (LORIA, Université de Lorraine), titulaire de l'HDR et rattaché à l'école doctorale pertinente, assurant 50% de l'encadrement scientifique global. Un co-encadrement sera assuré à 50% par le Professeur Jérôme Dinet (Laboratoire Lorrain de Psychologie et Neurosciences), expert en interactions humain-AI et en guidance éducative, pour une supervision interdisciplinaire en linguistique computationnelle, confiance et équité algorithmique. Les réunions bi-mensuelles individuelles permettront un suivi personnalisé des avancées, avec accès aux ressources du LORIA (données, outils LLM, partenariats Hello Charly et rectorat). Le doctorant suivra un parcours de 150 heures validées par l'école doctorale, incluant formations en IA responsable, analyse de dialogues et éthique (NLP, LLM, fairness metrics), en concertation avec les encadrants. Des ateliers LORIA et collaborations ENACT (axes LLMs multimodaux) compléteront le cursus, avec validation annuelle via le Comité de Suivi Individuel (CSI).
Type de contrat
école doctorale
équipe
KIWIcontexte
L'essor des grands modèles de langue transforme les chatbots d'orientation en systèmes d'IA générative capables de produire des conseils riches mais potentiellement sujets à hallucinations, erreurs factuelles et biais de recommandation. La communauté IA travaille activement sur la factualité, le contrôle de la génération, l'alignement par préférences humaines et l'équité algorithmique, mais ces avancées restent peu étudiées dans le contexte spécifique de l'orientation scolaire et professionnelle francophone. Positionnée à l'intersection du TAL, de l'IA de confiance et des learning analytics, la thèse propose d'explorer comment adapter, spécialiser et évaluer des LLM pour des usages de service public éducatif, sous contraintes d'équité, de transparence et d'empreinte computationnelle limitée.spécialité
Informatiquelaboratoire
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Mots clés
grands modèles de langue, agents conversationnels, orientation scolaire et professionnelle, confiance et acceptabilité, équité algorithmique, intelligence artificielle éducative
Détail de l'offre
L'orientation scolaire et professionnelle constitue un moment décisif dans les parcours des élèves, avec des effets durables sur la réussite académique et l'insertion sociale. Malgré la multiplication des plateformes d'information et des dispositifs de conseil, les taux de réorientation, de décrochage et les inégalités liées au genre, au territoire ou au milieu social demeurent élevés. Dans ce contexte, l'émergence d'agents conversationnels fondés sur de grands modèles de langue (LLM), tels que les chatbots d'orientation déjà déployés dans plusieurs académies et services privés, reconfigure profondément les modalités d'accompagnement. Ils promettent une information personnalisée, disponible en continu, mais soulèvent des questions majeures quant à la qualité des échanges langagiers, à la construction de la confiance et aux risques de reproduction ou d'amplification des biais sociaux.
Ce projet de thèse vise à étudier les systèmes d'orientation scolaire basés sur des LLM en articulant trois dimensions : (1) la modélisation linguistique et interactionnelle des dialogues de guidance entre élèves et chatbots ; (2) la dynamique de la confiance et de l'acceptabilité dans ces interactions homme–agent ; (3) les enjeux de justice sociale, entendue comme égalité d'accès à l'information, équité des recommandations et prise en compte des contextes familiaux, territoriaux et socio économiques. La recherche s'appuiera sur la constitution et l'annotation fine de corpus de dialogues en français provenant de partenaires institutionnels et industriels (par exemple Hello Charly et plateformes rectorales), dans le strict respect des exigences d'anonymisation et de protection des données.
Sur le plan méthodologique, la thèse mobilisera des outils de TAL/LLM pour caractériser les registres discursifs (informationnel, motivationnel, réflexif), les marqueurs d'engagement et de compréhension, ainsi que la construction progressive des projets d'orientation. Des indicateurs de confiance seront élaborés en combinant signaux linguistiques (expressions de doute, d'adhésion, d'évaluation), comportements d'usage (durée et profondeur des échanges, retours, révisions de choix) et mesures psychosociales issues d'enquêtes auprès d'élèves et de conseillers d'orientation. Parallèlement, des métriques d'équité et de biais seront définies pour analyser la sensibilité des recommandations à des variables telles que le genre, la filière ou le contexte territorial, et pour comparer systématiquement les sorties des LLM aux décisions de conseillers humains.
L'objectif final est double. Sur le plan scientifique, il s'agit de mieux comprendre les propriétés linguistiques, interactionnelles et socio techniques des dialogues de guidance médiés par LLM, ainsi que les conditions sous lesquelles une confiance « bien calibrée » ( ni naïve ni excessive) peut émerger. Sur le plan opérationnel, la thèse produira des méthodes d'analyse et de mitigation des biais, des principes de conception pour des chatbots d'orientation plus transparents et explicables, ainsi que des indicateurs et tableaux de bord de suivi à destination des rectorats, établissements et décideurs publics. Elle contribuera ainsi au développement d'une intelligence artificielle éducative responsable, capable de soutenir des parcours plus justes, mieux informés et plus émancipateurs pour les élèves.
Keywords
large language models, conversational agents, school and career guidance, trust and acceptability, algorithmic fairness, social justice
Subject details
School and career guidance plays a decisive role in students' educational and professional trajectories, yet current digital services still coexist with high rates of reorientation, dropout and persistent social, territorial and gender inequalities. In parallel, conversational agents based on large language models (LLMs) are being introduced into guidance ecosystems, promising personalised, always on support but raising critical questions about language use, trust and social justice in recommendations. This PhD project investigates LLM based guidance chatbots used by high school students, in order to understand how these systems shape counselling interactions, how students build (or withdraw) trust in them, and to what extent they reproduce or mitigate pre existing inequalities. The project is structured around three intertwined dimensions. First, it will model the linguistic and interactional properties of guidance dialogues between students and chatbots, by constructing and finely annotating French corpora from institutional and industrial partners (such as Hello Charly and rectorate platforms), with a focus on discourse registers (informational, motivational, reflective), engagement markers and the step by step construction of orientation projects. Second, it will analyse the dynamics of trust and acceptability by combining linguistic indicators (expressions of doubt, endorsement and evaluation), behavioural traces (length and depth of exchanges, repeated use, revisions of choices) and psychosocial measures gathered through surveys and interviews with students and human counsellors. Third, it will address social justice by defining fairness metrics tailored to francophone guidance contexts, and by systematically comparing LLM generated recommendations with decisions made by professional counsellors, in order to detect and mitigate biases related to gender, track, territory or socio economic background. Methodologically, the PhD will rely on natural language processing and LLM based analysis models, contrastive evaluation protocols and bias mitigation strategies such as output filtering, preference based optimisation and constraints on sensitive attributes. Particular attention will be paid to factuality and hallucinations, robustness of answers, calibration of confidence and control of the computational footprint of the models, in line with the priorities of responsible and energy aware AI. Scientifically, the thesis aims to characterise LLM mediated guidance dialogues, to model the conditions under which appropriately calibrated trust (neither naive nor excessive) emerges in student–agent interactions, and to develop operational tools to monitor and reduce algorithmic biases in educational chatbots. Practically, it will provide design principles for more transparent and explainable guidance agents, as well as fairness and monitoring indicators for education authorities, contributing to educational AI systems that help reduce, rather than reinforce, existing inequalities.
Profil du candidat
Le/la candidat·e devra être titulaire d'un Master 2 (ou équivalent) en informatique, intelligence artificielle, data science ou discipline proche, avec de solides bases en apprentissage automatique et en traitement automatique du langage naturel. Une maîtrise pratique de Python et des principales bibliothèques de deep learning (PyTorch, TensorFlow, JAX…) ainsi que d'outils pour les modèles de langue de grande taille (Hugging Face, frameworks de fine tuning, RAG, évaluation) est attendue. Des compétences en analyse de données, en statistiques et en mise en œuvre expérimentale (protocoles) seront fortement valorisées. Une sensibilité aux questions d'IA de confiance (robustesse, explicabilité, équité algorithmique) et, idéalement, un intérêt pour les enjeux éducatifs et les sciences humaines et sociales appliquées à l'orientation scolaire constitueront un atout. Le/la doctorant·e devra faire preuve d'autonomie, de rigueur méthodologique, de bonnes capacités rédactionnelles en français et en anglais, ainsi que d'un goût marqué pour le travail interdisciplinaire et la collaboration avec des partenaires institutionnels et industriels.
Candidate profile
The candidate will hold a Master's degree (or equivalent) in Computer Science, Artificial Intelligence, Data Science or a closely related field, with a solid background in machine learning and natural language processing. Strong programming skills in Python are required, together with hands‑on experience of deep‑learning frameworks (PyTorch, TensorFlow, JAX, etc.) and toolkits for large language models (e.g. Hugging Face, fine‑tuning and evaluation frameworks, RAG). Additional skills in data analysis, statistics and experimental methodology (reproducible pipelines, version control, Linux environments) will be highly valued. An interest in trustworthy AI (factuality, robustness, explainability, fairness) and, ideally, in educational technologies and human–computer interaction will be appreciated. The PhD candidate is expected to be autonomous, rigorous, able to write and communicate clearly in both English and French, and motivated to work in an interdisciplinary and collaborative environment with academic and industrial partners.
Référence biblio
[1] Majjate H, Bellarhmouch Y, Jeghal A, Yahyaouy A, Tairi H, Zidani KA'AI-Powered Academic
Guidance and Counseling System Based on Student Profile and Interests,' Electronics, vol. 7, no. 1, art. 6, 2024. 6
[2] C. A. Pravesti, B. B. Wiyono, D. M. Handarini, Triyono, and A. Atmoko, 'Examining The Effects of Guidance and Counseling Services to The Self-Regulated Learning for College Students,' Journal for the Education of Gifted Young Scientists, vol. 8, no. 1, pp. 33-45, 2020, doi:10.17478/jegys.664548.
[3] H. A. Santoso et al., 'Dinus Intelligent Assistance (DINA) Chatbot for University Admission
Services,' in 2018 International Seminar on Application for Technology of Information and
Communication, Semarang, Indonesia, 2018, pp. 417-423, doi: 10.1109/ISEMANTIC.2018.8549797.
[4] G. Molnár and Z. Szüts, 'The Role of Chatbots in Formal Education,' in 2018 IEEE 16th
International Symposium on Intelligent Systems and Informatics (SISY), Subotica, Serbia, 2018, pp.000197-000202, doi: 10.1109/SISY.2018.8524609.
[5] D. H. Ristianti, W. Syahindra, J. Jumansyah, M. Marlena, and M. A. S. B. M. Arip, 'Development of smart digital interactive service as a strategy for guidance and counseling services in higher education,' J. Educ. Health Promot., vol. 14, art. 141, Apr. 2025, doi: 10.4103/jehp.jehp_1994_23.
[6] M. Tirel, D. Rozgonjuk, M. Purre, and J. D. Elhai, 'When do people seek internet counseling?
exploring the temporal patterns of initial submissions to online counseling services,' J. Technol. Hum. Serv., vol. 38, pp. 184-202, 2020.
[7] D. Ghosh, S. Ghatak, and H. Paul, 'A proposed cognitive framework model for a student support voice-based chatbot using XAI,' Research Square, May 8, 2023, doi: 10.21203/rs.3.rs-2888180/v1.
[8] Rapport “IA et enseignement supérieur : formation, structuration et appropriation par la societé, juin 2025, https://www.enseignementsup-recherche.gouv.fr/sites/default/files/2025-07/rapportintelligence-
artificielle-et-enseignement-sup-rieur-formation-structuration-et-appropriation-par-lasoci-
t--37540.pdf
[9] Rapport sur la stratégie du numérique pour l'éducation 2023-2027,
https://www.education.gouv.fr/feuilles-de-route-450426
[10] Chang, Daniel H., et al. 'Educational design principles of using AI chatbot that supports selfregulated learning in education: Goal setting, feedback, and personalization.' Sustainability 15.17 (2023):9921.
[11] Fodor, Gergely H., et al. 'Artificial intelligence-based chatbots improve the efficiency of course orientation among medical students: a cross-sectional study.' BMC Medical Education 25.1 (2025): 1547.
[12] Zahour, Omar, et al. 'Towards a Chatbot for educational and vocational guidance in Morocco: Chatbot E-Orientation.' International Journal 9.2 (2020): 2479-2487.
[13] Min Zhao, Fuan Li, Francis Cai, Haiyang Chen, Zheng Li, Can we trust LLMs to help us? An
examination of the potential use of GPT-4 in generating quality literature reviews, Nankai Business Review International, Volume 16, Issue 1, 2024, Pages 128-142, ISSN 2040-8749,
https://doi.org/10.1108/NBRI-12-2023-0115.
[14] Melanie J. McGrath, Andreas Duenser, Justine Lacey, Cécile Paris, Collaborative human-AI trust (CHAI-T): A process framework for active management of trust in human-AI collaboration,
Computers in Human Behavior: Artificial Humans, Volume 6, 2025, 100200, ISSN 2949-8821,
https://doi.org/10.1016/j.chbah.2025.100200.
[15] Md Farid Talukder, Guclu Atinc, Empowering commitment: unraveling the impact of motivating language and the mediating role of trust, Corporate Communications: An International Journal, 7 Volume 30, Issue 6, 2024, Pages 935-955, ISSN 1356-3289, https://doi.org/10.1108/CCIJ-12-2023-0196.
[16] Alison Twiner, Karen Littleton, Caroline Coffin, Denise Whitelock, Meaning making as an
interactional accomplishment: A temporal analysis of intentionality and improvisation in classroom dialogue, International Journal of Educational Research, Volume 63, 2014, Pages 94-106, ISSN 0883- 0355, https://doi.org/10.1016/j.ijer.2013.02.009.