(ENACT) Analyse automatique des biais dans les publications scientifiques

Mots clés

traitement automatique des langues, biais, LLM, publications scientifiques, éthique, science responsable

Détail de l'offre

Le rendu faussé des résultats est une cause de biais en recherche encore peu étudiée [Boutron et al., 2010]. Les problèmes rencontrés incluent la non-publication ou la publication tardive d'études, les omissions ou les interprétations erronées des résultats dans les résumés, ainsi que la présentation et l'interprétation biaisées des résultats visant à convaincre le lecteur de bénéfices non étayés par les principaux résultats. L'enjeu est de taille, car une publication faussée peut nuire à la confiance de la communauté scientifique et de la société envers la recherche. Parmi les risques figurent également le déploiement de systèmes insuffisamment précis pour l'usage prévu, car les bénéfices ont été surestimés et les inconvénients minimisés, voire ignorés [Buolamwini et al., 2018]. Le traitement automatique des langues peut permettre d'identifier ces problèmes grâce au développement de l'analyse automatique de textes permettant d'identifier les affirmations scientifiques et de les confronter aux résultats de la recherche [Koroleva et al., 2020 ; Bleuze, 2024]. S'appuyant sur ces travaux récents, il est nécessaire de perfectionner la caractérisation automatique des affirmations et des résultats en exploitant le contenu des résumés et des textes intégraux des publications scientifiques, ainsi que d'autres types de sources telles que les figures et les tableaux.
L'objectif de cette thèse est l'analyse des biais dans les publications scientifiques. Les méthodes d'identification automatique des liens de causalité entre les énoncés dans les articles peuvent être utilisées à cette fin. L'un des résultats attendus est la constitution d'un corpus de liens de causalité entre les énoncés présents dans les résumés et les textes intégraux de publications scientifiques en anglais. Par exemple, dans (Lu et al. 2022), nous pouvons considérer des énoncés du résumé et des résultats décrivant le même aspect du travail: Résumé: «Les expériences menées sur l'ensemble de données DAIC-WOZ montrent que les performances de l'algorithme se sont considérablement améliorées, avec une erreur absolue moyenne (MAE) de 4,48 et une erreur quadratique moyenne (RMSE) de 5,37.» Résultats: «Le résultat expérimental de la MAE s'est rapidement amélioré, passant de 4,96 à 4,48 après l'ajout du module Transformer Encoder.» On constate que l'amélioration «considérable» correspond à 0,48 point pour la MAE, tandis que la RMSE, mentionnée dans le résumé, n'est pas décrite dans les résultats. Nous nous concentrerons sur deux sous-domaines scientifiques différents, pour lesquels nous avons déjà de l'expérience et des corpus disponibles: le domaine biomédical et le traitement automatique des langues.
Dans ce contexte, il faudra constituer un corpus de publications scientifiques. extraire des énoncés des résumés d'articles – en particulier les affirmations –, les aligner avec des énoncés décrivant le même contenu dans le texte intégral et analyser en détail les liens entre eux. L'extraction et l'alignement s'appuieront sur des travaux antérieurs: Bleuze et al. (2024) permettent l'identification automatique des affirmations et peuvent être utilisés pour extraire des énoncés pertinents des résumés et des textes intégraux afin de les apparier. Des mesures de similarité de phrases peuvent également être utilisées pour faciliter l'appariement des phrases des résumés et des textes intégraux. Le doctorant analysera ensuite automatiquement les relations sémantiques entre les phrases des résumés et leurs équivalents les plus «similaires» dans les textes intégraux, et évaluera si les affirmations présentes dans les textes intégraux figurent également dans les résumés. L'étude explorera la cohérence du contenu entre les résumés et les textes intégraux, ainsi que la sélection du contenu opérée par les résumés à partir du contenu intégral d'un article.