Détection d’Hallucinations dans les Dossiers Médicaux Générés Automatiquement : Une Approche d’Optimisation pour les Couches Sémantiques et les Seuils Adaptatifs

Souhir Khessiba, Nadège Alavoine, Damien Forest


Abstract
Les Modèles de Langage (LLM) sont susceptibles aux hallucinations, générant parfois des informations inexactes d’où un risque non négligeable, notamment dans le domaine médical où la fiabilité est essentielle. Cet article aborde deux objectifs : améliorer la qualité des dossiers médicaux et renforcer la fiabilité des cohortes de recherche. Nous présentons un système de détection des hallucinations dans les résumés médicaux générés par IA en optimisant les couches sémantiques de BERT. Notre méthodologie exploite BERT Score pour évaluer la similarité entre les phrases des rapports générés et des transcriptions originales. Notre contribution principale introduit un mécanisme à double seuil critique et alerte optimisé par l’algorithme Tree Parzen Estimator, contrairement aux approches traditionnelles à seuil unique. Les résultats démontrent des améliorations significatives dans la détection des hallucinations, avec une précision et un rappel supérieur aux méthodes de référence. Bien que notre étude soit limitée à la langue française, le système proposé assure améliore la fiabilité des informations médicales, répondant aux objectifs d’amélioration de la qualité documentaire et d’intégrité des données de recherche.
Anthology ID:
2025.jeptalnrecital-mlpllm.1
Volume:
Actes de l'atelier Traitement du langage médical à l’époque des LLMs 2025 (MLP-LLM)
Month:
6
Year:
2025
Address:
Marseille, France
Editors:
Frédéric Bechet, Adrian-Gabriel Chifu, Karen Pinel-sauvagnat, Benoit Favre, Eliot Maes, Diana Nurbakova
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA \\& ARIA
Note:
Pages:
1–13
Language:
French
URL:
https://aclanthology.org/2025.jeptalnrecital-mlpllm.1/
DOI:
Bibkey:
Cite (ACL):
Souhir Khessiba, Nadège Alavoine, and Damien Forest. 2025. Détection d’Hallucinations dans les Dossiers Médicaux Générés Automatiquement : Une Approche d’Optimisation pour les Couches Sémantiques et les Seuils Adaptatifs. In Actes de l'atelier Traitement du langage médical à l’époque des LLMs 2025 (MLP-LLM), pages 1–13, Marseille, France. ATALA \\& ARIA.
Cite (Informal):
Détection d’Hallucinations dans les Dossiers Médicaux Générés Automatiquement : Une Approche d’Optimisation pour les Couches Sémantiques et les Seuils Adaptatifs (Khessiba et al., JEP/TALN/RECITAL 2025)
Copy Citation:
PDF:
https://aclanthology.org/2025.jeptalnrecital-mlpllm.1.pdf