@inproceedings{oukelmoun-etal-2025-detection,
title = "D{\'e}tection des omissions dans les r{\'e}sum{\'e}s m{\'e}dicaux g{\'e}n{\'e}r{\'e}s par les grands mod{\`e}les de langue",
author = {Oukelmoun, Achir and
Semmar, Nasredine and
de Chalendar, Ga{\"e}l and
Cormi, Cl{\'e}ment and
Oukelmoun, Mariame and
Vibert, Eric and
Allard, Marc-Antoine},
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-taln.15/",
pages = "252--267",
language = "fra",
abstract = "Les grands mod{\`e}les de langue (LLMs) sont de plus en plus utilis{\'e}s pour r{\'e}sumer des textes m{\'e}dicaux, mais ils risquent d{'}omettre des informations critiques, compromettant ainsi la prise de d{\'e}cision. Contrairement aux hallucinations, les omissions concernent des faits essentiels absents. Cet article introduit un jeu de donn{\'e}es valid{\'e} en fran{\c{c}}ais pour d{\'e}tecter ces omissions et propose EmbedKDECheck, une approche frugale et sans r{\'e}f{\'e}rence. A l{'}oppos{\'e} des m{\'e}thodes bas{\'e}es sur les LLMs, cette approche utilise des plongements lexicaux issus d{'}un mod{\`e}le de Traitement Automatique des Langues (TAL) l{\'e}ger combinant FastText et Word2Vec selon un algorithme pr{\'e}cis coupl{\'e} {\`a} un mod{\`e}le non-supervis{\'e} fournissant un score d{'}anomalie. Cette approche permet d{'}identifier efficacement les omissions {\`a} faible co{\^u}t computationnel. EmbedKDECheck a {\'e}t{\'e} {\'e}valu{\'e} face aux frameworks de l'{\'e}tat de l{'}art (SelfCheckGPT, ChainPoll, G-Eval et GPTScore) et a montr{\'e} de bonnes performances. Notre m{\'e}thode renforce l'{\'e}valuation de la fiabilit{\'e} des LLMs et contribue {\`a} une prise de d{\'e}cision m{\'e}dicale plus s{\^u}re."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="oukelmoun-etal-2025-detection">
<titleInfo>
<title>Détection des omissions dans les résumés médicaux générés par les grands modèles de langue</title>
</titleInfo>
<name type="personal">
<namePart type="given">Achir</namePart>
<namePart type="family">Oukelmoun</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Nasredine</namePart>
<namePart type="family">Semmar</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Gaël</namePart>
<namePart type="family">de Chalendar</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Clément</namePart>
<namePart type="family">Cormi</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mariame</namePart>
<namePart type="family">Oukelmoun</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eric</namePart>
<namePart type="family">Vibert</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marc-Antoine</namePart>
<namePart type="family">Allard</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les grands modèles de langue (LLMs) sont de plus en plus utilisés pour résumer des textes médicaux, mais ils risquent d’omettre des informations critiques, compromettant ainsi la prise de décision. Contrairement aux hallucinations, les omissions concernent des faits essentiels absents. Cet article introduit un jeu de données validé en français pour détecter ces omissions et propose EmbedKDECheck, une approche frugale et sans référence. A l’opposé des méthodes basées sur les LLMs, cette approche utilise des plongements lexicaux issus d’un modèle de Traitement Automatique des Langues (TAL) léger combinant FastText et Word2Vec selon un algorithme précis couplé à un modèle non-supervisé fournissant un score d’anomalie. Cette approche permet d’identifier efficacement les omissions à faible coût computationnel. EmbedKDECheck a été évalué face aux frameworks de l’état de l’art (SelfCheckGPT, ChainPoll, G-Eval et GPTScore) et a montré de bonnes performances. Notre méthode renforce l’évaluation de la fiabilité des LLMs et contribue à une prise de décision médicale plus sûre.</abstract>
<identifier type="citekey">oukelmoun-etal-2025-detection</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-taln.15/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>252</start>
<end>267</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Détection des omissions dans les résumés médicaux générés par les grands modèles de langue
%A Oukelmoun, Achir
%A Semmar, Nasredine
%A de Chalendar, Gaël
%A Cormi, Clément
%A Oukelmoun, Mariame
%A Vibert, Eric
%A Allard, Marc-Antoine
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F oukelmoun-etal-2025-detection
%X Les grands modèles de langue (LLMs) sont de plus en plus utilisés pour résumer des textes médicaux, mais ils risquent d’omettre des informations critiques, compromettant ainsi la prise de décision. Contrairement aux hallucinations, les omissions concernent des faits essentiels absents. Cet article introduit un jeu de données validé en français pour détecter ces omissions et propose EmbedKDECheck, une approche frugale et sans référence. A l’opposé des méthodes basées sur les LLMs, cette approche utilise des plongements lexicaux issus d’un modèle de Traitement Automatique des Langues (TAL) léger combinant FastText et Word2Vec selon un algorithme précis couplé à un modèle non-supervisé fournissant un score d’anomalie. Cette approche permet d’identifier efficacement les omissions à faible coût computationnel. EmbedKDECheck a été évalué face aux frameworks de l’état de l’art (SelfCheckGPT, ChainPoll, G-Eval et GPTScore) et a montré de bonnes performances. Notre méthode renforce l’évaluation de la fiabilité des LLMs et contribue à une prise de décision médicale plus sûre.
%U https://aclanthology.org/2025.jeptalnrecital-taln.15/
%P 252-267
Markdown (Informal)
[Détection des omissions dans les résumés médicaux générés par les grands modèles de langue](https://aclanthology.org/2025.jeptalnrecital-taln.15/) (Oukelmoun et al., JEP/TALN/RECITAL 2025)
ACL
- Achir Oukelmoun, Nasredine Semmar, Gaël de Chalendar, Clément Cormi, Mariame Oukelmoun, Eric Vibert, and Marc-Antoine Allard. 2025. Détection des omissions dans les résumés médicaux générés par les grands modèles de langue. In Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux, pages 252–267, Marseille, France. ATALA \\& ARIA.