@inproceedings{herserant-guigue-2025-seval,
title = "Seval-ex : Un paradigme bas{\'e} sur les phrases atomiques pour une {\'e}valuation explicable de la qualit{\'e} des r{\'e}sum{\'e}s",
author = "Herserant, Tanguy and
Guigue, Vincent",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de la 20e Conf{\'e}rence en Recherche d{'}Information et Applications (CORIA)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-coria.19/",
pages = "217--229",
language = "fra",
abstract = "L'{\'e}valuation de la qualit{\'e} des r{\'e}sum{\'e}s de texte demeure un d{\'e}fi critique en Traitement Automatique du Langage Naturel. Les approches actuelles font face {\`a} un compromis entre performance et interpr{\'e}tabilit{\'e}. Nous pr{\'e}sentons SEval-Ex, un framework qui comble cette lacune en d{\'e}composant l'{\'e}valuation des r{\'e}sum{\'e}s en phrases atomiques, permettant {\`a} la fois une haute performance et une explicabilit{\'e}. SEval-Ex emploie un pipeline en deux {\'e}tapes : extraction des phrases atomiques {\`a} partir du texte source et du r{\'e}sum{\'e} via un LLM, puis mise en correspondance de ces phrases. Contrairement aux approches existantes qui ne fournissent que des scores globaux, notre m{\'e}thode g{\'e}n{\`e}re un parcours d{\'e}taill{\'e} des d{\'e}cisions gr{\^a}ce {\`a} un alignement entre les phrases. Les exp{\'e}riences sur SummEval d{\'e}montrent que SEval-Ex atteint des performances {\'e}tat de l{'}art avec une corr{\'e}lation de 0.580 sur la coh{\'e}rence avec les jugements humains, surpassant GPT-4 (0.521) tout en maintenant l{'}interpr{\'e}tabilit{\'e} et la robustesse contre l{'}hallucination."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="herserant-guigue-2025-seval">
<titleInfo>
<title>Seval-ex : Un paradigme basé sur les phrases atomiques pour une évaluation explicable de la qualité des résumés</title>
</titleInfo>
<name type="personal">
<namePart type="given">Tanguy</namePart>
<namePart type="family">Herserant</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Vincent</namePart>
<namePart type="family">Guigue</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’évaluation de la qualité des résumés de texte demeure un défi critique en Traitement Automatique du Langage Naturel. Les approches actuelles font face à un compromis entre performance et interprétabilité. Nous présentons SEval-Ex, un framework qui comble cette lacune en décomposant l’évaluation des résumés en phrases atomiques, permettant à la fois une haute performance et une explicabilité. SEval-Ex emploie un pipeline en deux étapes : extraction des phrases atomiques à partir du texte source et du résumé via un LLM, puis mise en correspondance de ces phrases. Contrairement aux approches existantes qui ne fournissent que des scores globaux, notre méthode génère un parcours détaillé des décisions grâce à un alignement entre les phrases. Les expériences sur SummEval démontrent que SEval-Ex atteint des performances état de l’art avec une corrélation de 0.580 sur la cohérence avec les jugements humains, surpassant GPT-4 (0.521) tout en maintenant l’interprétabilité et la robustesse contre l’hallucination.</abstract>
<identifier type="citekey">herserant-guigue-2025-seval</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-coria.19/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>217</start>
<end>229</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Seval-ex : Un paradigme basé sur les phrases atomiques pour une évaluation explicable de la qualité des résumés
%A Herserant, Tanguy
%A Guigue, Vincent
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F herserant-guigue-2025-seval
%X L’évaluation de la qualité des résumés de texte demeure un défi critique en Traitement Automatique du Langage Naturel. Les approches actuelles font face à un compromis entre performance et interprétabilité. Nous présentons SEval-Ex, un framework qui comble cette lacune en décomposant l’évaluation des résumés en phrases atomiques, permettant à la fois une haute performance et une explicabilité. SEval-Ex emploie un pipeline en deux étapes : extraction des phrases atomiques à partir du texte source et du résumé via un LLM, puis mise en correspondance de ces phrases. Contrairement aux approches existantes qui ne fournissent que des scores globaux, notre méthode génère un parcours détaillé des décisions grâce à un alignement entre les phrases. Les expériences sur SummEval démontrent que SEval-Ex atteint des performances état de l’art avec une corrélation de 0.580 sur la cohérence avec les jugements humains, surpassant GPT-4 (0.521) tout en maintenant l’interprétabilité et la robustesse contre l’hallucination.
%U https://aclanthology.org/2025.jeptalnrecital-coria.19/
%P 217-229
Markdown (Informal)
[Seval-ex : Un paradigme basé sur les phrases atomiques pour une évaluation explicable de la qualité des résumés](https://aclanthology.org/2025.jeptalnrecital-coria.19/) (Herserant & Guigue, JEP/TALN/RECITAL 2025)
ACL