@inproceedings{jourdan-etal-2025-identification,
title = "Identification de mesures d'{\'e}valuation fiables pour la r{\'e}vision de textes scientifiques",
author = "Jourdan, L{\'e}ane and
Boudin, Florian and
Hernandez, Nicolas and
Dufour, Richard",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-taln.25/",
pages = "404--435",
language = "fra",
abstract = "L'{\'e}valuation de la r{\'e}vision des textes scientifiques reste un d{\'e}fi, car les m{\'e}triques traditionnelles telles que ROUGE et BERTScore se concentrent sur la similarit{\'e} {\`a} une r{\'e}f{\'e}rence plut{\^o}t que sur les am{\'e}liorations r{\'e}alis{\'e}es. Nous analysons et identifions les limites de ces m{\'e}triques et explorons des m{\'e}thodes d'{\'e}valuation alternatives qui s{'}alignent mieux sur le jugement humain. Nous {\'e}valuons d{'}abord manuellement diff{\'e}rentes r{\'e}visions pour estimer leur qualit{\'e}. Ensuite, nous examinons la possibilit{\'e} d{'}utiliser des m{\'e}triques d'{\'e}valuation sans r{\'e}f{\'e}rence provenant de domaines connexes du traitement automatique des langues (TAL) ainsi que des approches GML en tant que juge. Nos r{\'e}sultats montrent que GMLs {\'e}valuent efficacement le suivi des instructions mais peinent {\`a} {\'e}valuer l{'}acceptabilit{\'e}, alors que les m{\'e}triques sp{\'e}cifiques au domaine fournissent des informations compl{\'e}mentaires. Nous recommandons une approche hybride combinant l'{\'e}valuation GML en tant que juge et les mesures sp{\'e}cifiques {\`a} la t{\^a}che offrant l'{\'e}valuation la plus fiable de la qualit{\'e} de la r{\'e}vision."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="jourdan-etal-2025-identification">
<titleInfo>
<title>Identification de mesures d’évaluation fiables pour la révision de textes scientifiques</title>
</titleInfo>
<name type="personal">
<namePart type="given">Léane</namePart>
<namePart type="family">Jourdan</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Florian</namePart>
<namePart type="family">Boudin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Nicolas</namePart>
<namePart type="family">Hernandez</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’évaluation de la révision des textes scientifiques reste un défi, car les métriques traditionnelles telles que ROUGE et BERTScore se concentrent sur la similarité à une référence plutôt que sur les améliorations réalisées. Nous analysons et identifions les limites de ces métriques et explorons des méthodes d’évaluation alternatives qui s’alignent mieux sur le jugement humain. Nous évaluons d’abord manuellement différentes révisions pour estimer leur qualité. Ensuite, nous examinons la possibilité d’utiliser des métriques d’évaluation sans référence provenant de domaines connexes du traitement automatique des langues (TAL) ainsi que des approches GML en tant que juge. Nos résultats montrent que GMLs évaluent efficacement le suivi des instructions mais peinent à évaluer l’acceptabilité, alors que les métriques spécifiques au domaine fournissent des informations complémentaires. Nous recommandons une approche hybride combinant l’évaluation GML en tant que juge et les mesures spécifiques à la tâche offrant l’évaluation la plus fiable de la qualité de la révision.</abstract>
<identifier type="citekey">jourdan-etal-2025-identification</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-taln.25/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>404</start>
<end>435</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Identification de mesures d’évaluation fiables pour la révision de textes scientifiques
%A Jourdan, Léane
%A Boudin, Florian
%A Hernandez, Nicolas
%A Dufour, Richard
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F jourdan-etal-2025-identification
%X L’évaluation de la révision des textes scientifiques reste un défi, car les métriques traditionnelles telles que ROUGE et BERTScore se concentrent sur la similarité à une référence plutôt que sur les améliorations réalisées. Nous analysons et identifions les limites de ces métriques et explorons des méthodes d’évaluation alternatives qui s’alignent mieux sur le jugement humain. Nous évaluons d’abord manuellement différentes révisions pour estimer leur qualité. Ensuite, nous examinons la possibilité d’utiliser des métriques d’évaluation sans référence provenant de domaines connexes du traitement automatique des langues (TAL) ainsi que des approches GML en tant que juge. Nos résultats montrent que GMLs évaluent efficacement le suivi des instructions mais peinent à évaluer l’acceptabilité, alors que les métriques spécifiques au domaine fournissent des informations complémentaires. Nous recommandons une approche hybride combinant l’évaluation GML en tant que juge et les mesures spécifiques à la tâche offrant l’évaluation la plus fiable de la qualité de la révision.
%U https://aclanthology.org/2025.jeptalnrecital-taln.25/
%P 404-435
Markdown (Informal)
[Identification de mesures d’évaluation fiables pour la révision de textes scientifiques](https://aclanthology.org/2025.jeptalnrecital-taln.25/) (Jourdan et al., JEP/TALN/RECITAL 2025)
ACL