@inproceedings{gigant-etal-2025-attenuer,
title = "Att{\'e}nuer l{'}impact de la qualit{\'e} des r{\'e}f{\'e}rences sur l'{\'e}valuation des syst{\`e}mes de r{\'e}sum{\'e} gr{\^a}ce aux m{\'e}triques sans r{\'e}f{\'e}rence",
author = "Gigant, Th{\'e}o and
Guinaudeau, Camille and
Decombas, Marc and
Dufaux, Fr{\'e}d{\'e}ric",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d'articles publi{\'e}s",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-trad.7/",
pages = "9--9",
language = "fra",
abstract = "Les m{\'e}triques d'{\'e}valuation sont utilis{\'e}es comme des indicateurs pour {\'e}valuer les syst{\`e}mes de r{\'e}sum{\'e} abstractif lorsque les annotations sont trop co{\^u}teuses. Pour {\^e}tre utiles, ces m{\'e}triques doivent permettre une {\'e}valuation fine, pr{\'e}senter une forte corr{\'e}lation avec les annotations humaines, et id{\'e}alement ne pas d{\'e}pendre de la qualit{\'e} des r{\'e}f{\'e}rences. Cependant la plupart des m{\'e}triques d'{\'e}valuation standard pour le r{\'e}sum{\'e} sont bas{\'e}es sur des r{\'e}f{\'e}rences, et les m{\'e}triques sans r{\'e}f{\'e}rences sont faiblement corr{\'e}l{\'e}es {\`a} la pertinence des r{\'e}sum{\'e}s, en particulier pour des documents longs. Dans cet article, nous introduisons une m{\'e}trique sans r{\'e}f{\'e}rence qui corr{\`e}le bien avec la pertinence telle qu'{\'e}valu{\'e}e par des humains, tout en {\'e}tant tr{\`e}s peu co{\^u}teuse {\`a} calculer. Nous montrons {\'e}galement que cette m{\'e}trique peut {\^e}tre utilis{\'e}e en compl{\'e}ment de m{\'e}triques bas{\'e}es sur des r{\'e}f{\'e}rences afin d{'}am{\'e}liorer leur robustesse dans des situations o{\`u} la qualit{\'e} des r{\'e}f{\'e}rences est faible."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="gigant-etal-2025-attenuer">
<titleInfo>
<title>Atténuer l’impact de la qualité des références sur l’évaluation des systèmes de résumé grâce aux métriques sans référence</title>
</titleInfo>
<name type="personal">
<namePart type="given">Théo</namePart>
<namePart type="family">Gigant</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Camille</namePart>
<namePart type="family">Guinaudeau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marc</namePart>
<namePart type="family">Decombas</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Dufaux</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d’articles publiés</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les métriques d’évaluation sont utilisées comme des indicateurs pour évaluer les systèmes de résumé abstractif lorsque les annotations sont trop coûteuses. Pour être utiles, ces métriques doivent permettre une évaluation fine, présenter une forte corrélation avec les annotations humaines, et idéalement ne pas dépendre de la qualité des références. Cependant la plupart des métriques d’évaluation standard pour le résumé sont basées sur des références, et les métriques sans références sont faiblement corrélées à la pertinence des résumés, en particulier pour des documents longs. Dans cet article, nous introduisons une métrique sans référence qui corrèle bien avec la pertinence telle qu’évaluée par des humains, tout en étant très peu coûteuse à calculer. Nous montrons également que cette métrique peut être utilisée en complément de métriques basées sur des références afin d’améliorer leur robustesse dans des situations où la qualité des références est faible.</abstract>
<identifier type="citekey">gigant-etal-2025-attenuer</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-trad.7/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>9</start>
<end>9</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Atténuer l’impact de la qualité des références sur l’évaluation des systèmes de résumé grâce aux métriques sans référence
%A Gigant, Théo
%A Guinaudeau, Camille
%A Decombas, Marc
%A Dufaux, Frédéric
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d’articles publiés
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F gigant-etal-2025-attenuer
%X Les métriques d’évaluation sont utilisées comme des indicateurs pour évaluer les systèmes de résumé abstractif lorsque les annotations sont trop coûteuses. Pour être utiles, ces métriques doivent permettre une évaluation fine, présenter une forte corrélation avec les annotations humaines, et idéalement ne pas dépendre de la qualité des références. Cependant la plupart des métriques d’évaluation standard pour le résumé sont basées sur des références, et les métriques sans références sont faiblement corrélées à la pertinence des résumés, en particulier pour des documents longs. Dans cet article, nous introduisons une métrique sans référence qui corrèle bien avec la pertinence telle qu’évaluée par des humains, tout en étant très peu coûteuse à calculer. Nous montrons également que cette métrique peut être utilisée en complément de métriques basées sur des références afin d’améliorer leur robustesse dans des situations où la qualité des références est faible.
%U https://aclanthology.org/2025.jeptalnrecital-trad.7/
%P 9-9
Markdown (Informal)
[Atténuer l’impact de la qualité des références sur l’évaluation des systèmes de résumé grâce aux métriques sans référence](https://aclanthology.org/2025.jeptalnrecital-trad.7/) (Gigant et al., JEP/TALN/RECITAL 2025)
ACL