@inproceedings{michel-etal-2025-evaluation,
title = "{\'E}valuation des {LLM}s pour l{'}Attribution de Citations dans les Textes Litt{\'e}raires: une {\'E}tude de {LL}a{M}a3",
author = "Michel, Gaspard and
V. Epure, Elena and
Hennequin, Romain and
Cerisara, Christophe",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d'articles publi{\'e}s",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-trad.11/",
pages = "14--14",
language = "fra",
abstract = "Les grands mod{\`e}les de langage (LLMs) ont montr{\'e} des r{\'e}sultats prometteurs dans diverses t{\^a}ches litt{\'e}raires, souvent li{\'e}s la m{\'e}morisation de d{\'e}tails complexes sur la narration et les personnages fictifs. Dans cet article, nous {\'e}valuons la capacit{\'e} de Llama-3 {\`a} attribuer les citations {\`a} leur locuteur dans les romans Anglais du 18{\`e}me au 20{\`e}me si{\`e}cle. Le LLM obtient des r{\'e}sultats impressionnants sur un corpus de 28 romans, surpassant largement les performances publi{\'e}es de ChatGPT et de mod{\`e}les bas{\'e}s sur de puissants encodeurs de texte. Nous validons ensuite ces r{\'e}sultats en analysant l{'}impact de la m{\'e}morisation des passages de livres et d{'}une {\'e}ventuelle contamination des annotations. Nos analyses montrent que ces formes de m{\'e}morisation n{'}expliquent pas l{'}important gain de performance, {\'e}tablissant ainsi Llama-3 comme le nouvel {\'e}tat de l{'}art pour l{'}attribution des citations dans la litt{\'e}rature anglaise. L{'}article est disponible sur le site suivant : https://aclanthology.org/ 2025.naacl-short.62/"
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="michel-etal-2025-evaluation">
<titleInfo>
<title>Évaluation des LLMs pour l’Attribution de Citations dans les Textes Littéraires: une Étude de LLaMa3</title>
</titleInfo>
<name type="personal">
<namePart type="given">Gaspard</namePart>
<namePart type="family">Michel</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Elena</namePart>
<namePart type="family">V. Epure</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Romain</namePart>
<namePart type="family">Hennequin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Christophe</namePart>
<namePart type="family">Cerisara</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d’articles publiés</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les grands modèles de langage (LLMs) ont montré des résultats prometteurs dans diverses tâches littéraires, souvent liés la mémorisation de détails complexes sur la narration et les personnages fictifs. Dans cet article, nous évaluons la capacité de Llama-3 à attribuer les citations à leur locuteur dans les romans Anglais du 18ème au 20ème siècle. Le LLM obtient des résultats impressionnants sur un corpus de 28 romans, surpassant largement les performances publiées de ChatGPT et de modèles basés sur de puissants encodeurs de texte. Nous validons ensuite ces résultats en analysant l’impact de la mémorisation des passages de livres et d’une éventuelle contamination des annotations. Nos analyses montrent que ces formes de mémorisation n’expliquent pas l’important gain de performance, établissant ainsi Llama-3 comme le nouvel état de l’art pour l’attribution des citations dans la littérature anglaise. L’article est disponible sur le site suivant : https://aclanthology.org/ 2025.naacl-short.62/</abstract>
<identifier type="citekey">michel-etal-2025-evaluation</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-trad.11/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>14</start>
<end>14</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Évaluation des LLMs pour l’Attribution de Citations dans les Textes Littéraires: une Étude de LLaMa3
%A Michel, Gaspard
%A V. Epure, Elena
%A Hennequin, Romain
%A Cerisara, Christophe
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d’articles publiés
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F michel-etal-2025-evaluation
%X Les grands modèles de langage (LLMs) ont montré des résultats prometteurs dans diverses tâches littéraires, souvent liés la mémorisation de détails complexes sur la narration et les personnages fictifs. Dans cet article, nous évaluons la capacité de Llama-3 à attribuer les citations à leur locuteur dans les romans Anglais du 18ème au 20ème siècle. Le LLM obtient des résultats impressionnants sur un corpus de 28 romans, surpassant largement les performances publiées de ChatGPT et de modèles basés sur de puissants encodeurs de texte. Nous validons ensuite ces résultats en analysant l’impact de la mémorisation des passages de livres et d’une éventuelle contamination des annotations. Nos analyses montrent que ces formes de mémorisation n’expliquent pas l’important gain de performance, établissant ainsi Llama-3 comme le nouvel état de l’art pour l’attribution des citations dans la littérature anglaise. L’article est disponible sur le site suivant : https://aclanthology.org/ 2025.naacl-short.62/
%U https://aclanthology.org/2025.jeptalnrecital-trad.11/
%P 14-14
Markdown (Informal)
[Évaluation des LLMs pour l’Attribution de Citations dans les Textes Littéraires: une Étude de LLaMa3](https://aclanthology.org/2025.jeptalnrecital-trad.11/) (Michel et al., JEP/TALN/RECITAL 2025)
ACL