@inproceedings{le-bronnec-etal-2024-locost-modeles,
title = "{LOCOST}: Mod{\`e}les Espace-{\'E}tat pour le R{\'e}sum{\'e} Abstractif de Documents Longs",
author = "Le Bronnec, Florian and
Duong, Song and
Allauzen, Alexandre and
Guigue, Vincent and
Lumbreras, Alberto and
Soulier, Laure and
Gallinari, Patrick",
editor = "Balaguer, Mathieu and
Bendahman, Nihed and
Ho-dac, Lydia-Mai and
Mauclair, Julie and
G Moreno, Jose and
Pinquier, Julien",
booktitle = "Actes de la 31{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publi{\`e}s",
month = "7",
year = "2024",
address = "Toulouse, France",
publisher = "ATALA and AFPC",
url = "https://aclanthology.org/2024.jeptalnrecital-trad.7",
pages = "11--11",
abstract = "Les mod{\`e}les espace-{\'e}tat constituent une alternative peu co{\^u}teuse en termes de complexit{\'e} de calcul aux transformeurs pour le codage de longues s{\'e}quences et la capture de longues d{\'e}pendances. Nous proposons LOCOST: une architecture encodeur-d{\'e}codeur bas{\'e}e sur des mod{\`e}les espace-{\'e}tat pour la g{\'e}n{\'e}ration de textes conditionnels avec de longues entr{\'e}es contextuelles. Avec une complexit{\'e} de calcul de O(L log L), cette architecture peut traiter des s{\'e}quences beaucoup plus longues que les mod{\`e}les de r{\'e}f{\'e}rence qui sont bas{\'e}s sur des mod{\`e}les d{'}attention parcimonieux. Nous {\'e}valuons notre mod{\`e}le sur une s{\'e}rie de t{\^a}ches de r{\'e}sum{\'e} abstractif de longs documents. Le mod{\`e}le atteint un niveau de performance qui est 93-96 comparable aux transformeurs parcimonieux les plus performants de la m{\^e}me taille tout en {\'e}conomisant jusqu{'}{\`a} 50 de m{\'e}moire pendant l{'}apprentissage et jusqu{'}{\`a} 87 pendant l{'}inf{\'e}rence. En outre, LOCOST traite efficacement les entr{\'e}es d{\'e}passant 600K tokens au moment de l{'}inf{\'e}rence, {\'e}tablissant de nouveaux r{\'e}sultats de r{\'e}f{\'e}rence sur le r{\'e}sum{\'e} de livre complet et ouvrant de nouvelles perspectives pour le traitement des entr{\'e}es longues.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="le-bronnec-etal-2024-locost-modeles">
<titleInfo>
<title>LOCOST: Modèles Espace-État pour le Résumé Abstractif de Documents Longs</title>
</titleInfo>
<name type="personal">
<namePart type="given">Florian</namePart>
<namePart type="family">Le Bronnec</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Song</namePart>
<namePart type="family">Duong</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Alexandre</namePart>
<namePart type="family">Allauzen</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Vincent</namePart>
<namePart type="family">Guigue</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Alberto</namePart>
<namePart type="family">Lumbreras</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Laure</namePart>
<namePart type="family">Soulier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Patrick</namePart>
<namePart type="family">Gallinari</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2024-07</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d’articles publiès</title>
</titleInfo>
<name type="personal">
<namePart type="given">Mathieu</namePart>
<namePart type="family">Balaguer</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Nihed</namePart>
<namePart type="family">Bendahman</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Lydia-Mai</namePart>
<namePart type="family">Ho-dac</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Julie</namePart>
<namePart type="family">Mauclair</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jose</namePart>
<namePart type="family">G Moreno</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Julien</namePart>
<namePart type="family">Pinquier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA and AFPC</publisher>
<place>
<placeTerm type="text">Toulouse, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les modèles espace-état constituent une alternative peu coûteuse en termes de complexité de calcul aux transformeurs pour le codage de longues séquences et la capture de longues dépendances. Nous proposons LOCOST: une architecture encodeur-décodeur basée sur des modèles espace-état pour la génération de textes conditionnels avec de longues entrées contextuelles. Avec une complexité de calcul de O(L log L), cette architecture peut traiter des séquences beaucoup plus longues que les modèles de référence qui sont basés sur des modèles d’attention parcimonieux. Nous évaluons notre modèle sur une série de tâches de résumé abstractif de longs documents. Le modèle atteint un niveau de performance qui est 93-96 comparable aux transformeurs parcimonieux les plus performants de la même taille tout en économisant jusqu’à 50 de mémoire pendant l’apprentissage et jusqu’à 87 pendant l’inférence. En outre, LOCOST traite efficacement les entrées dépassant 600K tokens au moment de l’inférence, établissant de nouveaux résultats de référence sur le résumé de livre complet et ouvrant de nouvelles perspectives pour le traitement des entrées longues.</abstract>
<identifier type="citekey">le-bronnec-etal-2024-locost-modeles</identifier>
<location>
<url>https://aclanthology.org/2024.jeptalnrecital-trad.7</url>
</location>
<part>
<date>2024-7</date>
<extent unit="page">
<start>11</start>
<end>11</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T LOCOST: Modèles Espace-État pour le Résumé Abstractif de Documents Longs
%A Le Bronnec, Florian
%A Duong, Song
%A Allauzen, Alexandre
%A Guigue, Vincent
%A Lumbreras, Alberto
%A Soulier, Laure
%A Gallinari, Patrick
%Y Balaguer, Mathieu
%Y Bendahman, Nihed
%Y Ho-dac, Lydia-Mai
%Y Mauclair, Julie
%Y G Moreno, Jose
%Y Pinquier, Julien
%S Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d’articles publiès
%D 2024
%8 July
%I ATALA and AFPC
%C Toulouse, France
%G French
%F le-bronnec-etal-2024-locost-modeles
%X Les modèles espace-état constituent une alternative peu coûteuse en termes de complexité de calcul aux transformeurs pour le codage de longues séquences et la capture de longues dépendances. Nous proposons LOCOST: une architecture encodeur-décodeur basée sur des modèles espace-état pour la génération de textes conditionnels avec de longues entrées contextuelles. Avec une complexité de calcul de O(L log L), cette architecture peut traiter des séquences beaucoup plus longues que les modèles de référence qui sont basés sur des modèles d’attention parcimonieux. Nous évaluons notre modèle sur une série de tâches de résumé abstractif de longs documents. Le modèle atteint un niveau de performance qui est 93-96 comparable aux transformeurs parcimonieux les plus performants de la même taille tout en économisant jusqu’à 50 de mémoire pendant l’apprentissage et jusqu’à 87 pendant l’inférence. En outre, LOCOST traite efficacement les entrées dépassant 600K tokens au moment de l’inférence, établissant de nouveaux résultats de référence sur le résumé de livre complet et ouvrant de nouvelles perspectives pour le traitement des entrées longues.
%U https://aclanthology.org/2024.jeptalnrecital-trad.7
%P 11-11
Markdown (Informal)
[LOCOST: Modèles Espace-État pour le Résumé Abstractif de Documents Longs](https://aclanthology.org/2024.jeptalnrecital-trad.7) (Le Bronnec et al., JEP/TALN/RECITAL 2024)
ACL
- Florian Le Bronnec, Song Duong, Alexandre Allauzen, Vincent Guigue, Alberto Lumbreras, Laure Soulier, and Patrick Gallinari. 2024. LOCOST: Modèles Espace-État pour le Résumé Abstractif de Documents Longs. In Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publiès, pages 11–11, Toulouse, France. ATALA and AFPC.