@inproceedings{fagnou-etal-2025-attention,
title = "Attention Cha{\^i}n{\'e}e et Causale pour un Suivi Efficace des Entit{\'e}s",
author = "Fagnou, Erwan and
Caillon, Paul and
Delattre, Blaise and
Allauzen, Alexandre",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d'articles publi{\'e}s",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-trad.6/",
pages = "8--8",
language = "fra",
abstract = "Ce travail met en {\'e}vidence une limitation th{\'e}orique des transformers pour les t{\^a}ches de suivi d{'}entit{\'e}s, montrant qu{'}ils n{\'e}cessitent log2(n+ 1) couches pour g{\'e}rer n changements d'{\'e}tat. Pour surmonter cette contrainte, nous proposons ChaCAL (Chain and Causal Attention Layer), une modification de l{'}attention standard qui l{'}interpr{\`e}te comme une matrice d{'}adjacence, permettant de capturer efficacement les d{\'e}pendances longues avec une seule couche. Les exp{\'e}riences men{\'e}es sur un jeu de donn{\'e}es synth{\'e}tique et un autre de suivi d{'}objets d{\'e}montrent que ChaCAL surpasse les transformers classiques en r{\'e}duisant la profondeur du mod{\`e}le, tout en maintenant des performances comp{\'e}titives sur une t{\^a}che de mod{\'e}lisation du langage. Cette approche optimise l{'}efficacit{\'e} des mod{\`e}les tout en r{\'e}duisant leur co{\^u}t computationnel."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="fagnou-etal-2025-attention">
<titleInfo>
<title>Attention Chaînée et Causale pour un Suivi Efficace des Entités</title>
</titleInfo>
<name type="personal">
<namePart type="given">Erwan</namePart>
<namePart type="family">Fagnou</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Paul</namePart>
<namePart type="family">Caillon</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Blaise</namePart>
<namePart type="family">Delattre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Alexandre</namePart>
<namePart type="family">Allauzen</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d’articles publiés</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Ce travail met en évidence une limitation théorique des transformers pour les tâches de suivi d’entités, montrant qu’ils nécessitent log2(n+ 1) couches pour gérer n changements d’état. Pour surmonter cette contrainte, nous proposons ChaCAL (Chain and Causal Attention Layer), une modification de l’attention standard qui l’interprète comme une matrice d’adjacence, permettant de capturer efficacement les dépendances longues avec une seule couche. Les expériences menées sur un jeu de données synthétique et un autre de suivi d’objets démontrent que ChaCAL surpasse les transformers classiques en réduisant la profondeur du modèle, tout en maintenant des performances compétitives sur une tâche de modélisation du langage. Cette approche optimise l’efficacité des modèles tout en réduisant leur coût computationnel.</abstract>
<identifier type="citekey">fagnou-etal-2025-attention</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-trad.6/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>8</start>
<end>8</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Attention Chaînée et Causale pour un Suivi Efficace des Entités
%A Fagnou, Erwan
%A Caillon, Paul
%A Delattre, Blaise
%A Allauzen, Alexandre
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d’articles publiés
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F fagnou-etal-2025-attention
%X Ce travail met en évidence une limitation théorique des transformers pour les tâches de suivi d’entités, montrant qu’ils nécessitent log2(n+ 1) couches pour gérer n changements d’état. Pour surmonter cette contrainte, nous proposons ChaCAL (Chain and Causal Attention Layer), une modification de l’attention standard qui l’interprète comme une matrice d’adjacence, permettant de capturer efficacement les dépendances longues avec une seule couche. Les expériences menées sur un jeu de données synthétique et un autre de suivi d’objets démontrent que ChaCAL surpasse les transformers classiques en réduisant la profondeur du modèle, tout en maintenant des performances compétitives sur une tâche de modélisation du langage. Cette approche optimise l’efficacité des modèles tout en réduisant leur coût computationnel.
%U https://aclanthology.org/2025.jeptalnrecital-trad.6/
%P 8-8
Markdown (Informal)
[Attention Chaînée et Causale pour un Suivi Efficace des Entités](https://aclanthology.org/2025.jeptalnrecital-trad.6/) (Fagnou et al., JEP/TALN/RECITAL 2025)
ACL
- Erwan Fagnou, Paul Caillon, Blaise Delattre, and Alexandre Allauzen. 2025. Attention Chaînée et Causale pour un Suivi Efficace des Entités. In Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d'articles publiés, pages 8–8, Marseille, France. ATALA \\& ARIA.