@inproceedings{hau-nguyen-etal-2022-filtrage,
title = "Filtrage et r{\'e}gularisation pour am{\'e}liorer la plausibilit{\'e} des poids d{'}attention dans la t{\^a}che d{'}inf{\'e}rence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in {NLI})",
author = "Hau Nguyen, Duc and
Gravier, Guillaume and
S{\'e}billot, Pascale",
editor = "Est{\`e}ve, Yannick and
Jim{\'e}nez, Tania and
Parcollet, Titouan and
Zanon Boito, Marcely",
booktitle = "Actes de la 29e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
month = "6",
year = "2022",
address = "Avignon, France",
publisher = "ATALA",
url = "https://aclanthology.org/2022.jeptalnrecital-taln.9",
pages = "95--103",
abstract = "Nous {\'e}tudions la plausibilit{\'e} d{'}un m{\'e}canisme d{'}attention pour une t{\^a}che d{'}inf{\'e}rence de phrases (entailment), c{'}est-{\`a}-dire sa capacit{\'e} {\`a} fournir une explication plausible pour un humain de la relation entre deux phrases. En s{'}appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a {\'e}t{\'e} montr{\'e} que les poids d{'}attention sont peu plausibles en pratique et tendent {\`a} ne pas se concentrer sur les tokens importants. Nous {\'e}tudions ici diff{\'e}rentes approches pour rendre les poids d{'}attention plus plausibles, en nous appuyant sur des masques issus d{'}une analyse morphosyntaxique ou sur une r{\'e}gularisation pour forcer la parcimonie. Nous montrons que ces strat{\'e}gies permettent d{'}am{\'e}liorer sensiblement la plausibilit{\'e} des poids d{'}attention et s{'}av{\`e}rent plus performantes que les approches par carte de saillance.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="hau-nguyen-etal-2022-filtrage">
<titleInfo>
<title>Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Duc</namePart>
<namePart type="family">Hau Nguyen</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Guillaume</namePart>
<namePart type="family">Gravier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Pascale</namePart>
<namePart type="family">Sébillot</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2022-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale</title>
</titleInfo>
<name type="personal">
<namePart type="given">Yannick</namePart>
<namePart type="family">Estève</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Tania</namePart>
<namePart type="family">Jiménez</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Titouan</namePart>
<namePart type="family">Parcollet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marcely</namePart>
<namePart type="family">Zanon Boito</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Avignon, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.</abstract>
<identifier type="citekey">hau-nguyen-etal-2022-filtrage</identifier>
<location>
<url>https://aclanthology.org/2022.jeptalnrecital-taln.9</url>
</location>
<part>
<date>2022-6</date>
<extent unit="page">
<start>95</start>
<end>103</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI)
%A Hau Nguyen, Duc
%A Gravier, Guillaume
%A Sébillot, Pascale
%Y Estève, Yannick
%Y Jiménez, Tania
%Y Parcollet, Titouan
%Y Zanon Boito, Marcely
%S Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
%D 2022
%8 June
%I ATALA
%C Avignon, France
%G French
%F hau-nguyen-etal-2022-filtrage
%X Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.
%U https://aclanthology.org/2022.jeptalnrecital-taln.9
%P 95-103
Markdown (Informal)
[Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI)](https://aclanthology.org/2022.jeptalnrecital-taln.9) (Hau Nguyen et al., JEP/TALN/RECITAL 2022)
ACL