@inproceedings{charpentier-etal-2025-alignements,
title = "Alignements entre attention et s{\'e}mantique dans des mod{\`e}les de langues pr{\'e}-entra{\^i}n{\'e}s",
author = "Charpentier, Fr{\'e}d{\'e}ric and
Cugliari Duhalde, Jairo and
Guille, Adrien",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-taln.6/",
pages = "100--116",
language = "fra",
abstract = "Les AMR (Abstract Meaning Representation) sont une structure destin{\'e}e {\`a} coder la s{\'e}mantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent {\^e}tre align{\'e}s avec les sommets de l{'}AMR, de telle sorte que les relations s{\'e}mantiques entre les mots puissent {\^e}tre mises en correspondance avec les r{\^o}les s{\'e}mantiques lus sur les arcs de l{'}AMR. Le m{\'e}canisme d{'}attention d{'}un mod{\`e}le de langue (ML) peut {\^e}tre mod{\'e}lis{\'e} comme le calcul de vecteurs descripteurs pour les ar{\^e}tes d{'}un graphe complet dont les sommets sont les mots d{'}une phrase ou d{'}un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d{'}attention et concevons des m{\'e}thodes supervis{\'e}es pour d{\'e}tecter les relations s{\'e}mantiques {\'e}tiquetant les ar{\^e}tes {\`a} partir des poids d{'}attention. Pour cela, nous mettons en {\oe}uvre des m{\'e}thodes op{\'e}rant soit sur les ar{\^e}tes une {\`a} une, soit sur le graphe d{'}attention entier afin de comparer les capacit{\'e}s s{\'e}mantiques de ML pr{\'e}-entra{\^i}n{\'e}s. Il ressort de cette {\'e}tude que l{'}encodeur bidirectionnel RoBERTA-base est meilleur que les d{\'e}codeurs causaux, jusqu'{\`a} Llama 3 8B."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="charpentier-etal-2025-alignements">
<titleInfo>
<title>Alignements entre attention et sémantique dans des modèles de langues pré-entraînés</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Charpentier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jairo</namePart>
<namePart type="family">Cugliari Duhalde</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Guille</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les AMR (Abstract Meaning Representation) sont une structure destinée à coder la sémantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent être alignés avec les sommets de l’AMR, de telle sorte que les relations sémantiques entre les mots puissent être mises en correspondance avec les rôles sémantiques lus sur les arcs de l’AMR. Le mécanisme d’attention d’un modèle de langue (ML) peut être modélisé comme le calcul de vecteurs descripteurs pour les arêtes d’un graphe complet dont les sommets sont les mots d’une phrase ou d’un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d’attention et concevons des méthodes supervisées pour détecter les relations sémantiques étiquetant les arêtes à partir des poids d’attention. Pour cela, nous mettons en øeuvre des méthodes opérant soit sur les arêtes une à une, soit sur le graphe d’attention entier afin de comparer les capacités sémantiques de ML pré-entraînés. Il ressort de cette étude que l’encodeur bidirectionnel RoBERTA-base est meilleur que les décodeurs causaux, jusqu’à Llama 3 8B.</abstract>
<identifier type="citekey">charpentier-etal-2025-alignements</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-taln.6/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>100</start>
<end>116</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Alignements entre attention et sémantique dans des modèles de langues pré-entraînés
%A Charpentier, Frédéric
%A Cugliari Duhalde, Jairo
%A Guille, Adrien
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F charpentier-etal-2025-alignements
%X Les AMR (Abstract Meaning Representation) sont une structure destinée à coder la sémantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent être alignés avec les sommets de l’AMR, de telle sorte que les relations sémantiques entre les mots puissent être mises en correspondance avec les rôles sémantiques lus sur les arcs de l’AMR. Le mécanisme d’attention d’un modèle de langue (ML) peut être modélisé comme le calcul de vecteurs descripteurs pour les arêtes d’un graphe complet dont les sommets sont les mots d’une phrase ou d’un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d’attention et concevons des méthodes supervisées pour détecter les relations sémantiques étiquetant les arêtes à partir des poids d’attention. Pour cela, nous mettons en øeuvre des méthodes opérant soit sur les arêtes une à une, soit sur le graphe d’attention entier afin de comparer les capacités sémantiques de ML pré-entraînés. Il ressort de cette étude que l’encodeur bidirectionnel RoBERTA-base est meilleur que les décodeurs causaux, jusqu’à Llama 3 8B.
%U https://aclanthology.org/2025.jeptalnrecital-taln.6/
%P 100-116
Markdown (Informal)
[Alignements entre attention et sémantique dans des modèles de langues pré-entraînés](https://aclanthology.org/2025.jeptalnrecital-taln.6/) (Charpentier et al., JEP/TALN/RECITAL 2025)
ACL