@inproceedings{mosolova-etal-2025-raffinage,
title = "Raffinage des repr{\'e}sentations des tokens dans les mod{\`e}les de langue pr{\'e}-entra{\^i}n{\'e}s avec l{'}apprentissage contrastif : une {\'e}tude entre mod{\`e}les et entre langues",
author = "Mosolova, Anna and
Candito, Marie and
Ramisch, Carlos",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-taln.40/",
pages = "666--681",
language = "fra",
abstract = "Les mod{\`e}les de langue pr{\'e}-entra{\^i}n{\'e}s ont apport{\'e} des avanc{\'e}es significatives dans les repr{\'e}sentations contextuelles des phrases et des mots. Cependant, les t{\^a}ches lexicales restent un d{\'e}fi pour ces repr{\'e}sentations en raison des probl{\`e}mes tels que la faible similarit{\'e} des representations d{'}un m{\^e}me mot dans des contextes similaires. Mosolova et al. (2024) ont montr{\'e} que l{'}apprentissage contrastif supervis{\'e} au niveau des tokens permettait d{'}am{\'e}liorer les performances sur les t{\^a}ches lexicales. Dans cet article, nous {\'e}tudions la g{\'e}n{\'e}ralisabilit{\'e} de leurs r{\'e}sultats obtenus en anglais au fran{\c{c}}ais, {\`a} d{'}autres mod{\`e}les de langue et {\`a} plusieurs parties du discours. Nous d{\'e}montrons que cette m{\'e}thode d{'}apprentissage contrastif am{\'e}liore syst{\'e}matiquement la performance sur les t{\^a}ches de Word-in-Context et surpasse celle des mod{\`e}les de langage pr{\'e}-entra{\^i}n{\'e}s standards. L{'}analyse de l{'}espace des plongements lexicaux montre que l{'}affinage des mod{\`e}les rapproche les exemples ayant le m{\^e}me sens et {\'e}loigne ceux avec des sens diff{\'e}rents, ce qui indique une meilleure discrimination des sens dans l{'}espace vectoriel final."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="mosolova-etal-2025-raffinage">
<titleInfo>
<title>Raffinage des représentations des tokens dans les modèles de langue pré-entraînés avec l’apprentissage contrastif : une étude entre modèles et entre langues</title>
</titleInfo>
<name type="personal">
<namePart type="given">Anna</namePart>
<namePart type="family">Mosolova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marie</namePart>
<namePart type="family">Candito</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Carlos</namePart>
<namePart type="family">Ramisch</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les modèles de langue pré-entraînés ont apporté des avancées significatives dans les représentations contextuelles des phrases et des mots. Cependant, les tâches lexicales restent un défi pour ces représentations en raison des problèmes tels que la faible similarité des representations d’un même mot dans des contextes similaires. Mosolova et al. (2024) ont montré que l’apprentissage contrastif supervisé au niveau des tokens permettait d’améliorer les performances sur les tâches lexicales. Dans cet article, nous étudions la généralisabilité de leurs résultats obtenus en anglais au français, à d’autres modèles de langue et à plusieurs parties du discours. Nous démontrons que cette méthode d’apprentissage contrastif améliore systématiquement la performance sur les tâches de Word-in-Context et surpasse celle des modèles de langage pré-entraînés standards. L’analyse de l’espace des plongements lexicaux montre que l’affinage des modèles rapproche les exemples ayant le même sens et éloigne ceux avec des sens différents, ce qui indique une meilleure discrimination des sens dans l’espace vectoriel final.</abstract>
<identifier type="citekey">mosolova-etal-2025-raffinage</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-taln.40/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>666</start>
<end>681</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Raffinage des représentations des tokens dans les modèles de langue pré-entraînés avec l’apprentissage contrastif : une étude entre modèles et entre langues
%A Mosolova, Anna
%A Candito, Marie
%A Ramisch, Carlos
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F mosolova-etal-2025-raffinage
%X Les modèles de langue pré-entraînés ont apporté des avancées significatives dans les représentations contextuelles des phrases et des mots. Cependant, les tâches lexicales restent un défi pour ces représentations en raison des problèmes tels que la faible similarité des representations d’un même mot dans des contextes similaires. Mosolova et al. (2024) ont montré que l’apprentissage contrastif supervisé au niveau des tokens permettait d’améliorer les performances sur les tâches lexicales. Dans cet article, nous étudions la généralisabilité de leurs résultats obtenus en anglais au français, à d’autres modèles de langue et à plusieurs parties du discours. Nous démontrons que cette méthode d’apprentissage contrastif améliore systématiquement la performance sur les tâches de Word-in-Context et surpasse celle des modèles de langage pré-entraînés standards. L’analyse de l’espace des plongements lexicaux montre que l’affinage des modèles rapproche les exemples ayant le même sens et éloigne ceux avec des sens différents, ce qui indique une meilleure discrimination des sens dans l’espace vectoriel final.
%U https://aclanthology.org/2025.jeptalnrecital-taln.40/
%P 666-681
Markdown (Informal)
[Raffinage des représentations des tokens dans les modèles de langue pré-entraînés avec l’apprentissage contrastif : une étude entre modèles et entre langues](https://aclanthology.org/2025.jeptalnrecital-taln.40/) (Mosolova et al., JEP/TALN/RECITAL 2025)
ACL