@inproceedings{fosse-etal-2022-une,
title = "Une {\'e}tude statistique des plongements dans les mod{\`e}les transformers pour le fran{\c{c}}ais (An empirical statistical study of embeddings in {F}rench transformers)",
author = {Fosse, Lo{\"\i}c and
Nguyen, Duc-Hau and
S{\'e}billot, Pascale and
Gravier, Guillaume},
editor = "Est{\`e}ve, Yannick and
Jim{\'e}nez, Tania and
Parcollet, Titouan and
Zanon Boito, Marcely",
booktitle = "Actes de la 29e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
month = "6",
year = "2022",
address = "Avignon, France",
publisher = "ATALA",
url = "https://aclanthology.org/2022.jeptalnrecital-taln.24",
pages = "247--256",
abstract = "Nous {\'e}tudions les propri{\'e}t{\'e}s statistiques des plongements dans les mod{\`e}les transformers pour le fran{\c{c}}ais. Nous nous appuyons sur une analyse de la variance, des similarit{\'e}s cosinus intra-phrase et du rang effectif des plongements aux diff{\'e}rents niveaux d{'}un transformer, pour des mod{\`e}les pr{\'e}-entra{\^\i}n{\'e}s et des mod{\`e}les adapt{\'e}s {\`a} la classification de textes. Nous montrons que les mod{\`e}les FlauBERT et CamemBERT pr{\'e}-entra{\^\i}n{\'e}s ont des comportements tr{\`e}s diff{\'e}rents m{\^e}me si les deux ont une tendance {\`a} g{\'e}n{\'e}rer des repr{\'e}sentations anisotropiques, c{'}est-{\`a}-dire se concentrant dans un c{\^o}ne au sein de l{'}espace des plongements, comme observ{\'e} pour l{'}anglais. L{'}adaptation {\`a} la classification de textes modifie le comportement des mod{\`e}les, notamment dans les derni{\`e}res couches, et procure une tendance forte {\`a} l{'}alignement des plongements, r{\'e}duisant {\'e}galement la dimension effective de l{'}espace au final. Nous mettons {\'e}galement en {\'e}vidence un lien entre convergence des plongements au sein d{'}une phrase et classification de texte, lien dont la nature reste difficile {\`a} appr{\'e}hender.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="fosse-etal-2022-une">
<titleInfo>
<title>Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in French transformers)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Loïc</namePart>
<namePart type="family">Fosse</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Duc-Hau</namePart>
<namePart type="family">Nguyen</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Pascale</namePart>
<namePart type="family">Sébillot</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Guillaume</namePart>
<namePart type="family">Gravier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2022-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale</title>
</titleInfo>
<name type="personal">
<namePart type="given">Yannick</namePart>
<namePart type="family">Estève</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Tania</namePart>
<namePart type="family">Jiménez</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Titouan</namePart>
<namePart type="family">Parcollet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marcely</namePart>
<namePart type="family">Zanon Boito</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Avignon, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Nous étudions les propriétés statistiques des plongements dans les modèles transformers pour le français. Nous nous appuyons sur une analyse de la variance, des similarités cosinus intra-phrase et du rang effectif des plongements aux différents niveaux d’un transformer, pour des modèles pré-entraînés et des modèles adaptés à la classification de textes. Nous montrons que les modèles FlauBERT et CamemBERT pré-entraînés ont des comportements très différents même si les deux ont une tendance à générer des représentations anisotropiques, c’est-à-dire se concentrant dans un cône au sein de l’espace des plongements, comme observé pour l’anglais. L’adaptation à la classification de textes modifie le comportement des modèles, notamment dans les dernières couches, et procure une tendance forte à l’alignement des plongements, réduisant également la dimension effective de l’espace au final. Nous mettons également en évidence un lien entre convergence des plongements au sein d’une phrase et classification de texte, lien dont la nature reste difficile à appréhender.</abstract>
<identifier type="citekey">fosse-etal-2022-une</identifier>
<location>
<url>https://aclanthology.org/2022.jeptalnrecital-taln.24</url>
</location>
<part>
<date>2022-6</date>
<extent unit="page">
<start>247</start>
<end>256</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in French transformers)
%A Fosse, Loïc
%A Nguyen, Duc-Hau
%A Sébillot, Pascale
%A Gravier, Guillaume
%Y Estève, Yannick
%Y Jiménez, Tania
%Y Parcollet, Titouan
%Y Zanon Boito, Marcely
%S Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
%D 2022
%8 June
%I ATALA
%C Avignon, France
%G French
%F fosse-etal-2022-une
%X Nous étudions les propriétés statistiques des plongements dans les modèles transformers pour le français. Nous nous appuyons sur une analyse de la variance, des similarités cosinus intra-phrase et du rang effectif des plongements aux différents niveaux d’un transformer, pour des modèles pré-entraînés et des modèles adaptés à la classification de textes. Nous montrons que les modèles FlauBERT et CamemBERT pré-entraînés ont des comportements très différents même si les deux ont une tendance à générer des représentations anisotropiques, c’est-à-dire se concentrant dans un cône au sein de l’espace des plongements, comme observé pour l’anglais. L’adaptation à la classification de textes modifie le comportement des modèles, notamment dans les dernières couches, et procure une tendance forte à l’alignement des plongements, réduisant également la dimension effective de l’espace au final. Nous mettons également en évidence un lien entre convergence des plongements au sein d’une phrase et classification de texte, lien dont la nature reste difficile à appréhender.
%U https://aclanthology.org/2022.jeptalnrecital-taln.24
%P 247-256
Markdown (Informal)
[Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in French transformers)](https://aclanthology.org/2022.jeptalnrecital-taln.24) (Fosse et al., JEP/TALN/RECITAL 2022)
ACL