@inproceedings{arens-etal-2023-impact,
title = "Impact de l{'}apprentissage multi-labels actif appliqu{\'e} aux transformers",
author = "Arens, Maxime and
Teiss{\`e}dre, Charles and
Callebert, Lucile and
Moreno, Jose G and
Boughanem, Mohand",
editor = {Zargayouna, Ha{\"\i}fa},
booktitle = "Actes de CORIA-TALN 2023. Actes de la 18e Conf{\'e}rence en Recherche d'Information et Applications (CORIA)",
month = "6",
year = "2023",
address = "Paris, France",
publisher = "ATALA",
url = "https://aclanthology.org/2023.jeptalnrecital-coria.1",
pages = "2--17",
abstract = "L{'}Apprentissage Actif (AA) est largement utilis{\'e} en apprentissage automatique afin de r{\'e}duire l{'}effort d{'}annotation. Bien que la plupart des travaux d{'}AA soient ant{\'e}rieurs aux transformers, le succ{\`e}s r{\'e}cent de ces architectures a conduit la communaut{\'e} {\`a} revisiter l{'}AA dans le contexte des mod{\`e}les de langues pr{\'e}-entra{\^\i}n{\'e}s.De plus, le m{\'e}canisme de fine-tuning, o{\`u} seules quelques donn{\'e}es annot{\'e}es sont utilis{\'e}es pour entra{\^\i}ner le mod{\`e}le sur une nouvelle t{\^a}che, est parfaitement en accord avec l{'}objectif de l{'}AA. Nous proposons d{'}{\'e}tudier l{'}impact de l{'}AA dans le contexte des transformers pour la t{\^a}che de classification multi-labels. Or la plupart des strat{\'e}gies AA, lorsqu{'}elles sont appliqu{\'e}es {\`a} ces mod{\`e}les, conduisent {\`a} des temps de calcul excessifs, ce qui emp{\^e}che leur utilisation au cours d{'}une interaction homme-machine en temps r{\'e}el. Afin de pallier ce probl{\`e}me, nous utilisons des strat{\'e}gies d{'}AA bas{\'e}es sur l{'}incertitude. L{'}article compare six strat{\'e}gies d{'}AA bas{\'e}es sur l{'}incertitude dans le contexte des transformers et montre que si deux strat{\'e}gies am{\'e}liorent invariablement les performances, les autres ne surpassent pas l{'}{\'e}chantillonnage al{\'e}atoire. L{'}{\'e}tude montre {\'e}galement que les strat{\'e}gies performantes ont tendance {\`a} s{\'e}lectionner des ensembles d{'}instances plus diversifi{\'e}es pour l{'}annotation.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="arens-etal-2023-impact">
<titleInfo>
<title>Impact de l’apprentissage multi-labels actif appliqué aux transformers</title>
</titleInfo>
<name type="personal">
<namePart type="given">Maxime</namePart>
<namePart type="family">Arens</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Charles</namePart>
<namePart type="family">Teissèdre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Lucile</namePart>
<namePart type="family">Callebert</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jose</namePart>
<namePart type="given">G</namePart>
<namePart type="family">Moreno</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mohand</namePart>
<namePart type="family">Boughanem</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2023-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Haïfa</namePart>
<namePart type="family">Zargayouna</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Paris, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’Apprentissage Actif (AA) est largement utilisé en apprentissage automatique afin de réduire l’effort d’annotation. Bien que la plupart des travaux d’AA soient antérieurs aux transformers, le succès récent de ces architectures a conduit la communauté à revisiter l’AA dans le contexte des modèles de langues pré-entraînés.De plus, le mécanisme de fine-tuning, où seules quelques données annotées sont utilisées pour entraîner le modèle sur une nouvelle tâche, est parfaitement en accord avec l’objectif de l’AA. Nous proposons d’étudier l’impact de l’AA dans le contexte des transformers pour la tâche de classification multi-labels. Or la plupart des stratégies AA, lorsqu’elles sont appliquées à ces modèles, conduisent à des temps de calcul excessifs, ce qui empêche leur utilisation au cours d’une interaction homme-machine en temps réel. Afin de pallier ce problème, nous utilisons des stratégies d’AA basées sur l’incertitude. L’article compare six stratégies d’AA basées sur l’incertitude dans le contexte des transformers et montre que si deux stratégies améliorent invariablement les performances, les autres ne surpassent pas l’échantillonnage aléatoire. L’étude montre également que les stratégies performantes ont tendance à sélectionner des ensembles d’instances plus diversifiées pour l’annotation.</abstract>
<identifier type="citekey">arens-etal-2023-impact</identifier>
<location>
<url>https://aclanthology.org/2023.jeptalnrecital-coria.1</url>
</location>
<part>
<date>2023-6</date>
<extent unit="page">
<start>2</start>
<end>17</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Impact de l’apprentissage multi-labels actif appliqué aux transformers
%A Arens, Maxime
%A Teissèdre, Charles
%A Callebert, Lucile
%A Moreno, Jose G.
%A Boughanem, Mohand
%Y Zargayouna, Haïfa
%S Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA)
%D 2023
%8 June
%I ATALA
%C Paris, France
%G French
%F arens-etal-2023-impact
%X L’Apprentissage Actif (AA) est largement utilisé en apprentissage automatique afin de réduire l’effort d’annotation. Bien que la plupart des travaux d’AA soient antérieurs aux transformers, le succès récent de ces architectures a conduit la communauté à revisiter l’AA dans le contexte des modèles de langues pré-entraînés.De plus, le mécanisme de fine-tuning, où seules quelques données annotées sont utilisées pour entraîner le modèle sur une nouvelle tâche, est parfaitement en accord avec l’objectif de l’AA. Nous proposons d’étudier l’impact de l’AA dans le contexte des transformers pour la tâche de classification multi-labels. Or la plupart des stratégies AA, lorsqu’elles sont appliquées à ces modèles, conduisent à des temps de calcul excessifs, ce qui empêche leur utilisation au cours d’une interaction homme-machine en temps réel. Afin de pallier ce problème, nous utilisons des stratégies d’AA basées sur l’incertitude. L’article compare six stratégies d’AA basées sur l’incertitude dans le contexte des transformers et montre que si deux stratégies améliorent invariablement les performances, les autres ne surpassent pas l’échantillonnage aléatoire. L’étude montre également que les stratégies performantes ont tendance à sélectionner des ensembles d’instances plus diversifiées pour l’annotation.
%U https://aclanthology.org/2023.jeptalnrecital-coria.1
%P 2-17
Markdown (Informal)
[Impact de l’apprentissage multi-labels actif appliqué aux transformers](https://aclanthology.org/2023.jeptalnrecital-coria.1) (Arens et al., JEP/TALN/RECITAL 2023)
ACL