<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="falissard-etal-2023-apprentissage">
    <titleInfo>
        <title>Apprentissage de sous-espaces de préfixes</title>
    </titleInfo>
    <name type="personal">
        <namePart type="given">Louis</namePart>
        <namePart type="family">Falissard</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Vincent</namePart>
        <namePart type="family">Guigue</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Laure</namePart>
        <namePart type="family">Soulier</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <originInfo>
        <dateIssued>2023-06</dateIssued>
    </originInfo>
    <typeOfResource>text</typeOfResource>
    <language>
        <languageTerm type="text">French</languageTerm>
        <languageTerm type="code" authority="iso639-2b">fre</languageTerm>
    </language>
    <relatedItem type="host">
        <titleInfo>
            <title>Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA)</title>
        </titleInfo>
        <name type="personal">
            <namePart type="given">Haïfa</namePart>
            <namePart type="family">Zargayouna</namePart>
            <role>
                <roleTerm authority="marcrelator" type="text">editor</roleTerm>
            </role>
        </name>
        <originInfo>
            <publisher>ATALA</publisher>
            <place>
                <placeTerm type="text">Paris, France</placeTerm>
            </place>
        </originInfo>
        <genre authority="marcgt">conference publication</genre>
    </relatedItem>
    <abstract>Cet article propose une nouvelle façon d’ajuster des modèles de langue en “Few-shot learning” se basant sur une méthode d’optimisation récemment introduite en vision informatique, l’apprentissage de sous-espaces de modèles. Cette méthode, permettant de trouver non pas un point minimum local de la fonction coût dans l’espace des paramètres du modèle, mais tout un simplexe associé à des valeurs basses, présente typiquement des capacités de généralisation supérieures aux solutions obtenues par ajustement traditionnel. L’adaptation de cette méthode aux gros modèles de langue n’est pas triviale mais son application aux méthodes d’ajustement dites “Parameter Efficient” est quant à elle relativement naturelle. On propose de plus une façon innovante d’utiliser le simplexe de solution étudié afin de revisiter la notion de guidage de l’ajustement d’un modèle par l’inférence d’une métrique de validation, problématique d’actualité en “few-shot learning”. On montre finalement que ces différentes contributions centrées autour de l’ajustement de sous-espaces de modèles est empiriquement associée à un gain considérable en performances de généralisation sur les tâches de compréhension du langage du benchmark GLUE, dans un contexte de “few-shot learning”.</abstract>
    <identifier type="citekey">falissard-etal-2023-apprentissage</identifier>
    <location>
        <url>https://aclanthology.org/2023.jeptalnrecital-coria.4</url>
    </location>
    <part>
        <date>2023-6</date>
        <extent unit="page">
            <start>59</start>
            <end>73</end>
        </extent>
    </part>
</mods>
</modsCollection>

%0 Conference Proceedings
%T Apprentissage de sous-espaces de préfixes
%A Falissard, Louis
%A Guigue, Vincent
%A Soulier, Laure
%Y Zargayouna, Haïfa
%S Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA)
%D 2023
%8 June
%I ATALA
%C Paris, France
%G French
%F falissard-etal-2023-apprentissage
%X Cet article propose une nouvelle façon d’ajuster des modèles de langue en “Few-shot learning” se basant sur une méthode d’optimisation récemment introduite en vision informatique, l’apprentissage de sous-espaces de modèles. Cette méthode, permettant de trouver non pas un point minimum local de la fonction coût dans l’espace des paramètres du modèle, mais tout un simplexe associé à des valeurs basses, présente typiquement des capacités de généralisation supérieures aux solutions obtenues par ajustement traditionnel. L’adaptation de cette méthode aux gros modèles de langue n’est pas triviale mais son application aux méthodes d’ajustement dites “Parameter Efficient” est quant à elle relativement naturelle. On propose de plus une façon innovante d’utiliser le simplexe de solution étudié afin de revisiter la notion de guidage de l’ajustement d’un modèle par l’inférence d’une métrique de validation, problématique d’actualité en “few-shot learning”. On montre finalement que ces différentes contributions centrées autour de l’ajustement de sous-espaces de modèles est empiriquement associée à un gain considérable en performances de généralisation sur les tâches de compréhension du langage du benchmark GLUE, dans un contexte de “few-shot learning”.
%U https://aclanthology.org/2023.jeptalnrecital-coria.4
%P 59-73

Markdown (Informal)

[Apprentissage de sous-espaces de préfixes](https://aclanthology.org/2023.jeptalnrecital-coria.4) (Falissard et al., JEP/TALN/RECITAL 2023)

• Apprentissage de sous-espaces de préfixes (Falissard et al., JEP/TALN/RECITAL 2023)

ACL

• Louis Falissard, Vincent Guigue, and Laure Soulier. 2023. Apprentissage de sous-espaces de préfixes. In Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA), pages 59–73, Paris, France. ATALA.