<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="sourty-etal-2023-enrichissement">
    <titleInfo>
        <title>Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances</title>
    </titleInfo>
    <name type="personal">
        <namePart type="given">Raphaël</namePart>
        <namePart type="family">Sourty</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Jose</namePart>
        <namePart type="given">G</namePart>
        <namePart type="family">Moreno</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">François-Paul</namePart>
        <namePart type="family">Servant</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Lynda</namePart>
        <namePart type="family">Tamine</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <originInfo>
        <dateIssued>2023-06</dateIssued>
    </originInfo>
    <typeOfResource>text</typeOfResource>
    <language>
        <languageTerm type="text">French</languageTerm>
        <languageTerm type="code" authority="iso639-2b">fre</languageTerm>
    </language>
    <relatedItem type="host">
        <titleInfo>
            <title>Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA)</title>
        </titleInfo>
        <name type="personal">
            <namePart type="given">Haïfa</namePart>
            <namePart type="family">Zargayouna</namePart>
            <role>
                <roleTerm authority="marcrelator" type="text">editor</roleTerm>
            </role>
        </name>
        <originInfo>
            <publisher>ATALA</publisher>
            <place>
                <placeTerm type="text">Paris, France</placeTerm>
            </place>
        </originInfo>
        <genre authority="marcgt">conference publication</genre>
    </relatedItem>
    <abstract>Les bases de connaissances sont des ressources essentielles dans un large éventail d’applications à forte intensité de connaissances. Cependant, leur incomplétude limite intrinsèquement leur utilisation et souligne l’importance de les compléter. À cette fin, la littérature a récemment adopté un point de vue de monde ouvert en associant la capacité des bases de connaissances à représenter des connaissances factuelles aux capacités des modèles de langage pré-entraînés (PLM) à capturer des connaissances linguistiques de haut niveau et contextuelles à partir de corpus de textes. Dans ce travail, nous proposons un cadre de distillation pour la complétion des bases de connaissances où les PLMs exploitent les étiquettes souples sous la forme de prédictions d’entités et de relations fournies par un modèle de plongements de bases de connaissances, tout en conservant leur pouvoir de prédiction d’entités sur de grandes collections des textes. Pour mieux s’adapter à la tâche de complétion des connaissances, nous étendons la modélisation traditionnelle du langage masqué des PLM à la prédiction d’entités et d’entités liées dans le contexte. Des expériences utilisant les tâches à forte intensité de connaissances dans le cadre du benchmark d’évaluation KILT montrent le potentiel de notre approche.</abstract>
    <identifier type="citekey">sourty-etal-2023-enrichissement</identifier>
    <location>
        <url>https://aclanthology.org/2023.jeptalnrecital-coria.9</url>
    </location>
    <part>
        <date>2023-6</date>
        <extent unit="page">
            <start>139</start>
            <end>156</end>
        </extent>
    </part>
</mods>
</modsCollection>

%0 Conference Proceedings
%T Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances
%A Sourty, Raphaël
%A Moreno, Jose G.
%A Servant, François-Paul
%A Tamine, Lynda
%Y Zargayouna, Haïfa
%S Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA)
%D 2023
%8 June
%I ATALA
%C Paris, France
%G French
%F sourty-etal-2023-enrichissement
%X Les bases de connaissances sont des ressources essentielles dans un large éventail d’applications à forte intensité de connaissances. Cependant, leur incomplétude limite intrinsèquement leur utilisation et souligne l’importance de les compléter. À cette fin, la littérature a récemment adopté un point de vue de monde ouvert en associant la capacité des bases de connaissances à représenter des connaissances factuelles aux capacités des modèles de langage pré-entraînés (PLM) à capturer des connaissances linguistiques de haut niveau et contextuelles à partir de corpus de textes. Dans ce travail, nous proposons un cadre de distillation pour la complétion des bases de connaissances où les PLMs exploitent les étiquettes souples sous la forme de prédictions d’entités et de relations fournies par un modèle de plongements de bases de connaissances, tout en conservant leur pouvoir de prédiction d’entités sur de grandes collections des textes. Pour mieux s’adapter à la tâche de complétion des connaissances, nous étendons la modélisation traditionnelle du langage masqué des PLM à la prédiction d’entités et d’entités liées dans le contexte. Des expériences utilisant les tâches à forte intensité de connaissances dans le cadre du benchmark d’évaluation KILT montrent le potentiel de notre approche.
%U https://aclanthology.org/2023.jeptalnrecital-coria.9
%P 139-156

Markdown (Informal)

[Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances](https://aclanthology.org/2023.jeptalnrecital-coria.9) (Sourty et al., JEP/TALN/RECITAL 2023)

• Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances (Sourty et al., JEP/TALN/RECITAL 2023)

ACL

• Raphaël Sourty, Jose G Moreno, François-Paul Servant, and Lynda Tamine. 2023. Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances. In Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA), pages 139–156, Paris, France. ATALA.