@inproceedings{lovon-melgarejo-etal-2024-evaluer,
title = "{\'E}valuer les mod{\`e}les de langue pr{\'e}-entra{\^\i}n{\'e}s avec des propri{\'e}t{\'e}s de hi{\'e}rarchie",
author = "Lovon-Melgarejo, Jesus and
G Moreno, Jose and
Besan{\c{c}}on, Romaric and
Ferret, Olivier and
Tamine, Lynda",
editor = "Balaguer, Mathieu and
Bendahman, Nihed and
Ho-dac, Lydia-Mai and
Mauclair, Julie and
G Moreno, Jose and
Pinquier, Julien",
booktitle = "Actes de la 31{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publi{\`e}s",
month = "7",
year = "2024",
address = "Toulouse, France",
publisher = "ATALA and AFPC",
url = "https://aclanthology.org/2024.jeptalnrecital-trad.4",
pages = "6--7",
abstract = "{\'E}tant donn{\'e} que les mod{\`e}les de langue pr{\'e}-entra{\^\i}n{\'e}s (PLM) constituent la pierre angulaire des mod{\`e}les de recherche d{'}informations les plus r{\'e}cents, la fa{\c{c}}on dont ils encodent la connaissance s{\'e}mantique est particuli{\`e}rement importante.Cependant, on s{'}est peu int{\'e}ress{\'e} {\`a} la capacit{\'e} des PLM {\`a} capturer la connaissance s{\'e}mantique hi{\'e}rarchique. Traditionnellement, l{'}{\'e}valuation de ces connaissances cod{\'e}es dans les PLM s{'}appuie sur leurs performances lors d{'}{\'e}valuations d{\'e}pendantes de la t{\^a}che, bas{\'e}es sur des t{\^a}ches proxy telles que la d{\'e}tection d{'}hyperonymes.Malheureusement, cette approche ignore potentiellement d{'}autres relations taxonomiques implicites et complexes.Dans ce travail, nous proposons une m{\'e}thode d{'}{\'e}valuation ind{\'e}pendante de la t{\^a}che, capable d{'}{\'e}valuer dans quelle mesure les PLM peuvent capturer des relations taxonomiques complexes, telles que les anc{\^e}tres et les fr{\`e}res et s{\oe}urs.Cette {\'e}valuation, bas{\'e}e sur des propri{\'e}t{\'e}s intrins{\`e}ques capturant ces relations, montre que les connaissances lexico-s{\'e}mantiques cod{\'e}es implicitement dans les PLM ne capturent pas toujours les relations hi{\'e}rarchiques. Nous d{\'e}montrons en outre que les propri{\'e}t{\'e}s propos{\'e}es peuvent {\^e}tre inject{\'e}es dans les PLM pour am{\'e}liorer leur compr{\'e}hension de la hi{\'e}rarchie. Gr{\^a}ce {\`a} des {\'e}valuations portant sur la reconstruction de taxonomies, la d{\'e}couverte d{'}hyperonymes et la compr{\'e}hension de lecture, nous montrons que la connaissance de la hi{\'e}rarchie est mod{\'e}r{\'e}ment transf{\'e}rable entre les t{\^a}ches, mais pas de mani{\`e}re syst{\'e}matique.Ceci est le r{\'e}sum{\'e} de l{'}article {``}Probing Pretrained Language Models with Hierarchy Properties{''} publi{\'e} {\`a} ECIR 2024.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="lovon-melgarejo-etal-2024-evaluer">
<titleInfo>
<title>Évaluer les modèles de langue pré-entraînés avec des propriétés de hiérarchie</title>
</titleInfo>
<name type="personal">
<namePart type="given">Jesus</namePart>
<namePart type="family">Lovon-Melgarejo</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jose</namePart>
<namePart type="family">G Moreno</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Romaric</namePart>
<namePart type="family">Besançon</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Olivier</namePart>
<namePart type="family">Ferret</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Lynda</namePart>
<namePart type="family">Tamine</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2024-07</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d’articles publiès</title>
</titleInfo>
<name type="personal">
<namePart type="given">Mathieu</namePart>
<namePart type="family">Balaguer</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Nihed</namePart>
<namePart type="family">Bendahman</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Lydia-Mai</namePart>
<namePart type="family">Ho-dac</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Julie</namePart>
<namePart type="family">Mauclair</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jose</namePart>
<namePart type="family">G Moreno</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Julien</namePart>
<namePart type="family">Pinquier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA and AFPC</publisher>
<place>
<placeTerm type="text">Toulouse, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Étant donné que les modèles de langue pré-entraînés (PLM) constituent la pierre angulaire des modèles de recherche d’informations les plus récents, la façon dont ils encodent la connaissance sémantique est particulièrement importante.Cependant, on s’est peu intéressé à la capacité des PLM à capturer la connaissance sémantique hiérarchique. Traditionnellement, l’évaluation de ces connaissances codées dans les PLM s’appuie sur leurs performances lors d’évaluations dépendantes de la tâche, basées sur des tâches proxy telles que la détection d’hyperonymes.Malheureusement, cette approche ignore potentiellement d’autres relations taxonomiques implicites et complexes.Dans ce travail, nous proposons une méthode d’évaluation indépendante de la tâche, capable d’évaluer dans quelle mesure les PLM peuvent capturer des relations taxonomiques complexes, telles que les ancêtres et les frères et søeurs.Cette évaluation, basée sur des propriétés intrinsèques capturant ces relations, montre que les connaissances lexico-sémantiques codées implicitement dans les PLM ne capturent pas toujours les relations hiérarchiques. Nous démontrons en outre que les propriétés proposées peuvent être injectées dans les PLM pour améliorer leur compréhension de la hiérarchie. Grâce à des évaluations portant sur la reconstruction de taxonomies, la découverte d’hyperonymes et la compréhension de lecture, nous montrons que la connaissance de la hiérarchie est modérément transférable entre les tâches, mais pas de manière systématique.Ceci est le résumé de l’article “Probing Pretrained Language Models with Hierarchy Properties” publié à ECIR 2024.</abstract>
<identifier type="citekey">lovon-melgarejo-etal-2024-evaluer</identifier>
<location>
<url>https://aclanthology.org/2024.jeptalnrecital-trad.4</url>
</location>
<part>
<date>2024-7</date>
<extent unit="page">
<start>6</start>
<end>7</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Évaluer les modèles de langue pré-entraînés avec des propriétés de hiérarchie
%A Lovon-Melgarejo, Jesus
%A G Moreno, Jose
%A Besançon, Romaric
%A Ferret, Olivier
%A Tamine, Lynda
%Y Balaguer, Mathieu
%Y Bendahman, Nihed
%Y Ho-dac, Lydia-Mai
%Y Mauclair, Julie
%Y G Moreno, Jose
%Y Pinquier, Julien
%S Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d’articles publiès
%D 2024
%8 July
%I ATALA and AFPC
%C Toulouse, France
%G French
%F lovon-melgarejo-etal-2024-evaluer
%X Étant donné que les modèles de langue pré-entraînés (PLM) constituent la pierre angulaire des modèles de recherche d’informations les plus récents, la façon dont ils encodent la connaissance sémantique est particulièrement importante.Cependant, on s’est peu intéressé à la capacité des PLM à capturer la connaissance sémantique hiérarchique. Traditionnellement, l’évaluation de ces connaissances codées dans les PLM s’appuie sur leurs performances lors d’évaluations dépendantes de la tâche, basées sur des tâches proxy telles que la détection d’hyperonymes.Malheureusement, cette approche ignore potentiellement d’autres relations taxonomiques implicites et complexes.Dans ce travail, nous proposons une méthode d’évaluation indépendante de la tâche, capable d’évaluer dans quelle mesure les PLM peuvent capturer des relations taxonomiques complexes, telles que les ancêtres et les frères et søeurs.Cette évaluation, basée sur des propriétés intrinsèques capturant ces relations, montre que les connaissances lexico-sémantiques codées implicitement dans les PLM ne capturent pas toujours les relations hiérarchiques. Nous démontrons en outre que les propriétés proposées peuvent être injectées dans les PLM pour améliorer leur compréhension de la hiérarchie. Grâce à des évaluations portant sur la reconstruction de taxonomies, la découverte d’hyperonymes et la compréhension de lecture, nous montrons que la connaissance de la hiérarchie est modérément transférable entre les tâches, mais pas de manière systématique.Ceci est le résumé de l’article “Probing Pretrained Language Models with Hierarchy Properties” publié à ECIR 2024.
%U https://aclanthology.org/2024.jeptalnrecital-trad.4
%P 6-7
Markdown (Informal)
[Évaluer les modèles de langue pré-entraînés avec des propriétés de hiérarchie](https://aclanthology.org/2024.jeptalnrecital-trad.4) (Lovon-Melgarejo et al., JEP/TALN/RECITAL 2024)
ACL