Mieux utiliser BERT pour la détection d’évènements à partir de peu d’exemples (Better exploitation of BERT for few-shot event detection)

Aboubacar Tuo, Romaric Besançon, Olivier Ferret, Julien Tourille


Abstract
Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l’utilisation de l’encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d’un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l’état de l’art pour cette tâche en anglais.
Anthology ID:
2022.jeptalnrecital-taln.39
Volume:
Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
Month:
6
Year:
2022
Address:
Avignon, France
Editors:
Yannick Estève, Tania Jiménez, Titouan Parcollet, Marcely Zanon Boito
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
392–402
Language:
French
URL:
https://aclanthology.org/2022.jeptalnrecital-taln.39
DOI:
Bibkey:
Cite (ACL):
Aboubacar Tuo, Romaric Besançon, Olivier Ferret, and Julien Tourille. 2022. Mieux utiliser BERT pour la détection d’évènements à partir de peu d’exemples (Better exploitation of BERT for few-shot event detection). In Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale, pages 392–402, Avignon, France. ATALA.
Cite (Informal):
Mieux utiliser BERT pour la détection d’évènements à partir de peu d’exemples (Better exploitation of BERT for few-shot event detection) (Tuo et al., JEP/TALN/RECITAL 2022)
Copy Citation:
PDF:
https://aclanthology.org/2022.jeptalnrecital-taln.39.pdf