Tri-apprentissage génératif : génération de données pour de la reconnaissance d’entitées nommées semi-supervisé

Hugo Boulanger, Thomas Lavergne, Sophie Rosset


Abstract
Le développement de solutions de traitement automatique de la langue pour de nouvelles tâches nécessite des données, dont l’obtention est coûteuses. L’accès aux données peut être limité en raison de la nature sensible des données. La plupart des travaux récents ont exploité de grands modèles pré-entraînés pour initialiser des versions spécialisées de ceux-ci. La spécialisation d’un tel modèle nécessite toujours une quantité élevée de données étiquetées spécifiques à la tâche cible. Nous utilisons l’apprentissage semi-supervisé pour entraîner des modèles dans un contexte où le nombre d’exemples étiquetés est limité et le nombre de données non étiquetées est nul. Nous étudions plusieurs méthodes pour générer le corpus non étiqueté nécessaire à l’utilisation de l’apprentissage semi-supervisé. Nous introduisons les méthodes de génération entre les épisodes d’entraînement et utilisons les modèles entraînés pour filtrer les exemples générés. Nous testons cette génération avec le tri-apprentissage et l’auto-apprentissage sur des corpus Anglais et Français.
Anthology ID:
2023.jeptalnrecital-long.6
Volume:
Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs
Month:
6
Year:
2023
Address:
Paris, France
Editors:
Christophe Servan, Anne Vilnat
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
68–79
Language:
French
URL:
https://aclanthology.org/2023.jeptalnrecital-long.6
DOI:
Bibkey:
Cite (ACL):
Hugo Boulanger, Thomas Lavergne, and Sophie Rosset. 2023. Tri-apprentissage génératif : génération de données pour de la reconnaissance d’entitées nommées semi-supervisé. In Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs, pages 68–79, Paris, France. ATALA.
Cite (Informal):
Tri-apprentissage génératif : génération de données pour de la reconnaissance d’entitées nommées semi-supervisé (Boulanger et al., JEP/TALN/RECITAL 2023)
Copy Citation:
PDF:
https://aclanthology.org/2023.jeptalnrecital-long.6.pdf