Estimation de l’inclusion entre tâches par projection spectrale de vecteurs de tâches

Loïc Fosse, Benoît Favre, Frédéric Béchet, Géraldine Damnati, Gwénolé Lecorvé


Abstract
L’affinage des modèles a permis la plupart des avancées significatives récentes dans les tâches de TALN. Des études ont exploré les raisons de ces succès en étudiant le mécanisme d’attention, la manière dont les connaissances linguistiques et factuelles sont encodées, etc... . Il est cependant difficile d’interpréter les changements causés par l’affinage dans les poids des modèles. Pour mieux comprendre cela, nous proposons une méthode fondée théoriquement pour projeter et comparer les changements de poids (i.e. vecteurs de tâches) dans un espace à faible dimension. Cette approche permet de mieux comprendre les connaissances encodées dans un vecteur de tâches, relativement à un autre vecteur de tâche. Nous validons notre méthode en montrant qu’un modèle affiné sur une tâche de résumé encode des informations sur la reconnaissance d’entités nommées.
Anthology ID:
2025.jeptalnrecital-taln.19
Volume:
Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux
Month:
6
Year:
2025
Address:
Marseille, France
Editors:
Frédéric Bechet, Adrian-Gabriel Chifu, Karen Pinel-sauvagnat, Benoit Favre, Eliot Maes, Diana Nurbakova
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA \\& ARIA
Note:
Pages:
313–330
Language:
French
URL:
https://aclanthology.org/2025.jeptalnrecital-taln.19/
DOI:
Bibkey:
Cite (ACL):
Loïc Fosse, Benoît Favre, Frédéric Béchet, Géraldine Damnati, and Gwénolé Lecorvé. 2025. Estimation de l’inclusion entre tâches par projection spectrale de vecteurs de tâches. In Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux, pages 313–330, Marseille, France. ATALA \\& ARIA.
Cite (Informal):
Estimation de l’inclusion entre tâches par projection spectrale de vecteurs de tâches (Fosse et al., JEP/TALN/RECITAL 2025)
Copy Citation:
PDF:
https://aclanthology.org/2025.jeptalnrecital-taln.19.pdf