Géométrie des vecteurs de tâches pour l’association et la combinaison de modèles

Loic Fosse


Abstract
Les adaptations de rang faible (LoRa) sont devenues un standard pour adapter des modèles à un faible coût. Elles sont de plus en plus utilisées que ce soit en traitement du langage ou des images. Plusieurs études utilisent ces adaptations et cherchent à les combiner {}it a posteriori de manière à enrichir de manière additive les propriétés d’un modèle. Ces combinaisons suggèrent alors que nous pouvons associer les modèles dans l’espace des paramètres et que nous pouvons donner un sens à cela. Cette propriété n’est que très peu vérifiée dans la pratique et nous proposons ici plusieurs métriques visant à caractériser l’association entre les modèles dans l’espace des paramètres. Nous montrons finalement que nous pouvons corréler ces métriques avec les pertes de performance des modèles lorsque nous réalisons leurs combinaisons.
Anthology ID:
2024.jeptalnrecital-recital.6
Volume:
Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
Month:
7
Year:
2024
Address:
Toulouse, France
Editors:
Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA and AFPC
Note:
Pages:
69–84
Language:
French
URL:
https://aclanthology.org/2024.jeptalnrecital-recital.6
DOI:
Bibkey:
Cite (ACL):
Loic Fosse. 2024. Géométrie des vecteurs de tâches pour l’association et la combinaison de modèles. In Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, pages 69–84, Toulouse, France. ATALA and AFPC.
Cite (Informal):
Géométrie des vecteurs de tâches pour l’association et la combinaison de modèles (Fosse, JEP/TALN/RECITAL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.jeptalnrecital-recital.6.pdf