LIS@DEFT’23 : les LLMs peuvent-ils répondre à des QCM ? (a) oui; (b) non; (c) je ne sais pas.

Benoit Favre


Abstract
Cet article présente un ensemble d’expériences sur la tâche de réponse à des questions à choix multiple de DEFT 2023. Des grands modèles de langage sont amorcés avec les questions afin de collecter les réponses générées. Les résultats montrent que les modèles ouverts sans affinage obtiennent des performances similaires à celles d’un système supervisé fondé sur BERT, et que l’affinage sur les données de la tâche apporte des améliorations.
Anthology ID:
2023.jeptalnrecital-deft.5
Volume:
Actes de CORIA-TALN 2023. Actes du Défi Fouille de Textes@TALN2023
Month:
6
Year:
2023
Address:
Paris, France
Editors:
Adrien Bazoge, Béatrice Daille, Richard Dufour, Yanis Labrak, Emmanuel Morin, Mickael Rouvier
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
46–56
Language:
French
URL:
https://aclanthology.org/2023.jeptalnrecital-deft.5
DOI:
Bibkey:
Cite (ACL):
Benoit Favre. 2023. LIS@DEFT’23 : les LLMs peuvent-ils répondre à des QCM ? (a) oui; (b) non; (c) je ne sais pas.. In Actes de CORIA-TALN 2023. Actes du Défi Fouille de Textes@TALN2023, pages 46–56, Paris, France. ATALA.
Cite (Informal):
LIS@DEFT’23 : les LLMs peuvent-ils répondre à des QCM ? (a) oui; (b) non; (c) je ne sais pas. (Favre, JEP/TALN/RECITAL 2023)
Copy Citation:
PDF:
https://aclanthology.org/2023.jeptalnrecital-deft.5.pdf