Intégration du raisonnement numérique dans les modèles de langue : État de l’art et direction de recherche

Sarah Abchiche, Lynda Said Lhadj, Vincent Guigue, Laure Soulier


Abstract
Ces dernières années, les modèles de langue ont connu une évolution galopante grâce à l’augmentation de la puissance de calcul qui a rendu possible l’utilisation des réseaux de neurones. Parallèlement, l’intégration du raisonnement numérique dans les modèles de langue a suscité un intérêt grandissant. Pourtant, bien que l’entraînement des modèles de langue sur des données numériques soit devenu un paradigme courant, les modèles actuels ne parviennent pas à effectuer des calculs de manière satisfaisante. Pour y remédier, une solution est d’entraîner les modèles de langue à utiliser des outils externes tels qu’une calculatrice ou un “runtime” de code python pour effectuer le raisonnement numérique. L’objectif de ce papier est double, dans un premier temps nous passons en revue les travaux de l’état de l’art sur le raisonnement numérique dans les modèles de langue et dans un second temps nous discutons des différentes perspectives de recherche pour augmenter les compétences numériques des modèles.
Anthology ID:
2023.jeptalnrecital-coria.11
Volume:
Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA)
Month:
6
Year:
2023
Address:
Paris, France
Editor:
Haïfa Zargayouna
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
173–184
Language:
French
URL:
https://aclanthology.org/2023.jeptalnrecital-coria.11
DOI:
Bibkey:
Cite (ACL):
Sarah Abchiche, Lynda Said Lhadj, Vincent Guigue, and Laure Soulier. 2023. Intégration du raisonnement numérique dans les modèles de langue : État de l’art et direction de recherche. In Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA), pages 173–184, Paris, France. ATALA.
Cite (Informal):
Intégration du raisonnement numérique dans les modèles de langue : État de l’art et direction de recherche (Abchiche et al., JEP/TALN/RECITAL 2023)
Copy Citation:
PDF:
https://aclanthology.org/2023.jeptalnrecital-coria.11.pdf