Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ

Sarah Nouali, Ismail Badache, Patrice Bellot


Abstract
Les systèmes basés sur le RAG (Retrieval-Augmented Generation) sont des systèmes qui optimisent la puissance des grands modèles de langue (LLM, en anglais, Large Language Models) avec une recherche d’information (RI) à partir de sources de connaissances externes, sans avoir besoin de réentraîner le modèle. Ce type d’approche est connu pour améliorer les réponses du LLM, en particulier pour répondre à des questions spécifiques à un domaine, et réduire le phénomène d’hallucination constaté avec ces derniers. Dans cet article, nous explorons l’application d’un tel système dans un contexte pédagogique, en utilisant le jeu de données SCIQ (SCIence Questions), un ensemble de questions scientifiques à choix multiples de niveau scolaire, qui nous permet d’évaluer la capacité des modèles à fournir des réponses précises, pédagogiques et vérifiables. Nous évaluons les performances du système par rapport à un modèle génératif standard (Llama3 8b et Mistral 7b) de réponse aux questions et analysons ses forces et ses limites dans un contexte éducatif. La performance la plus élevée en termes de précision a été enregistrée avec l’approche basée sur le RAG (rag-llama), qui a permis d’atteindre une précision globalement supérieure par rapport aux autres approches testées.
Anthology ID:
2025.jeptalnrecital-iaedu.5
Volume:
Actes de l'atelier Intelligence Artificielle générative et ÉDUcation : Enjeux, Défis et Perspectives de Recherche 2025 (IA-ÉDU)
Month:
6
Year:
2025
Address:
Marseille, France
Editors:
Frédéric Bechet, Adrian-Gabriel Chifu, Karen Pinel-sauvagnat, Benoit Favre, Eliot Maes, Diana Nurbakova
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA \\& ARIA
Note:
Pages:
29–41
Language:
French
URL:
https://aclanthology.org/2025.jeptalnrecital-iaedu.5/
DOI:
Bibkey:
Cite (ACL):
Sarah Nouali, Ismail Badache, and Patrice Bellot. 2025. Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ. In Actes de l'atelier Intelligence Artificielle générative et ÉDUcation : Enjeux, Défis et Perspectives de Recherche 2025 (IA-ÉDU), pages 29–41, Marseille, France. ATALA \\& ARIA.
Cite (Informal):
Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ (Nouali et al., JEP/TALN/RECITAL 2025)
Copy Citation:
PDF:
https://aclanthology.org/2025.jeptalnrecital-iaedu.5.pdf