@inproceedings{delourme-etal-2024-limics,
title = "{LIMICS}@{DEFT}{'}24 : Un mini-{LLM} peut-il tricher aux {QCM} de pharmacie en fouillant dans Wikip{\'e}dia et {NACHOS} ?",
author = "Delourme, Sol{\`e}ne and
Remaki, Adam and
G{\'e}rardin, Christel and
Vaillant, Pascal and
Tannier, Xavier and
Seroussi, Brigitte and
Redjdal, Akram",
editor = "Dufour, Richard and
Favre, Benoit and
Rouvier, Mickael and
Bazoge, Adrien and
Labrak, Yanis",
booktitle = "Actes du D{\'e}fi Fouille de Textes@TALN 2024",
month = "7",
year = "2024",
address = "Toulouse, France",
publisher = "ATALA and AFPC",
url = "https://aclanthology.org/2024.jeptalnrecital-deft.3",
pages = "23--39",
abstract = "Ce papier explore deux approches pour r{\'e}pondre aux questions {\`a} choix multiples (QCM) de pharmacie du d{\'e}fi DEFT 2024 en utilisant des mod{\`e}les de langue (LLMs) entra{\^\i}n{\'e}s sur des donn{\'e}es ouvertes avec moins de 3 milliards de param{\`e}tres. Les deux approches reposent sur l{'}architecture RAG (Retrieval Augmented Generation) pour combiner la r{\'e}cup{\'e}ration de contexte {\`a} partir de bases de connaissances externes (NACHOS et Wikip{\'e}dia) avec la g{\'e}n{\'e}ration de r{\'e}ponses par le LLM Apollo-2B. La premi{\`e}re approche traite directement les QCMs et g{\'e}n{\`e}re les r{\'e}ponses en une seule {\'e}tape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis g{\'e}n{\`e}re une r{\'e}ponse pour chaque question binaire. Cette derni{\`e}re approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui d{\'e}montre le potentiel du RAG pour des t{\^a}ches de Q/A sous de telles contraintes.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="delourme-etal-2024-limics">
<titleInfo>
<title>LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?</title>
</titleInfo>
<name type="personal">
<namePart type="given">Solène</namePart>
<namePart type="family">Delourme</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adam</namePart>
<namePart type="family">Remaki</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Christel</namePart>
<namePart type="family">Gérardin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Pascal</namePart>
<namePart type="family">Vaillant</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Xavier</namePart>
<namePart type="family">Tannier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Brigitte</namePart>
<namePart type="family">Seroussi</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Akram</namePart>
<namePart type="family">Redjdal</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2024-07</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes du Défi Fouille de Textes@TALN 2024</title>
</titleInfo>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Bazoge</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Yanis</namePart>
<namePart type="family">Labrak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA and AFPC</publisher>
<place>
<placeTerm type="text">Toulouse, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Ce papier explore deux approches pour répondre aux questions à choix multiples (QCM) de pharmacie du défi DEFT 2024 en utilisant des modèles de langue (LLMs) entraînés sur des données ouvertes avec moins de 3 milliards de paramètres. Les deux approches reposent sur l’architecture RAG (Retrieval Augmented Generation) pour combiner la récupération de contexte à partir de bases de connaissances externes (NACHOS et Wikipédia) avec la génération de réponses par le LLM Apollo-2B. La première approche traite directement les QCMs et génère les réponses en une seule étape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis génère une réponse pour chaque question binaire. Cette dernière approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui démontre le potentiel du RAG pour des tâches de Q/A sous de telles contraintes.</abstract>
<identifier type="citekey">delourme-etal-2024-limics</identifier>
<location>
<url>https://aclanthology.org/2024.jeptalnrecital-deft.3</url>
</location>
<part>
<date>2024-7</date>
<extent unit="page">
<start>23</start>
<end>39</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?
%A Delourme, Solène
%A Remaki, Adam
%A Gérardin, Christel
%A Vaillant, Pascal
%A Tannier, Xavier
%A Seroussi, Brigitte
%A Redjdal, Akram
%Y Dufour, Richard
%Y Favre, Benoit
%Y Rouvier, Mickael
%Y Bazoge, Adrien
%Y Labrak, Yanis
%S Actes du Défi Fouille de Textes@TALN 2024
%D 2024
%8 July
%I ATALA and AFPC
%C Toulouse, France
%G French
%F delourme-etal-2024-limics
%X Ce papier explore deux approches pour répondre aux questions à choix multiples (QCM) de pharmacie du défi DEFT 2024 en utilisant des modèles de langue (LLMs) entraînés sur des données ouvertes avec moins de 3 milliards de paramètres. Les deux approches reposent sur l’architecture RAG (Retrieval Augmented Generation) pour combiner la récupération de contexte à partir de bases de connaissances externes (NACHOS et Wikipédia) avec la génération de réponses par le LLM Apollo-2B. La première approche traite directement les QCMs et génère les réponses en une seule étape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis génère une réponse pour chaque question binaire. Cette dernière approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui démontre le potentiel du RAG pour des tâches de Q/A sous de telles contraintes.
%U https://aclanthology.org/2024.jeptalnrecital-deft.3
%P 23-39
Markdown (Informal)
[LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?](https://aclanthology.org/2024.jeptalnrecital-deft.3) (Delourme et al., JEP/TALN/RECITAL 2024)
ACL