@inproceedings{bazoge-etal-2024-taches,
title = "T{\^a}ches et syst{\`e}mes de s{\'e}lection automatique de r{\'e}ponses {\`a} des {QCM} dans le domaine m{\'e}dical : Pr{\'e}sentation de la campagne {DEFT} 2024",
author = "Bazoge, Adrien and
Labrak, Yanis and
Dufour, Richard and
Favre, Benoit and
Rouvier, Mickael",
editor = "Dufour, Richard and
Favre, Benoit and
Rouvier, Mickael and
Bazoge, Adrien and
Labrak, Yanis",
booktitle = "Actes du D{\'e}fi Fouille de Textes@TALN 2024",
month = "7",
year = "2024",
address = "Toulouse, France",
publisher = "ATALA and AFPC",
url = "https://aclanthology.org/2024.jeptalnrecital-deft.1",
pages = "1--10",
abstract = "L{'}{\'e}dition 2024 du D{\'E}fi Fouille de Textes (DEFT) met l{'}accent sur le d{\'e}veloppement de m{\'e}thodes pour la s{\'e}lection automatique de r{\'e}ponses pour des questions {\`a} choix multiples (QCM) en fran{\c{c}}ais. Les m{\'e}thodes sont {\'e}valu{\'e}es sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions ferm{\'e}es avec cinq options chacune, provenant des archives d{'}examens de pharmacie. Dans la premi{\`e}re t{\^a}che, les participants doivent se concentrer sur des petits mod{\`e}les de langue (PML) avec moins de 3 milliards de param{\`e}tres et peuvent {\'e}galement utiliser les corpus sp{\'e}cifiques au domaine m{\'e}dical NACHOS et Wikipedia s{'}ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second t{\^a}che l{\`e}ve la restriction sur la taille des mod{\`e}les de langue. Les r{\'e}sultats, mesur{\'e}s par l{'}Exact Match Ratio (EMR), varient de 1,68 {\`a} 11,74 tandis que les performances selon le score de Hamming vont de 28,75 {\`a} 49,15 pour la premi{\`e}re t{\^a}che. Parmi les approches propos{\'e}es par les cinq {\'e}quipes participantes, le meilleur syst{\`e}me utilise une cha{\^\i}ne combinant un classifieur CamemBERT-bio pour identifier le type de question et un syst{\`e}me RAG fond{\'e} sur Apollo 2B, affin{\'e} avec la m{\'e}thode d{'}adaptation LoRA sur les donn{\'e}es de l{'}ann{\'e}e pr{\'e}c{\'e}dente.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="bazoge-etal-2024-taches">
<titleInfo>
<title>Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024</title>
</titleInfo>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Bazoge</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Yanis</namePart>
<namePart type="family">Labrak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2024-07</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes du Défi Fouille de Textes@TALN 2024</title>
</titleInfo>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Bazoge</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Yanis</namePart>
<namePart type="family">Labrak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA and AFPC</publisher>
<place>
<placeTerm type="text">Toulouse, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’édition 2024 du DÉfi Fouille de Textes (DEFT) met l’accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d’examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s’ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l’Exact Match Ratio (EMR), varient de 1,68 à 11,74 tandis que les performances selon le score de Hamming vont de 28,75 à 49,15 pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d’adaptation LoRA sur les données de l’année précédente.</abstract>
<identifier type="citekey">bazoge-etal-2024-taches</identifier>
<location>
<url>https://aclanthology.org/2024.jeptalnrecital-deft.1</url>
</location>
<part>
<date>2024-7</date>
<extent unit="page">
<start>1</start>
<end>10</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024
%A Bazoge, Adrien
%A Labrak, Yanis
%A Dufour, Richard
%A Favre, Benoit
%A Rouvier, Mickael
%Y Dufour, Richard
%Y Favre, Benoit
%Y Rouvier, Mickael
%Y Bazoge, Adrien
%Y Labrak, Yanis
%S Actes du Défi Fouille de Textes@TALN 2024
%D 2024
%8 July
%I ATALA and AFPC
%C Toulouse, France
%G French
%F bazoge-etal-2024-taches
%X L’édition 2024 du DÉfi Fouille de Textes (DEFT) met l’accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d’examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s’ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l’Exact Match Ratio (EMR), varient de 1,68 à 11,74 tandis que les performances selon le score de Hamming vont de 28,75 à 49,15 pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d’adaptation LoRA sur les données de l’année précédente.
%U https://aclanthology.org/2024.jeptalnrecital-deft.1
%P 1-10
Markdown (Informal)
[Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024](https://aclanthology.org/2024.jeptalnrecital-deft.1) (Bazoge et al., JEP/TALN/RECITAL 2024)
ACL