@inproceedings{labrak-etal-2023-taches,
title = "T{\^a}ches et syst{\`e}mes de d{\'e}tection automatique des r{\'e}ponses correctes dans des {QCM}s li{\'e}s au domaine m{\'e}dical : Pr{\'e}sentation de la campagne {DEFT} 2023",
author = "Labrak, Yanis and
Bazoge, Adrien and
Daille, B{\'e}atrice and
Dufour, Richard and
Morin, Emmanuel and
Rouvier, Mickael",
editor = "Bazoge, Adrien and
Daille, B{\'e}atrice and
Dufour, Richard and
Labrak, Yanis and
Morin, Emmanuel and
Rouvier, Mickael",
booktitle = "Actes de CORIA-TALN 2023. Actes du D{\'e}fi Fouille de Textes@TALN2023",
month = "6",
year = "2023",
address = "Paris, France",
publisher = "ATALA",
url = "https://aclanthology.org/2023.jeptalnrecital-deft.6",
pages = "57--67",
abstract = "L{'}{\'e}dition 2023 du D{\'E}fi Fouille de Textes (DEFT) s{'}est concentr{\'e}e sur le d{\'e}veloppement de m{\'e}thodes permettant de choisir automatiquement des r{\'e}ponses dans des questions {\`a} choix multiples (QCMs) en fran{\c{c}}ais. Les approches ont {\'e}t{\'e} {\'e}valu{\'e}es sur le corpus FrenchMedMCQA, int{\'e}grant un ensemble de QCMs avec, pour chaque question, cinq r{\'e}ponses potentielles, dans le cadre d{'}annales d{'}examens de pharmacie.Deux t{\^a}ches ont {\'e}t{\'e} propos{\'e}es. La premi{\`e}re consistait {\`a} identifier automatiquement l{'}ensemble des r{\'e}ponses correctes {\`a} une question. Les r{\'e}sultats obtenus, {\'e}valu{\'e}s selon la m{\'e}trique de l{'}Exact Match Ratio (EMR), variaient de 9,97{\%} {\`a} 33,76{\%}, alors que les performances en termes de distance de Hamming s{'}{\'e}chelonnaient de 24,93 {\`a} 52,94. La seconde t{\^a}che visait {\`a} identifier automatiquement le nombre exact de r{\'e}ponses correctes. Les r{\'e}sultats, quant {\`a} eux, {\'e}taient {\'e}valu{\'e}s d{'}une part avec la m{\'e}trique de F1-Macro, variant de 13,26{\%} {\`a} 42,42{\%}, et la m{\'e}trique (Accuracy), allant de 47,43{\%} {\`a} 68,65{\%}. Parmi les approches vari{\'e}es propos{\'e}es par les six {\'e}quipes participantes {\`a} ce d{\'e}fi, le meilleur syst{\`e}me s{'}est appuy{\'e} sur un mod{\`e}le de langage large de type LLaMa affin{\'e} en utilisant la m{\'e}thode d{'}adaptation LoRA.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="labrak-etal-2023-taches">
<titleInfo>
<title>Tâches et systèmes de détection automatique des réponses correctes dans des QCMs liés au domaine médical : Présentation de la campagne DEFT 2023</title>
</titleInfo>
<name type="personal">
<namePart type="given">Yanis</namePart>
<namePart type="family">Labrak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Bazoge</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Béatrice</namePart>
<namePart type="family">Daille</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Emmanuel</namePart>
<namePart type="family">Morin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2023-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de CORIA-TALN 2023. Actes du Défi Fouille de Textes@TALN2023</title>
</titleInfo>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Bazoge</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Béatrice</namePart>
<namePart type="family">Daille</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Yanis</namePart>
<namePart type="family">Labrak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Emmanuel</namePart>
<namePart type="family">Morin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Paris, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’édition 2023 du DÉfi Fouille de Textes (DEFT) s’est concentrée sur le développement de méthodes permettant de choisir automatiquement des réponses dans des questions à choix multiples (QCMs) en français. Les approches ont été évaluées sur le corpus FrenchMedMCQA, intégrant un ensemble de QCMs avec, pour chaque question, cinq réponses potentielles, dans le cadre d’annales d’examens de pharmacie.Deux tâches ont été proposées. La première consistait à identifier automatiquement l’ensemble des réponses correctes à une question. Les résultats obtenus, évalués selon la métrique de l’Exact Match Ratio (EMR), variaient de 9,97% à 33,76%, alors que les performances en termes de distance de Hamming s’échelonnaient de 24,93 à 52,94. La seconde tâche visait à identifier automatiquement le nombre exact de réponses correctes. Les résultats, quant à eux, étaient évalués d’une part avec la métrique de F1-Macro, variant de 13,26% à 42,42%, et la métrique (Accuracy), allant de 47,43% à 68,65%. Parmi les approches variées proposées par les six équipes participantes à ce défi, le meilleur système s’est appuyé sur un modèle de langage large de type LLaMa affiné en utilisant la méthode d’adaptation LoRA.</abstract>
<identifier type="citekey">labrak-etal-2023-taches</identifier>
<location>
<url>https://aclanthology.org/2023.jeptalnrecital-deft.6</url>
</location>
<part>
<date>2023-6</date>
<extent unit="page">
<start>57</start>
<end>67</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Tâches et systèmes de détection automatique des réponses correctes dans des QCMs liés au domaine médical : Présentation de la campagne DEFT 2023
%A Labrak, Yanis
%A Bazoge, Adrien
%A Daille, Béatrice
%A Dufour, Richard
%A Morin, Emmanuel
%A Rouvier, Mickael
%Y Bazoge, Adrien
%Y Daille, Béatrice
%Y Dufour, Richard
%Y Labrak, Yanis
%Y Morin, Emmanuel
%Y Rouvier, Mickael
%S Actes de CORIA-TALN 2023. Actes du Défi Fouille de Textes@TALN2023
%D 2023
%8 June
%I ATALA
%C Paris, France
%G French
%F labrak-etal-2023-taches
%X L’édition 2023 du DÉfi Fouille de Textes (DEFT) s’est concentrée sur le développement de méthodes permettant de choisir automatiquement des réponses dans des questions à choix multiples (QCMs) en français. Les approches ont été évaluées sur le corpus FrenchMedMCQA, intégrant un ensemble de QCMs avec, pour chaque question, cinq réponses potentielles, dans le cadre d’annales d’examens de pharmacie.Deux tâches ont été proposées. La première consistait à identifier automatiquement l’ensemble des réponses correctes à une question. Les résultats obtenus, évalués selon la métrique de l’Exact Match Ratio (EMR), variaient de 9,97% à 33,76%, alors que les performances en termes de distance de Hamming s’échelonnaient de 24,93 à 52,94. La seconde tâche visait à identifier automatiquement le nombre exact de réponses correctes. Les résultats, quant à eux, étaient évalués d’une part avec la métrique de F1-Macro, variant de 13,26% à 42,42%, et la métrique (Accuracy), allant de 47,43% à 68,65%. Parmi les approches variées proposées par les six équipes participantes à ce défi, le meilleur système s’est appuyé sur un modèle de langage large de type LLaMa affiné en utilisant la méthode d’adaptation LoRA.
%U https://aclanthology.org/2023.jeptalnrecital-deft.6
%P 57-67
Markdown (Informal)
[Tâches et systèmes de détection automatique des réponses correctes dans des QCMs liés au domaine médical : Présentation de la campagne DEFT 2023](https://aclanthology.org/2023.jeptalnrecital-deft.6) (Labrak et al., JEP/TALN/RECITAL 2023)
ACL