@inproceedings{rodriguez-etal-2025-etude,
title = "{\'E}tude comparative de r{\'e}ponses humaines et de grands mod{\`e}les de langue {\`a} des {QCM} en pharmacie",
author = "Rodriguez, Ricardo and
Huet, St{\'e}phane and
Favre, Beno{\^i}t and
Rouvier, Mickael",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-taln.20/",
pages = "331--347",
language = "fra",
abstract = "Cet article propose d'{\'e}tudier les r{\'e}ponses g{\'e}n{\'e}r{\'e}es par plusieurs Grands Mod{\`e}les de Langue {\`a} un ensemble de Questions {\`a} Choix Multiple en pharmacie. Ces r{\'e}ponses sont compar{\'e}es aux r{\'e}ponses donn{\'e}es par des {\'e}tudiants, afin de comprendre quelles sont les questions difficiles pour les mod{\`e}les par rapport aux humains et pour quelles raisons. Nous utilisons les logits internes des mod{\`e}les pour construire des distributions de probabilit{\'e} et analyser les caract{\'e}ristiques principales qui d{\'e}terminent la difficult{\'e} des questions via une approche statistique. Nous apportons aussi une extension du jeu de donn{\'e}es FRENCH MEDMCQA avec des paires question-r{\'e}ponses en pharmacie, enrichies avec les r{\'e}ponses des {\'e}tudiants, la ponctuation assign{\'e}e aux r{\'e}ponses, les th{\'e}matiques cliniques correspondantes et des annotations manuelles sur la structure et certains traits s{\'e}mantiques des questions."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="rodriguez-etal-2025-etude">
<titleInfo>
<title>Étude comparative de réponses humaines et de grands modèles de langue à des QCM en pharmacie</title>
</titleInfo>
<name type="personal">
<namePart type="given">Ricardo</namePart>
<namePart type="family">Rodriguez</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Stéphane</namePart>
<namePart type="family">Huet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoît</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Cet article propose d’étudier les réponses générées par plusieurs Grands Modèles de Langue à un ensemble de Questions à Choix Multiple en pharmacie. Ces réponses sont comparées aux réponses données par des étudiants, afin de comprendre quelles sont les questions difficiles pour les modèles par rapport aux humains et pour quelles raisons. Nous utilisons les logits internes des modèles pour construire des distributions de probabilité et analyser les caractéristiques principales qui déterminent la difficulté des questions via une approche statistique. Nous apportons aussi une extension du jeu de données FRENCH MEDMCQA avec des paires question-réponses en pharmacie, enrichies avec les réponses des étudiants, la ponctuation assignée aux réponses, les thématiques cliniques correspondantes et des annotations manuelles sur la structure et certains traits sémantiques des questions.</abstract>
<identifier type="citekey">rodriguez-etal-2025-etude</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-taln.20/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>331</start>
<end>347</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Étude comparative de réponses humaines et de grands modèles de langue à des QCM en pharmacie
%A Rodriguez, Ricardo
%A Huet, Stéphane
%A Favre, Benoît
%A Rouvier, Mickael
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes des 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F rodriguez-etal-2025-etude
%X Cet article propose d’étudier les réponses générées par plusieurs Grands Modèles de Langue à un ensemble de Questions à Choix Multiple en pharmacie. Ces réponses sont comparées aux réponses données par des étudiants, afin de comprendre quelles sont les questions difficiles pour les modèles par rapport aux humains et pour quelles raisons. Nous utilisons les logits internes des modèles pour construire des distributions de probabilité et analyser les caractéristiques principales qui déterminent la difficulté des questions via une approche statistique. Nous apportons aussi une extension du jeu de données FRENCH MEDMCQA avec des paires question-réponses en pharmacie, enrichies avec les réponses des étudiants, la ponctuation assignée aux réponses, les thématiques cliniques correspondantes et des annotations manuelles sur la structure et certains traits sémantiques des questions.
%U https://aclanthology.org/2025.jeptalnrecital-taln.20/
%P 331-347
Markdown (Informal)
[Étude comparative de réponses humaines et de grands modèles de langue à des QCM en pharmacie](https://aclanthology.org/2025.jeptalnrecital-taln.20/) (Rodriguez et al., JEP/TALN/RECITAL 2025)
ACL