@inproceedings{barkar-etal-2025-decoder,
title = "D{\'e}coder le pouvoir de persuasion dans les concours d'{\'e}loquence : une {\'e}tude sur la capacit{\'e} des mod{\`e}les de langues {\`a} {\'e}valuer la prise de parole en public",
author = "Barkar, Alisa and
Chollet, Mathieu and
Labeau, Matthieu and
Biancardi, Beatrice and
Clavel, Chlo{\'e}",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-evalllm.7/",
pages = "77--90",
language = "fra",
abstract = "L{'}importance des comp{\'e}tences en prise de parole en public (PPP) stimule le d{\'e}veloppement de syst{\`e}mes d'{\'e}valuation automatis{\'e}e, mais l{'}int{\'e}gration des grandes mod{\`e}les de langue (LLMs) reste peu explor{\'e}e. Nous proposons un cadre o{\`u} les LLMs {\'e}valuent des crit{\`e}res issus de la litt{\'e}rature et de retours de formateurs. Nous testons trois approches : des pr{\'e}dictions LLM directes {\`a} z{\'e}ro coup (RMSE 0, 8) par rapport {\`a} des pr{\'e}dictions de persuasion bas{\'e}es sur des caract{\'e}ristiques lexicales fabriqu{\'e}es {\`a} la main (RMSE 0, 51) ou bas{\'e}es sur des crit{\`e}res {\'e}valu{\'e}s par LLM 0, 6 ins{\'e}r{\'e}s en entr{\'e}e dans ElasticNet. L{'}analyse des liens entre crit{\`e}res et caract{\'e}ristiques lexicales montre que seul le crit{\`e}re de niveau de langue {\'e}valu{\'e} par LLM est pr{\'e}visible (score F1 de 0, 56) soulignant les limites actuelles des LLMs pour l{'}analyse de la PPP. Code source et donn{\'e}es disponibles sur GitHub."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="barkar-etal-2025-decoder">
<titleInfo>
<title>Décoder le pouvoir de persuasion dans les concours d’éloquence : une étude sur la capacité des modèles de langues à évaluer la prise de parole en public</title>
</titleInfo>
<name type="personal">
<namePart type="given">Alisa</namePart>
<namePart type="family">Barkar</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mathieu</namePart>
<namePart type="family">Chollet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Matthieu</namePart>
<namePart type="family">Labeau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Beatrice</namePart>
<namePart type="family">Biancardi</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Chloé</namePart>
<namePart type="family">Clavel</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’importance des compétences en prise de parole en public (PPP) stimule le développement de systèmes d’évaluation automatisée, mais l’intégration des grandes modèles de langue (LLMs) reste peu explorée. Nous proposons un cadre où les LLMs évaluent des critères issus de la littérature et de retours de formateurs. Nous testons trois approches : des prédictions LLM directes à zéro coup (RMSE 0, 8) par rapport à des prédictions de persuasion basées sur des caractéristiques lexicales fabriquées à la main (RMSE 0, 51) ou basées sur des critères évalués par LLM 0, 6 insérés en entrée dans ElasticNet. L’analyse des liens entre critères et caractéristiques lexicales montre que seul le critère de niveau de langue évalué par LLM est prévisible (score F1 de 0, 56) soulignant les limites actuelles des LLMs pour l’analyse de la PPP. Code source et données disponibles sur GitHub.</abstract>
<identifier type="citekey">barkar-etal-2025-decoder</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-evalllm.7/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>77</start>
<end>90</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Décoder le pouvoir de persuasion dans les concours d’éloquence : une étude sur la capacité des modèles de langues à évaluer la prise de parole en public
%A Barkar, Alisa
%A Chollet, Mathieu
%A Labeau, Matthieu
%A Biancardi, Beatrice
%A Clavel, Chloé
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F barkar-etal-2025-decoder
%X L’importance des compétences en prise de parole en public (PPP) stimule le développement de systèmes d’évaluation automatisée, mais l’intégration des grandes modèles de langue (LLMs) reste peu explorée. Nous proposons un cadre où les LLMs évaluent des critères issus de la littérature et de retours de formateurs. Nous testons trois approches : des prédictions LLM directes à zéro coup (RMSE 0, 8) par rapport à des prédictions de persuasion basées sur des caractéristiques lexicales fabriquées à la main (RMSE 0, 51) ou basées sur des critères évalués par LLM 0, 6 insérés en entrée dans ElasticNet. L’analyse des liens entre critères et caractéristiques lexicales montre que seul le critère de niveau de langue évalué par LLM est prévisible (score F1 de 0, 56) soulignant les limites actuelles des LLMs pour l’analyse de la PPP. Code source et données disponibles sur GitHub.
%U https://aclanthology.org/2025.jeptalnrecital-evalllm.7/
%P 77-90
Markdown (Informal)
[Décoder le pouvoir de persuasion dans les concours d’éloquence : une étude sur la capacité des modèles de langues à évaluer la prise de parole en public](https://aclanthology.org/2025.jeptalnrecital-evalllm.7/) (Barkar et al., JEP/TALN/RECITAL 2025)
ACL