Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor 2025-06 ATALA \textbackslash\textbackslash& ARIA Marseille, France text conference publication jep-taln-recital-2025-evalllm https://aclanthology.org/2025.jeptalnrecital-evalllm.0/ “POPCORN-RENS : un nouveau jeu de données en français annoté en entités d’intérêts sur une thématique ““sécurité et défense””” Lucas Aubertin author Guillaume Gadek author Gilles Sérasset author Maxime Prieur author Nakanyseth Vuth author Bruno Grilheres author Didier Schwab author Cédric Lopez author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication aubertin-etal-2025-popcorn https://aclanthology.org/2025.jeptalnrecital-evalllm.1/ 2025-6 1 10 AllSummedUp : un framework open-source pour comparer les métriques d’évaluation de résumé Tanguy Herserant author Vincent Guigue author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication herserant-guigue-2025-allsummedup https://aclanthology.org/2025.jeptalnrecital-evalllm.2/ 2025-6 11 21 Amélioration et Automatisation de la Génération des Cas de Tests Logiciels à l’Aide du Modèle Llama Imane Moughit author Imad Hafidi author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication moughit-hafidi-2025-amelioration https://aclanthology.org/2025.jeptalnrecital-evalllm.3/ 2025-6 22 35 Approche générative de la conformation pragmatique : une étude de cas de l’analyse d’une conférence Julien Perez author Idir Benouaret author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication perez-benouaret-2025-approche https://aclanthology.org/2025.jeptalnrecital-evalllm.4/ 2025-6 36 50 Comment évaluer un grand modèle de langue dans le domaine médical en français ? Christophe Servan author Cyril Grouin author Aurélie Névéol author Pierre Zweigenbaum author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication servan-etal-2025-comment https://aclanthology.org/2025.jeptalnrecital-evalllm.5/ 2025-6 51 67 Culture et acculturation des grands modèles de langue Mathieu Valette author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication valette-2025-culture https://aclanthology.org/2025.jeptalnrecital-evalllm.6/ 2025-6 68 76 Décoder le pouvoir de persuasion dans les concours d’éloquence : une étude sur la capacité des modèles de langues à évaluer la prise de parole en public Alisa Barkar author Mathieu Chollet author Matthieu Labeau author Beatrice Biancardi author Chloé Clavel author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication barkar-etal-2025-decoder https://aclanthology.org/2025.jeptalnrecital-evalllm.7/ 2025-6 77 90 Des Prompts aux Profils: Evaluation de la qualité des données générées par LLM pour la classification des soft skills Elena Rozera author Nédra Mellouli-Nauwynck author Patrick Leguide author William Morcombe author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication rozera-etal-2025-des https://aclanthology.org/2025.jeptalnrecital-evalllm.8/ 2025-6 91 107 Étude des déterminants impactant la qualité de l’information géographique chez les LLMs : famille, taille, langue, quantization et fine-tuning Rémy Decoupes author Adrien Guille author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication decoupes-guille-2025-etude https://aclanthology.org/2025.jeptalnrecital-evalllm.9/ 2025-6 108 119 Evaluating LLMs Efficiency Using Successive Attempts on Binary-Outcome Tasks Mohamed Amine El Yagouby author Mehdi Zekroum author Abdelkader Lahmadi author Mounir Ghogho author Olivier Festor author 2025-06 text Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication el-yagouby-etal-2025-evaluating https://aclanthology.org/2025.jeptalnrecital-evalllm.10/ 2025-6 120 126 Évaluation Comparative de la Génération Contrainte vs. du Post-Parsing pour l’Analyse de Contenu par LLMs : Étude sur le Corpus EUvsDisinfo Kévin Séjourné author Marine Foucher author Alexandru Lata author Jean-Fabrice Lebraty author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication sejourne-etal-2025-evaluation https://aclanthology.org/2025.jeptalnrecital-evalllm.11/ 2025-6 127 137 Évaluation automatique du retour à la source dans un contexte historique long et bruité. Application aux débats parlementaires de la Troisième République française Julien Perez author Aurélien Pellet author Marie Puren author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication perez-etal-2025-evaluation https://aclanthology.org/2025.jeptalnrecital-evalllm.12/ 2025-6 138 150 Évaluation de la Robustesse des LLM : Proposition d’un Cadre Méthodologique et Développement d’un Benchmark Fares Grina author Natalia Kalashnikova author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication grina-kalashnikova-2025-evaluation https://aclanthology.org/2025.jeptalnrecital-evalllm.13/ 2025-6 151 163 Évaluation de la description automatique de scènes audio par la tâche d’Audio Question Answering Marcel Gibier author Raphaël Duroselle author Pierre Serrano author Olivier Boëffard author Jean-François Bonastre author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication gibier-etal-2025-evaluation https://aclanthology.org/2025.jeptalnrecital-evalllm.14/ 2025-6 164 177 Evaluation de petits modèles de langues (SLM) sur un corpus de Sciences Humaines et Sociales (SHS) en français Sam Vallet author Philippe Suignard author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication vallet-suignard-2025-evaluation https://aclanthology.org/2025.jeptalnrecital-evalllm.15/ 2025-6 178 187 Évaluation pédagogique du code à l’aide de grands modèles de langage. Une étude comparative à grande échelle contre les tests unitaires Julien Perez author Anton Conrad author Elkoussy Laïla author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication perez-etal-2025-evaluation-pedagogique https://aclanthology.org/2025.jeptalnrecital-evalllm.16/ 2025-6 188 201 Exploration de stratégies de prédiction de la complexité lexicale en contexte multilingue à l’aide de modèles de langage génératifs et d’approches supervisées. Abdelhak Kelious author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication kelious-2025-exploration https://aclanthology.org/2025.jeptalnrecital-evalllm.17/ 2025-6 202 203 Générer pour mieux tester : vers des datasets diversifiés pour une évaluation fiable des systèmes de Question Answering Louis Jourdain author Skander Hellal author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication jourdain-hellal-2025-generer https://aclanthology.org/2025.jeptalnrecital-evalllm.18/ 2025-6 204 227 Peut-on faire confiance aux juges ? Validation de méthodes d’évaluation de la factualité par perturbation des réponses Giovanni Gatti Pinheiro author Sarra Gharsallah author Adèle Robaldo author Mariia Tokareva author Ilyana Guendouz author Raphaël Troncy author Paolo Papotti author Pietro Michiardi author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication gatti-pinheiro-etal-2025-peut https://aclanthology.org/2025.jeptalnrecital-evalllm.19/ 2025-6 228 252 SuperGPQA-HCE-FR : un corpus spécialisé en français pour le domaine hydraulique et le génie civil Markarit Vartampetian author Diandra Fabre author Philippe Mulhem author Sylvain Joubert author Didier Schwab author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication vartampetian-etal-2025-supergpqa https://aclanthology.org/2025.jeptalnrecital-evalllm.20/ 2025-6 253 276 Une Approche Linguistique pour l’Évaluation des Caractéristiques du Langage Parlé dans les Modèles Conversationnels Oussama Silem author Maïwenn Fleig author Philippe Blache author Houda Oufaida author Leonor Becerra-Bonache author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication silem-etal-2025-une https://aclanthology.org/2025.jeptalnrecital-evalllm.21/ 2025-6 277 290 Vers une évaluation rigoureuse des systèmes RAG : le défi de la due diligence Grégoire Martinon author Alexandra De Brionne Lorenzo author Jérôme Bohard author Antoine Lojou author Damien Hervault author Nicolas Brunel author 2025-06 text fra Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM) Frédéric Bechet editor Adrian-Gabriel Chifu editor Karen Pinel-sauvagnat editor Benoit Favre editor Eliot Maes editor Diana Nurbakova editor ATALA \textbackslash\textbackslash& ARIA Marseille, France conference publication martinon-etal-2025-vers https://aclanthology.org/2025.jeptalnrecital-evalllm.22/ 2025-6 291 308