Approche générative de la conformation pragmatique : une étude de cas de l’analyse d’une conférence

Julien Perez, Idir Benouaret


Abstract
La relecture en double aveugle est centrale dans les conférences scientifiques, mais des biais persistent. OpenReview a introduit plus de transparence en rendant publics les articles, les évaluations et les décisions. Ce travail explore l’utilisation des grands modèles de langage (LLMs) pour assister différentes étapes du processus de relecture : production de méta-revues, détection de biais et de subjectivité dans les évaluations. L’étude s’appuie sur les données ICLR de 2017 à 2022 et inclut des analyses quantitatives et des évaluations humaines à l’aveugle. Les résultats visent à encourager une relecture scientifique plus efficace et équitable.
Anthology ID:
2025.jeptalnrecital-evalllm.4
Volume:
Actes de l'atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
Month:
6
Year:
2025
Address:
Marseille, France
Editors:
Frédéric Bechet, Adrian-Gabriel Chifu, Karen Pinel-sauvagnat, Benoit Favre, Eliot Maes, Diana Nurbakova
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA \\& ARIA
Note:
Pages:
36–50
Language:
French
URL:
https://aclanthology.org/2025.jeptalnrecital-evalllm.4/
DOI:
Bibkey:
Cite (ACL):
Julien Perez and Idir Benouaret. 2025. Approche générative de la conformation pragmatique : une étude de cas de l’analyse d’une conférence. In Actes de l'atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM), pages 36–50, Marseille, France. ATALA \\& ARIA.
Cite (Informal):
Approche générative de la conformation pragmatique : une étude de cas de l’analyse d’une conférence (Perez & Benouaret, JEP/TALN/RECITAL 2025)
Copy Citation:
PDF:
https://aclanthology.org/2025.jeptalnrecital-evalllm.4.pdf