@inproceedings{el-yagouby-etal-2025-cadre,
title = "Cadre d'{\'e}valuation pour les syst{\`e}mes de g{\'e}n{\'e}ration augment{\'e}e ({RAG}) : combinaison des performances de recherche d{'}informations et de {LLM}",
author = "El-Yagouby, Mohamed-Amine and
Mulhem, Philippe and
Chevallet, Jean-Pierre and
Gaussier, Eric",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de la 20e Conf{\'e}rence en Recherche d{'}Information et Applications (CORIA)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-coria.5/",
pages = "50--60",
language = "fra",
abstract = "Cet article introduit un nouveau cadre d'{\'e}valuation pour les syst{\`e}mes RAG, en comblant les lacunes des approches pr{\'e}c{\'e}dentes. La premi{\`e}re phase consiste {\`a} concevoir un ensemble de donn{\'e}es avec des parties pertinentes extraites pour chaque exemple, repr{\'e}sentant les informations n{\'e}cessaires pour r{\'e}pondre {\`a} une question donn{\'e}e, et {\`a} proposer une m{\'e}trique d'{\'e}valuation pour les syst{\`e}mes IR bas{\'e}e sur la pr{\'e}sence de ces parties dans le contenu r{\'e}cup{\'e}r{\'e}. La deuxi{\`e}me phase explore la relation entre le syst{\`e}me de RI et les {\'e}valuations RAG globales et utilise cette relation pour pr{\'e}dire les performances globales du RAG {\`a} partir des performances du SRI. Cette approche {\'e}limine le besoin de r{\'e}ponses co{\^u}teuses g{\'e}n{\'e}r{\'e}es par LLM et d'{\'e}valuations ult{\'e}rieures, r{\'e}duisant ainsi les co{\^u}ts et fournissant un cadre d'{\'e}valuation plus complet et plus robuste pour les syst{\`e}mes RAG."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="el-yagouby-etal-2025-cadre">
<titleInfo>
<title>Cadre d’évaluation pour les systèmes de génération augmentée (RAG) : combinaison des performances de recherche d’informations et de LLM</title>
</titleInfo>
<name type="personal">
<namePart type="given">Mohamed-Amine</namePart>
<namePart type="family">El-Yagouby</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Philippe</namePart>
<namePart type="family">Mulhem</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jean-Pierre</namePart>
<namePart type="family">Chevallet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eric</namePart>
<namePart type="family">Gaussier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Cet article introduit un nouveau cadre d’évaluation pour les systèmes RAG, en comblant les lacunes des approches précédentes. La première phase consiste à concevoir un ensemble de données avec des parties pertinentes extraites pour chaque exemple, représentant les informations nécessaires pour répondre à une question donnée, et à proposer une métrique d’évaluation pour les systèmes IR basée sur la présence de ces parties dans le contenu récupéré. La deuxième phase explore la relation entre le système de RI et les évaluations RAG globales et utilise cette relation pour prédire les performances globales du RAG à partir des performances du SRI. Cette approche élimine le besoin de réponses coûteuses générées par LLM et d’évaluations ultérieures, réduisant ainsi les coûts et fournissant un cadre d’évaluation plus complet et plus robuste pour les systèmes RAG.</abstract>
<identifier type="citekey">el-yagouby-etal-2025-cadre</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-coria.5/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>50</start>
<end>60</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Cadre d’évaluation pour les systèmes de génération augmentée (RAG) : combinaison des performances de recherche d’informations et de LLM
%A El-Yagouby, Mohamed-Amine
%A Mulhem, Philippe
%A Chevallet, Jean-Pierre
%A Gaussier, Eric
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F el-yagouby-etal-2025-cadre
%X Cet article introduit un nouveau cadre d’évaluation pour les systèmes RAG, en comblant les lacunes des approches précédentes. La première phase consiste à concevoir un ensemble de données avec des parties pertinentes extraites pour chaque exemple, représentant les informations nécessaires pour répondre à une question donnée, et à proposer une métrique d’évaluation pour les systèmes IR basée sur la présence de ces parties dans le contenu récupéré. La deuxième phase explore la relation entre le système de RI et les évaluations RAG globales et utilise cette relation pour prédire les performances globales du RAG à partir des performances du SRI. Cette approche élimine le besoin de réponses coûteuses générées par LLM et d’évaluations ultérieures, réduisant ainsi les coûts et fournissant un cadre d’évaluation plus complet et plus robuste pour les systèmes RAG.
%U https://aclanthology.org/2025.jeptalnrecital-coria.5/
%P 50-60
Markdown (Informal)
[Cadre d’évaluation pour les systèmes de génération augmentée (RAG) : combinaison des performances de recherche d’informations et de LLM](https://aclanthology.org/2025.jeptalnrecital-coria.5/) (El-Yagouby et al., JEP/TALN/RECITAL 2025)
ACL