@inproceedings{zong-piwowarski-2025-vers,
title = "Vers un {\'e}lagage de tokens sans co{\^u}t dans les mod{\`e}les de r{\'e}cup{\'e}ration {\`a} interaction tardive",
author = "Zong, Yuxuan and
Piwowarski, Benjamin",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de la 20e Conf{\'e}rence en Recherche d{'}Information et Applications (CORIA)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-coria.25/",
pages = "294--309",
language = "fra",
abstract = "Les mod{\`e}les de RI neuronaux {\`a} interaction tardive comme ColBERT offrent un compromis comp{\'e}titif entre efficacit{\'e} et efficience sur de nombreuses bases de r{\'e}f{\'e}rence. Cependant, ils n{\'e}cessitent un espace m{\'e}moire consid{\'e}rable pour stocker les repr{\'e}sentations contextuelles de tous les tokens des documents. Certains travaux ont propos{\'e} d{'}utiliser soit des heuristiques, soit des techniques bas{\'e}es sur les statistiques pour {\'e}laguer des tokens dans chaque document. Cependant, cela ne garantit pas que les tokens supprim{\'e}s n{'}aient aucun impact sur le score de r{\'e}cup{\'e}ration. Notre travail utilise une approche m{\'e}thodique pour d{\'e}finir comment {\'e}laguer des tokens sans affecter le score entre un document et une question. Nous introduisons trois co{\^u}ts de r{\'e}gularisation, qui induisent une solution avec des taux d'{\'e}lagage {\'e}lev{\'e}s, ainsi que deux strat{\'e}gies d'{\'e}lagage. Nous les {\'e}tudions exp{\'e}rimentalement (en domaine interne et externe), d{\'e}montrant que nous pouvons pr{\'e}server les performances de ColBERT tout en n{'}utilisant que 30{\%} des tokens."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="zong-piwowarski-2025-vers">
<titleInfo>
<title>Vers un élagage de tokens sans coût dans les modèles de récupération à interaction tardive</title>
</titleInfo>
<name type="personal">
<namePart type="given">Yuxuan</namePart>
<namePart type="family">Zong</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benjamin</namePart>
<namePart type="family">Piwowarski</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les modèles de RI neuronaux à interaction tardive comme ColBERT offrent un compromis compétitif entre efficacité et efficience sur de nombreuses bases de référence. Cependant, ils nécessitent un espace mémoire considérable pour stocker les représentations contextuelles de tous les tokens des documents. Certains travaux ont proposé d’utiliser soit des heuristiques, soit des techniques basées sur les statistiques pour élaguer des tokens dans chaque document. Cependant, cela ne garantit pas que les tokens supprimés n’aient aucun impact sur le score de récupération. Notre travail utilise une approche méthodique pour définir comment élaguer des tokens sans affecter le score entre un document et une question. Nous introduisons trois coûts de régularisation, qui induisent une solution avec des taux d’élagage élevés, ainsi que deux stratégies d’élagage. Nous les étudions expérimentalement (en domaine interne et externe), démontrant que nous pouvons préserver les performances de ColBERT tout en n’utilisant que 30% des tokens.</abstract>
<identifier type="citekey">zong-piwowarski-2025-vers</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-coria.25/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>294</start>
<end>309</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Vers un élagage de tokens sans coût dans les modèles de récupération à interaction tardive
%A Zong, Yuxuan
%A Piwowarski, Benjamin
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F zong-piwowarski-2025-vers
%X Les modèles de RI neuronaux à interaction tardive comme ColBERT offrent un compromis compétitif entre efficacité et efficience sur de nombreuses bases de référence. Cependant, ils nécessitent un espace mémoire considérable pour stocker les représentations contextuelles de tous les tokens des documents. Certains travaux ont proposé d’utiliser soit des heuristiques, soit des techniques basées sur les statistiques pour élaguer des tokens dans chaque document. Cependant, cela ne garantit pas que les tokens supprimés n’aient aucun impact sur le score de récupération. Notre travail utilise une approche méthodique pour définir comment élaguer des tokens sans affecter le score entre un document et une question. Nous introduisons trois coûts de régularisation, qui induisent une solution avec des taux d’élagage élevés, ainsi que deux stratégies d’élagage. Nous les étudions expérimentalement (en domaine interne et externe), démontrant que nous pouvons préserver les performances de ColBERT tout en n’utilisant que 30% des tokens.
%U https://aclanthology.org/2025.jeptalnrecital-coria.25/
%P 294-309
Markdown (Informal)
[Vers un élagage de tokens sans coût dans les modèles de récupération à interaction tardive](https://aclanthology.org/2025.jeptalnrecital-coria.25/) (Zong & Piwowarski, JEP/TALN/RECITAL 2025)
ACL