@inproceedings{decoupes-guille-2025-etude,
title = "{\'E}tude des d{\'e}terminants impactant la qualit{\'e} de l{'}information g{\'e}ographique chez les {LLM}s : famille, taille, langue, quantization et fine-tuning",
author = "Decoupes, R{\'e}my and
Guille, Adrien",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-evalllm.9/",
pages = "108--119",
language = "fra",
abstract = "Nous analysons l{'}impact de plusieurs facteurs d{'}optimisation sur la qualit{\'e} des informations g{\'e}ographiques contenues dans des grands mod{\`e}les de langue (LLMs) : famille, taille, {\guillemotleft}quantization{\guillemotright}, {\guillemotleft}instruction fine-tuning{\guillemotright}, prompt et langue. Nous {\'e}valuons {\'e}galement la qualit{\'e} des repr{\'e}sentations internes, en particulier pour les mod{\`e}les g{\'e}n{\'e}ratifs ayant des difficult{\'e}s {\`a} suivre les instructions. Nos r{\'e}sultats montrent que la quantization d{\'e}grade nettement les performances, tandis que les versions conversationnelles ({\guillemotleft}Instruct{\guillemotright}) perdent g{\'e}n{\'e}ralement en qualit{\'e} d{'}informations par rapport {\`a} leur version {\guillemotleft}base{\guillemotright}, {\`a} l{'}exception des mod{\`e}les de petite taille. L{'}ensemble de notre protocole d'{\'e}valuation est enti{\`e}rement reproductible et disponible en acc{\`e}s libre."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="decoupes-guille-2025-etude">
<titleInfo>
<title>Étude des déterminants impactant la qualité de l’information géographique chez les LLMs : famille, taille, langue, quantization et fine-tuning</title>
</titleInfo>
<name type="personal">
<namePart type="given">Rémy</namePart>
<namePart type="family">Decoupes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrien</namePart>
<namePart type="family">Guille</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Nous analysons l’impact de plusieurs facteurs d’optimisation sur la qualité des informations géographiques contenues dans des grands modèles de langue (LLMs) : famille, taille, \guillemotleftquantization\guillemotright, \guillemotleftinstruction fine-tuning\guillemotright, prompt et langue. Nous évaluons également la qualité des représentations internes, en particulier pour les modèles génératifs ayant des difficultés à suivre les instructions. Nos résultats montrent que la quantization dégrade nettement les performances, tandis que les versions conversationnelles (\guillemotleftInstruct\guillemotright) perdent généralement en qualité d’informations par rapport à leur version \guillemotleftbase\guillemotright, à l’exception des modèles de petite taille. L’ensemble de notre protocole d’évaluation est entièrement reproductible et disponible en accès libre.</abstract>
<identifier type="citekey">decoupes-guille-2025-etude</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-evalllm.9/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>108</start>
<end>119</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Étude des déterminants impactant la qualité de l’information géographique chez les LLMs : famille, taille, langue, quantization et fine-tuning
%A Decoupes, Rémy
%A Guille, Adrien
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F decoupes-guille-2025-etude
%X Nous analysons l’impact de plusieurs facteurs d’optimisation sur la qualité des informations géographiques contenues dans des grands modèles de langue (LLMs) : famille, taille, \guillemotleftquantization\guillemotright, \guillemotleftinstruction fine-tuning\guillemotright, prompt et langue. Nous évaluons également la qualité des représentations internes, en particulier pour les modèles génératifs ayant des difficultés à suivre les instructions. Nos résultats montrent que la quantization dégrade nettement les performances, tandis que les versions conversationnelles (\guillemotleftInstruct\guillemotright) perdent généralement en qualité d’informations par rapport à leur version \guillemotleftbase\guillemotright, à l’exception des modèles de petite taille. L’ensemble de notre protocole d’évaluation est entièrement reproductible et disponible en accès libre.
%U https://aclanthology.org/2025.jeptalnrecital-evalllm.9/
%P 108-119
Markdown (Informal)
[Étude des déterminants impactant la qualité de l’information géographique chez les LLMs : famille, taille, langue, quantization et fine-tuning](https://aclanthology.org/2025.jeptalnrecital-evalllm.9/) (Decoupes & Guille, JEP/TALN/RECITAL 2025)
ACL