@inproceedings{vartampetian-etal-2025-supergpqa,
title = "{S}uper{GPQA}-{HCE}-{FR} : un corpus sp{\'e}cialis{\'e} en fran{\c{c}}ais pour le domaine hydraulique et le g{\'e}nie civil",
author = "Vartampetian, Markarit and
Fabre, Diandra and
Mulhem, Philippe and
Joubert, Sylvain and
Schwab, Didier",
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-evalllm.20/",
pages = "253--276",
language = "fra",
abstract = "Dans cet article, nous pr{\'e}sentons SuperGPQA-HCE-FR, une adaptation fran{\c{c}}aise d{'}un sous-ensemble du benchmark SuperGPQA ax{\'e} sur les domaines de l{'}ing{\'e}nierie hydraulique et du g{\'e}nie civil. Il comprend 285 questions {\`a} choix multiples con{\c{c}}ues pour {\'e}valuer et sp{\'e}cialiser des mod{\`e}les de langue multilingues de grande taille (LLMs) sur des t{\^a}ches techniques. La traduction r{\'e}alis{\'e}e automatiquement est ensuite {\'e}valu{\'e}e par des experts des domaines. Enfin, nous pr{\'e}sentons les premiers r{\'e}sultats sur des mod{\`e}les Instruct g{\'e}n{\'e}ralistes multilingues en comparant les performances du corpus original en anglais {\`a} celles du corpus traduit en fran{\c{c}}ais."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="vartampetian-etal-2025-supergpqa">
<titleInfo>
<title>SuperGPQA-HCE-FR : un corpus spécialisé en français pour le domaine hydraulique et le génie civil</title>
</titleInfo>
<name type="personal">
<namePart type="given">Markarit</namePart>
<namePart type="family">Vartampetian</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diandra</namePart>
<namePart type="family">Fabre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Philippe</namePart>
<namePart type="family">Mulhem</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Sylvain</namePart>
<namePart type="family">Joubert</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Didier</namePart>
<namePart type="family">Schwab</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Dans cet article, nous présentons SuperGPQA-HCE-FR, une adaptation française d’un sous-ensemble du benchmark SuperGPQA axé sur les domaines de l’ingénierie hydraulique et du génie civil. Il comprend 285 questions à choix multiples conçues pour évaluer et spécialiser des modèles de langue multilingues de grande taille (LLMs) sur des tâches techniques. La traduction réalisée automatiquement est ensuite évaluée par des experts des domaines. Enfin, nous présentons les premiers résultats sur des modèles Instruct généralistes multilingues en comparant les performances du corpus original en anglais à celles du corpus traduit en français.</abstract>
<identifier type="citekey">vartampetian-etal-2025-supergpqa</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-evalllm.20/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>253</start>
<end>276</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T SuperGPQA-HCE-FR : un corpus spécialisé en français pour le domaine hydraulique et le génie civil
%A Vartampetian, Markarit
%A Fabre, Diandra
%A Mulhem, Philippe
%A Joubert, Sylvain
%A Schwab, Didier
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F vartampetian-etal-2025-supergpqa
%X Dans cet article, nous présentons SuperGPQA-HCE-FR, une adaptation française d’un sous-ensemble du benchmark SuperGPQA axé sur les domaines de l’ingénierie hydraulique et du génie civil. Il comprend 285 questions à choix multiples conçues pour évaluer et spécialiser des modèles de langue multilingues de grande taille (LLMs) sur des tâches techniques. La traduction réalisée automatiquement est ensuite évaluée par des experts des domaines. Enfin, nous présentons les premiers résultats sur des modèles Instruct généralistes multilingues en comparant les performances du corpus original en anglais à celles du corpus traduit en français.
%U https://aclanthology.org/2025.jeptalnrecital-evalllm.20/
%P 253-276
Markdown (Informal)
[SuperGPQA-HCE-FR : un corpus spécialisé en français pour le domaine hydraulique et le génie civil](https://aclanthology.org/2025.jeptalnrecital-evalllm.20/) (Vartampetian et al., JEP/TALN/RECITAL 2025)
ACL