Louis Jourdain
Author directory2026
ChapsVision (CHV) at WMT 2026 CreoleMT: Shifting Creole MT from Train-Time to Test-Time Compute for Haitian Creole
Louis Jourdain | Aurélie Pradelles | Nasredine Semmar
Proceedings of the Eleventh Conference on Machine Translation
Louis Jourdain | Aurélie Pradelles | Nasredine Semmar
Proceedings of the Eleventh Conference on Machine Translation
We describe a training-free system for the WMT26 Creole MT shared task, targeting Haitian Creole in four directions (eng↔hat, fra↔hat). Rather than fine-tune, we wrap a sin- gle fixed 8B instruction model (qwen3-8b) in a language-agnostic harness that retrieves lexi- cal, parallel-data and grammatical evidence and injects it directly into the translation prompt. On FLORES+ devtest the harness lifts the base model by up to +14 chrF++ and clears the shared task’s primary baseline in all four di- rections, though a purpose-fine-tuned system (kreyòl-MT) and frontier LLM still lead the mean. On the task’s blind test set that ordering reverses: we finish below both baselines, while the harness gain itself holds, staying large into Creole and small out of it. Two findings frame the paper. First, injected knowledge behaves as a reasoning equalizer: the same evidence that lifts a weak open model leaves a strong frontier model flat, so grounding substitutes for a capa- bility the model lacks rather than amplifying one it has. Second, how evidence is delivered dominates: forcing it into the prompt beats let- ting the model self-serve the same tools in an agentic (ReAct) loop, which costs about 6× the tokens.
2025
Générer pour mieux tester : vers des datasets diversifiés pour une évaluation fiable des systèmes de Question Answering
Louis Jourdain | Skander Hellal
Actes de l'atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
Louis Jourdain | Skander Hellal
Actes de l'atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
L’évaluation des modèles d’IA générative repose sur des datasets contenant des valeurs de référence attendues pour une entrée donnée. Cependant, la constitution de ces jeux de données est un processus complexe et coûteux. Cet article explore la génération automatique de datasets de questions diversifiées pour tester notamment les systèmes de RAG (Retrieval Augmented Generation). Nous proposons un cadre méthodologique combinant modèles de langage à grande échelle (LLMs) et techniques traditionnelles de traitement du langage naturel (NLP) et de data science, incluant les graphes de connaissances, la similarité sémantique voire le topic modeling. L’approche proposée repose sur un système modulaire exploitant diverses sources documentaires et intégrant des mécanismes avancés de filtrage afin de garantir la qualité et la diversité des questions produites.