Louis Jourdain

Author directory

2026

We describe a training-free system for the WMT26 Creole MT shared task, targeting Haitian Creole in four directions (eng↔hat, fra↔hat). Rather than fine-tune, we wrap a sin- gle fixed 8B instruction model (qwen3-8b) in a language-agnostic harness that retrieves lexi- cal, parallel-data and grammatical evidence and injects it directly into the translation prompt. On FLORES+ devtest the harness lifts the base model by up to +14 chrF++ and clears the shared task’s primary baseline in all four di- rections, though a purpose-fine-tuned system (kreyòl-MT) and frontier LLM still lead the mean. On the task’s blind test set that ordering reverses: we finish below both baselines, while the harness gain itself holds, staying large into Creole and small out of it. Two findings frame the paper. First, injected knowledge behaves as a reasoning equalizer: the same evidence that lifts a weak open model leaves a strong frontier model flat, so grounding substitutes for a capa- bility the model lacks rather than amplifying one it has. Second, how evidence is delivered dominates: forcing it into the prompt beats let- ting the model self-serve the same tools in an agentic (ReAct) loop, which costs about 6× the tokens.

2025

L’évaluation des modèles d’IA générative repose sur des datasets contenant des valeurs de référence attendues pour une entrée donnée. Cependant, la constitution de ces jeux de données est un processus complexe et coûteux. Cet article explore la génération automatique de datasets de questions diversifiées pour tester notamment les systèmes de RAG (Retrieval Augmented Generation). Nous proposons un cadre méthodologique combinant modèles de langage à grande échelle (LLMs) et techniques traditionnelles de traitement du langage naturel (NLP) et de data science, incluant les graphes de connaissances, la similarité sémantique voire le topic modeling. L’approche proposée repose sur un système modulaire exploitant diverses sources documentaires et intégrant des mécanismes avancés de filtrage afin de garantir la qualité et la diversité des questions produites.