We describe a multilingual, character-level hallucination detection system for vision-language models combining multi-layer hidden states, text-to-vision LoRA transfer, multitask learning, and language-specific span emission. Our submission achieved a validation Character AUPRC of 0.5530 and an average test Cor/Cor+lbl of 0.5243/0.4174. A controlled post-submission factorial analysis improved validation Character AUPRC to 0.5595. Team champ placed third in French, fourth in Italian and Chinese, and fifth in English.

Cet article présente un état de l’art sur les hallucinations produites par les grands modèles de langue (LLMs). L’objectif de ce travail est double : dresser un panorama des recherches actuelles dans ce domaine et souligner l’importance de prendre en considération les hallucinations lors de la conception des systèmes incorporant des LLMs. Pour ce faire, nous commençons par la définition du problème. Nous présentons ensuite les différentes méthodes d’évaluation, suivis des techniques de détection et de mitigation des hallucinations, tout en discutant leurs forces et limites méthodologiques.