Nous proposons une nouvelle méthode pour mesurer les biais politiques des grands modèles de langue multilingues pour la traduction automatique, l’aide à la rédaction et le résumé automatique. Nous nous appuyons sur une représentation dense des opinions politiques exprimées dans les textes, apprise de façon faiblement supervisée.

L’évaluation, la réglementation et l’alignement des Grands Modèles de Langue (LLM) sur des questions politiques sont devenus des préoccupations cruciales alors que ces technologies se répandent de plus en plus dans tous les secteurs de la société. Cependant, des méthodologies et des fondements théoriques clairs font encore défaut. S’appuyant sur l’œuvre de Converse sur l’opinion publique, nous examinons de manière critique les pratiques courantes d’évaluation idéologique. Nous plaidons également pour des approches alternatives, plus étroites, mieux alignées sur les systèmes de croyances du grand public.

Nous présentons MascuLead, le premier tableau de bord centré sur une tâche de détection de biais de genre pour les langues fleuries. Nous appliquons un cadre existant sur plusieurs Grands Modèles de Langue et comparons leurs performances. Nous soulignons également l’importance d’inclure des références de biais dans les tableaux de bord, et nous questionnons la notion même de tableaux de bord.