Pirmin Lemberger
Author directory2026
Disentangling Spurious Correlations: How IRM Handles Diverse Shortcuts in Text Classification
Paul Grunenwald | Benoit Crabbé | Guillaume Wisniewski | Pirmin Lemberger
Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing
Paul Grunenwald | Benoit Crabbé | Guillaume Wisniewski | Pirmin Lemberger
Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing
In NLP, models trained via Empirical Risk Minimization (ERM) often exploit spurious correlations, such as dialectal markers, at the expense of robust linguistic features, thereby degrading their out-of-distribution (OOD) generalization. Invariant Risk Minimization (IRM) aims to suppress such shortcuts by identifying predictive relationships that remain stable across environments, but its practical utility for NLP remains debated. We use a causality-driven framework to evaluate IRM under three shortcut-generating mechanisms: label-generated features, confounding, and selection bias. Our results show that IRM successfully rejects shortcuts across the evaluated causal and anti-causal structures, including under limited environmental variation and increasing label noise. We then extend our analysis beyond controlled synthetic artifacts to two less constrained settings: gender-profession associations in Bias in Bios and semantically loaded actor-name shortcuts in ActorCorr. These experiments show that invariant learning can mitigate more realistic textual shortcuts, while semantically meaningful features require careful calibration of the invariance penalty.
2025
Prédiction des préférences et génération de revue personnalisée basées sur les aspects et attention
Ben Kabongo | Vincent Guigue | Pirmin Lemberger
Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)
Ben Kabongo | Vincent Guigue | Pirmin Lemberger
Actes de la 20e Conférence en Recherche d’Information et Applications (CORIA)
Le filtrage collaboratif alimente de nombreux systèmes de recommandation performants, mais il peine à saisir les interactions fines entre utilisateurs et articles et à fournir des explications claires. Face à la demande croissante de transparence, la génération d’explications textuelles via des modèles de langage est devenue un axe de recherche majeur. Nous proposons AURA, un modèle multi-tâches combinant prédiction de notes et génération de revues personnalisées. AURA apprend simultanément des représentations globales et spécifiques aux aspects en optimisant les notes globales, les notes par aspect et la génération de revues, avec une attention personnalisée. Ces représentations produisent une invite personnalisée qui guide un modèle de langage pour générer la revue finale. Implémenté avec le modèle T5 pré-entraîné et une stratégie de réglage par invite, AURA a été testé sur TripAdvisor et RateBeer. Les résultats montrent qu’il surpasse nettement les modèles de référence, surtout en génération de revues, renforçant ainsi la transparence des recommandations et la satisfaction des utilisateurs.