Large Language Models (LLMs) excel in Natural Language Processing (NLP) tasks, but they often propagate biases embedded in their training data, which is potentially impactful in sensitive domains like healthcare. While existing benchmarks evaluate biases related to individual social determinants of health (SDoH) such as gender or ethnicity, they often overlook interactions between these factors and lack context-specific assessments. This study investigates bias in LLMs by probing the relationships between gender and other SDoH in French patient records. Through a series of experiments, we found that embedded stereotypes can be probed using SDoH input and that LLMs rely on embedded stereotypes to make gendered decisions, suggesting that evaluating interactions among SDoH factors could usefully complement existing approaches to assessing LLM performance and bias.

Les grands modèles de langage (LLM) pré-entraînés ont transformé le traitement du langage naturel (TALN) et les tâches quotidiennes, surpassant les méthodes traditionnelles. Leur utilisation a démocratisé l’accès, facilitant l’écriture, le codage et les conseils de santé. Entraînés sur d’immenses corpus textuels issus d’internet, les LLM héritent de biais, perpétuant des stéréotypes qui peuvent fausser les représentations linguistiques et causer des préjudices représentationnels ou allocationnels. Dans le domaine médical, où les LLM soutiennent la communication et la documentation, ces biais présentent des risques significatifs. Cette revue analyse les recherches sur les biais des LLM, identifie les lacunes concernant les déterminants sociaux de la santé (DSS) et discute de la nécessité d’un cadre pour les aborder de manière exhaustive, améliorant l’intégration sécurisée des LLM en santé.