Automatic text simplification measures correlate poorly with human judgments and are disconnected from psycholinguistic research on comprehension. We propose a multidimensional analysis framework grounded in Cognitive Load Theory and the Construction-Integration model, organizing over 400 linguistic features into six simplicity dimensions targeting distinct comprehension stages. Using this framework, we analyze four human-annotated and six aligned simplification datasets. We find that (1) our dimensions predict human simplicity judgments better than established measures on most datasets; (2) current datasets overwhelmingly target lexical and syntactic dimensions while under-targeting personalization the dimension psychological research identifies as most impactful for comprehension; and (3) existing measures overall do not capture any specific dimension. These findings provide actionable guidance for building measures and datasets better aligned with how readers actually process text.

Ces dernières années, l’action SimpleText a rassemblé une communauté active de chercheurs en traitement du langage naturel (TLN) et en recherche d’information (RI) autour d’un objectif commun : améliorer l’accessibilité des textes scientifiques. Ses références en matière de recherche d’extraits scientifiques, de détection et d’explication de terminologies scientifiques, ainsi que de simplification de textes scientifiques sont désormais des standards. En 2025, nous introduisons cette année des changements majeurs dans l’organisation et les missions de l’action. L’action CLEF 2025 SimpleText proposera trois tâches principales. . Tâche 1 sur Simplification de texte : simplification de texte scientifique. Tâche 2 sur Créativité contrôlée : identifier et éviter les hallucinations. Tâche 3 surSimpleText 2024 Revisité : tâches sélectionnées sur demande populaire.