Lynda Said Lhadj

Author directory

2026

This paper describes the system we designed for our participation in the AraSentEval 2026 shared task on Arabic dialectal sentiment analysis. We propose a transformer-based approach relying on MARBERT combined with a multi-seed ensemble strategy and several optimization techniques. Our system integrates seven independently trained models with different random initializations and applies Stochastic Weight Averaging (SWA) to improve generalization. To address class imbalance, we augment the training data through dialectal synonym replacement, increasing the dataset size by 13.9% while preserving dialect distribution. In addition, we incorporate Test-Time Augmentation (TTA) and investigate the use of pseudo-labeling based on high-confidence predictions. We report our experiments on the official dataset covering Moroccan, Egyptian, Jordanian, and Saudi dialects, and analyze the contribution of each component through ablation experiments. Our system achieved a macro F1-score of 84.62% on the test set, ranking 3rd among 15 participating teams.
Named Entity Recognition for dialectal Arabic remains severely constrained by data scarcity, and LLM-based augmentation is the natural remedy. We study LLM-based augmentation for the Lebanese and Palestinian sub-corpora of Wojood 2024, using LLaMA-3.1-8B-Instruct as a generation backbone, and compare three strategies (entity-level, context-level, combined) across two k-shot sampling paradigms. The proposed multi-dimensional pipeline yields a per-sentence composite score Q(s) that exposes a sharp dialectal-authenticity gap between entity- and context-level rewriting (DA 0.92 vs. 0.51). Despite lower register fidelity, context augmentation with curriculum training delivers the most consistent gains (Curras F1 +5.70 pp); entity augmentation lifts Lebanese F1 from a zero baseline to 50.00 on Lebanese-only training, a figure the 85-sentence test set makes coarse. Ablation, weight-sensitivity, threshold sweep, a random-selection control, and a second LLM backbone show that the dialectal-authenticity dimension carries most of Q(s)’s protective effect on Lebanese and that generator choice is itself a first-class register-preservation lever.

2023

Ces dernières années, les modèles de langue ont connu une évolution galopante grâce à l’augmentation de la puissance de calcul qui a rendu possible l’utilisation des réseaux de neurones. Parallèlement, l’intégration du raisonnement numérique dans les modèles de langue a suscité un intérêt grandissant. Pourtant, bien que l’entraînement des modèles de langue sur des données numériques soit devenu un paradigme courant, les modèles actuels ne parviennent pas à effectuer des calculs de manière satisfaisante. Pour y remédier, une solution est d’entraîner les modèles de langue à utiliser des outils externes tels qu’une calculatrice ou un “runtime” de code python pour effectuer le raisonnement numérique. L’objectif de ce papier est double, dans un premier temps nous passons en revue les travaux de l’état de l’art sur le raisonnement numérique dans les modèles de langue et dans un second temps nous discutons des différentes perspectives de recherche pour augmenter les compétences numériques des modèles.