Mathieu Balaguer


2024

pdf bib
Exploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce Context
Tuan Nguyen | Corinne Fredouille | Alain Ghio | Mathieu Balaguer | Virginie Woisard
Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)

Automatic speech quality assessment has raised more attention as an alternative or support to traditional perceptual clinical evaluation. However, most research so far only gains good results on simple tasks such as binary classification, largely due to data scarcity. To deal with this challenge, current works tend to segment patients’ audio files into many samples to augment the datasets. Nevertheless, this approach has limitations, as it indirectly relates overall audio scores to individual segments. This paper introduces a novel approach where the system learns at the audio level instead of segments despite data scarcity. This paper proposes to use the pre-trained Wav2Vec2 architecture for both SSL, and ASR as feature extractor in speech assessment. Carried out on the HNC dataset, our ASR-driven approach established a new baseline compared with other approaches, obtaining average MSE = 0.73 and MSE = 1.15 for the prediction of intelligibility and severity scores respectively, using only 95 training samples. It shows that the ASR based Wav2Vec2 model brings the best results and may indicate a strong correlation between ASR and speech quality assessment. We also measure its ability on variable segment durations and speech content, exploring factors influencing its decision.

pdf bib
Interpretable Assessment of Speech Intelligibility Using Deep Learning: A Case Study on Speech Disorders Due to Head and Neck Cancers
Sondes Abderrazek | Corinne Fredouille | Alain Ghio | Muriel Lalain | Christine Meunier | Mathieu Balaguer | Virginie Woisard
Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)

This paper sheds light on a relatively unexplored area which is deep learning interpretability for speech disorder assessment and characterization. Building upon a state-of-the-art methodology for the explainability and interpretability of hidden representation inside a deep-learning speech model, we provide a deeper understanding and interpretation of the final intelligibility assessment of patients experiencing speech disorders due to Head and Neck Cancers (HNC). Promising results have been obtained regarding the prediction of speech intelligibility and severity of HNC patients while giving relevant interpretations of the final assessment both at the phonemes and phonetic feature levels. The potential of this approach becomes evident as clinicians can acquire more valuable insights for speech therapy. Indeed, this can help identify the specific linguistic units that affect intelligibility from an acoustic point of view and enable the development of tailored rehabilitation protocols to improve the patient’s ability to communicate effectively, and thus, the patient’s quality of life.

pdf bib
Actes des 35èmes Journées d'Études sur la Parole
Mathieu Balaguer | Nihed Bendahman | Lydia-Mai Ho-dac | Julie Mauclair | Jose G Moreno | Julien Pinquier
Actes des 35èmes Journées d'Études sur la Parole

pdf bib
Étude des liens acoustico-moteurs après cancer oral ou oropharyngé, via la réalisation d’un inventaire phonémique automatique des consonnes
Mathieu Balaguer | Lucile Gelin | Clémence Devoucoux | Camille Galant | Muriel Lalain | Alain Ghio | Jérôme Farinas | Julien Pinquier | Virginie Woisard
Actes des 35èmes Journées d'Études sur la Parole

En cancérologie ORL, le lien entre anatomie et déficit de parole est étroit en raison de l’impact de la pathologie et de son traitement sur les structures anatomiques en jeu dans la production de parole. Pourtant, les corrélations entre scores moteurs et évaluation perceptive restent faibles. L’utilisation de systèmes automatiques dédiés à la reconnaissance de phonèmes pourrait permettre d’obtenir de nouveaux résultats. L’objectif est d’étudier les liens entre scores moteurs et production phonémique via un système de reconnaissance automatique de phonèmes appliqué à une tâche de production de pseudo-mots. Après réalisation d’un inventaire phonémique par sujet, le taux d’occlusives reconnues est significativement plus faible en cas d’atteinte des structures. Certains mécanismes de compensation ont également pu être mis en évidence, notamment au niveau de la production de consonnes labiodentales, plus élevée en cas d’atteinte de la langue ou de la mâchoire.

pdf bib
Les représentations de locuteurs pour prédire l’intelligibilité de la parole lors de conversations médicales
Sebastiao Quintas | Mathieu Balaguer | Julie Mauclair | Virginie Woisard | Julien Pinquier
Actes des 35èmes Journées d'Études sur la Parole

Dans le contexte des troubles de la parole, l’une des tâches du thérapeute est de définir l’intelligibilité de la parole du patient. Les systèmes automatiques peuvent aider dans cette tâche, mais dans la plupart des cas, ils sont entraînés dans des environnements spécifiques et contrôlés, avec des conditions propres qui ne reflètent pas un environnement médical. Dans cet article, nous développons un système automatique qui prédit l’intelligibilité de la parole à partir de données provennant de patients ayant un cancer de la tête et du cou obtenues dans des conditions cliniques. Ce système repose sur des représentations de locuteurs entraînées selon une méthodologie multi-tâches pour prédire simultanément l’intelligibilité de la parole et la sévérité des troubles de la parole. Il atteint une corrélation allant jusqu’à 0,891 pour une tâche de lecture. De plus, il affiche des résultats prometteurs sur de la parole spontanée, qui est une tâche plus écologique mais sous-étudiée et pourtant essentielle pour un déploiement direct d’un système automatique dans un environnement hospitalier.

pdf bib
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position
Mathieu Balaguer | Nihed Bendahman | Lydia-Mai Ho-dac | Julie Mauclair | Jose G Moreno | Julien Pinquier
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position

pdf bib
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publiès
Mathieu Balaguer | Nihed Bendahman | Lydia-Mai Ho-dac | Julie Mauclair | Jose G Moreno | Julien Pinquier
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publiès

pdf bib
Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
Mathieu Balaguer | Nihed Bendahman | Lydia-Mai Ho-dac | Julie Mauclair | Jose G Moreno | Julien Pinquier
Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues

2018

pdf bib
Carcinologic Speech Severity Index Project: A Database of Speech Disorder Productions to Assess Quality of Life Related to Speech After Cancer
Corine Astésano | Mathieu Balaguer | Jérôme Farinas | Corinne Fredouille | Pascal Gaillard | Alain Ghio | Imed Laaridh | Muriel Lalain | Benoît Lepage | Julie Mauclair | Olivier Nocaudie | Julien Pinquier | Oriol Pont | Gilles Pouchoulin | Michèle Puech | Danièle Robert | Etienne Sicard | Virginie Woisard
Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)