Pratiques d’évaluation en ASR et biais de performance (Evaluation methodology in ASR and performance bias)

Mahault Garnerin, Solange Rossato, Laurent Besacier


Abstract
Nous proposons une réflexion sur les pratiques d’évaluation des systèmes de reconnaissance automatique de la parole (ASR). Après avoir défini la notion de discrimination d’un point de vue légal et la notion d’équité dans les systèmes d’intelligence artificielle, nous nous intéressons aux pratiques actuelles lors des grandes campagnes d’évaluation. Nous observons que la variabilité de la parole et plus particulièrement celle de l’individu n’est pas prise en compte dans les protocoles d’évaluation actuels rendant impossible l’étude de biais potentiels dans les systèmes.
Anthology ID:
2020.jeptalnrecital-eternal.1
Volume:
Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). 2e atelier Éthique et TRaitemeNt Automatique des Langues (ETeRNAL)
Month:
6
Year:
2020
Address:
Nancy, France
Editors:
Gilles Adda, Maxime Amblard, Karën Fort
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA et AFCP
Note:
Pages:
1–9
Language:
French
URL:
https://aclanthology.org/2020.jeptalnrecital-eternal.1
DOI:
Bibkey:
Cite (ACL):
Mahault Garnerin, Solange Rossato, and Laurent Besacier. 2020. Pratiques d’évaluation en ASR et biais de performance (Evaluation methodology in ASR and performance bias). In Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). 2e atelier Éthique et TRaitemeNt Automatique des Langues (ETeRNAL), pages 1–9, Nancy, France. ATALA et AFCP.
Cite (Informal):
Pratiques d’évaluation en ASR et biais de performance (Evaluation methodology in ASR and performance bias) (Garnerin et al., JEP/TALN/RECITAL 2020)
Copy Citation:
PDF:
https://aclanthology.org/2020.jeptalnrecital-eternal.1.pdf