Comparaison de listes d’erreurs de transcription automatique de la parole : quelle complémentarité entre les différentes métriques ? (Comparing error lists for ASR systems : contribution of different metrics)

Olivier Galibert, Juliette Kahn, Sophie Rosset


Abstract
Le travail que nous présentons ici s’inscrit dans le domaine de l’évaluation des systèmes de reconnaissance automatique de la parole en vue de leur utilisation dans une tâche aval, ici la reconnaissance des entités nommées. Plus largement, la question que nous nous posons est “que peut apporter une métrique d’évaluation en dehors d’un score ?". Nous nous intéressons particulièrement aux erreurs des systèmes et à leur analyse et éventuellement à l’utilisation de ce que nous connaissons de ces erreurs. Nous étudions dans ce travail les listes ordonnées d’erreurs générées à partir de différentes métriques et analysons ce qui en ressort. Nous avons appliqué la même méthode sur les sorties de différents systèmes de reconnaissance de la parole. Nos expériences mettent en évidence que certaines métriques apportent une information plus pertinente étant donné une tâche et transverse à différents systèmes.
Anthology ID:
2016.jeptalnrecital-jep.15
Volume:
Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP
Month:
7
Year:
2016
Address:
Paris, France
Editors:
Laurence Danlos, Thierry Hamon
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
AFCP - ATALA
Note:
Pages:
128–136
Language:
French
URL:
https://aclanthology.org/2016.jeptalnrecital-jep.15
DOI:
Bibkey:
Cite (ACL):
Olivier Galibert, Juliette Kahn, and Sophie Rosset. 2016. Comparaison de listes d’erreurs de transcription automatique de la parole : quelle complémentarité entre les différentes métriques ? (Comparing error lists for ASR systems : contribution of different metrics). In Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP, pages 128–136, Paris, France. AFCP - ATALA.
Cite (Informal):
Comparaison de listes d’erreurs de transcription automatique de la parole : quelle complémentarité entre les différentes métriques ? (Comparing error lists for ASR systems : contribution of different metrics) (Galibert et al., JEP/TALN/RECITAL 2016)
Copy Citation:
PDF:
https://aclanthology.org/2016.jeptalnrecital-jep.15.pdf