Se concentrer sur les différences : une méthode d’évaluation subjective efficace pour la comparaison de systèmes de synthèse (Focus on differences : a subjective evaluation method to efficiently compare TTS systems * )

Jonathan Chevelu, Damien Lolive, Sébastien Le Maguer, David Guennec


Abstract
En proposant une nouvelle approche de synthèse de la parole, les études comportent généralement une évaluation subjective d’échantillons acoustiques produits par un système de référence et un nouveau système. Ces échantillons sont produits à partir d’un petit ensemble de phrases choisies aléatoirement dans un unique domaine. Ainsi, statistiquement, des échantillons pratiquement identiques sont présentés et réduisent les écarts de mesure entre les systèmes, au risque de les considérer comme non significatifs. Pour éviter cette problématique méthodologique, nous comparons deux systèmes sur des milliers d’échantillons de différents domaines. L’évaluation est réalisée uniquement sur les paires d’échantillons les plus pertinentes, c’est-à-dire les plus différentes acoustiquement. Cette méthode est appliquée sur un système de synthèse de type HTS et un second par sélection d’unités. La comparaison avec l’approche classique montre que cette méthode révèle des écarts qui jusqu’alors n’étaient pas significatifs.
Anthology ID:
2016.jeptalnrecital-jep.16
Volume:
Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP
Month:
7
Year:
2016
Address:
Paris, France
Editors:
Laurence Danlos, Thierry Hamon
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
AFCP - ATALA
Note:
Pages:
137–145
Language:
French
URL:
https://aclanthology.org/2016.jeptalnrecital-jep.16
DOI:
Bibkey:
Cite (ACL):
Jonathan Chevelu, Damien Lolive, Sébastien Le Maguer, and David Guennec. 2016. Se concentrer sur les différences : une méthode d’évaluation subjective efficace pour la comparaison de systèmes de synthèse (Focus on differences : a subjective evaluation method to efficiently compare TTS systems * ). In Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP, pages 137–145, Paris, France. AFCP - ATALA.
Cite (Informal):
Se concentrer sur les différences : une méthode d’évaluation subjective efficace pour la comparaison de systèmes de synthèse (Focus on differences : a subjective evaluation method to efficiently compare TTS systems * ) (Chevelu et al., JEP/TALN/RECITAL 2016)
Copy Citation:
PDF:
https://aclanthology.org/2016.jeptalnrecital-jep.16.pdf