Vers l’évaluation de systèmes de dialogue homme-machine : de l’oral au multimodal

Frédéric Landragin


Abstract
L’évaluation pour le dialogue homme-machine ne se caractérise pas par l’efficacité, l’objectivité et le consensus que l’on observe dans d’autres domaines du traitement automatique des langues. Les systèmes de dialogue oraux et multimodaux restent cantonnés à des domaines applicatifs restreints, ce qui rend difficiles les évaluations comparatives ou normées. De plus, les avancées technologiques constantes rendent vite obsolètes les paradigmes d’évaluation et ont pour conséquence une multiplication de ceux-ci. Des solutions restent ainsi à trouver pour améliorer les méthodes existantes et permettre des diagnostics plus automatisés des systèmes. Cet article se veut un ensemble de réflexions autour de l’évaluation de la multimodalité dans les systèmes à forte composante linguistique. Des extensions des paradigmes existants sont proposées, en particulier DQR/DCR, sachant que certains sont mieux adaptés que d’autres au dialogue multimodal. Des conclusions et perspectives sont tirées sur l’avenir de l’évaluation pour le dialogue homme-machine.
Anthology ID:
2008.jeptalnrecital-court.9
Volume:
Actes de la 15ème conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Month:
June
Year:
2008
Address:
Avignon, France
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
81–90
Language:
French
URL:
https://aclanthology.org/2008.jeptalnrecital-court.9
DOI:
Bibkey:
Copy Citation:
PDF:
https://aclanthology.org/2008.jeptalnrecital-court.9.pdf