Combien d’exemples de tests sont-ils nécessaires à une évaluation fiable ? Quelques observations sur l’évaluation de l’analyse morphosyntaxique du français. (Some observations on the evaluation of PoS taggers)

Guillaume Wisniewski


Abstract
L’objectif de ce travail est de présenter plusieurs observations, sur l’évaluation des analyseurs morphosyntaxique en français, visant à remettre en cause le cadre habituel de l’apprentissage statistique dans lequel les ensembles de test et d’apprentissage sont fixés arbitrairement et indépendemment du modèle considéré. Nous montrons qu’il est possible de considérer des ensembles de test plus petits que ceux généralement utilisés sans conséquences sur la qualité de l’évaluation. Les exemples ainsi « économisés » peuvent être utilisés en apprentissage pour améliorer les performances des systèmes notamment dans des tâches d’adaptation au domaine.
Anthology ID:
2019.jeptalnrecital-court.7
Volume:
Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019. Volume II : Articles courts
Month:
7
Year:
2019
Address:
Toulouse, France
Editors:
Emmanuel Morin, Sophie Rosset, Pierre Zweigenbaum
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
215–222
Language:
French
URL:
https://aclanthology.org/2019.jeptalnrecital-court.7
DOI:
Bibkey:
Cite (ACL):
Guillaume Wisniewski. 2019. Combien d’exemples de tests sont-ils nécessaires à une évaluation fiable ? Quelques observations sur l’évaluation de l’analyse morphosyntaxique du français. (Some observations on the evaluation of PoS taggers). In Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019. Volume II : Articles courts, pages 215–222, Toulouse, France. ATALA.
Cite (Informal):
Combien d’exemples de tests sont-ils nécessaires à une évaluation fiable ? Quelques observations sur l’évaluation de l’analyse morphosyntaxique du français. (Some observations on the evaluation of PoS taggers) (Wisniewski, JEP/TALN/RECITAL 2019)
Copy Citation:
PDF:
https://aclanthology.org/2019.jeptalnrecital-court.7.pdf