Évaluation de mesures d’accord sur des structures relationnelles par la dégradation contrôlée d’annotations

Antoine Boiteau


Abstract
Les mesures d’accord inter-annotateurs sont essentielles pour évaluer la qualité des annotations humaines sur les corpus. Dans le cadre des structures relationnelles, la question de la qualité et de l’interprétabilité de ces mesures reste cependant ouverte. Cet article présente l’adaptation d’un outil déjà utilisé pour d’autres paradigmes d’annotation dont le but est de générer de manière contrôlée des annotations artificielles erronées. Les annotations obtenues sont fournies à des mesures d’accord adaptées aux structures relationnelles, permettant l’identification des comportements des mesures ainsi que les différences entre elles.
Anthology ID:
2024.jeptalnrecital-recital.5
Volume:
Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
Month:
7
Year:
2024
Address:
Toulouse, France
Editors:
Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA and AFPC
Note:
Pages:
57–68
Language:
French
URL:
https://aclanthology.org/2024.jeptalnrecital-recital.5
DOI:
Bibkey:
Cite (ACL):
Antoine Boiteau. 2024. Évaluation de mesures d’accord sur des structures relationnelles par la dégradation contrôlée d’annotations. In Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, pages 57–68, Toulouse, France. ATALA and AFPC.
Cite (Informal):
Évaluation de mesures d’accord sur des structures relationnelles par la dégradation contrôlée d’annotations (Boiteau, JEP/TALN/RECITAL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.jeptalnrecital-recital.5.pdf