Comment évaluer les algorithmes de segmentation automatique ? Essai de construction d’un matériel de référence.

Yves Bestgen, Sophie Piérard


Abstract
L’objectif de cette recherche est d’évaluer l’efficacité d’algorithmes lors de l’identification des ruptures thématiques dans des textes. Pour ce faire, 32 articles de journaux ont été segmentés par des groupes de 15 juges. L’analyse de leurs réponses indique que chaque juge, pris individuellement, est peu fiable contrairement à l’indice global de segmentation, qui peut être dérivé des réponses de l’ensemble des juges. Si les deux algorithmes testés sont capables de retrouver le début des articles lorsque ceux-ci sont concaténés, ils échouent dans la détection des changements de thème perçus par la majorité des juges. Il faut toutefois noter que les juges, pris individuellement, sont eux-mêmes inefficaces dans l’identification des changements de thème. Dans la conclusion, nous évaluons différentes explications du faible niveau de performance observé.
Anthology ID:
2006.jeptalnrecital-poster.4
Volume:
Actes de la 13ème conférence sur le Traitement Automatique des Langues Naturelles. Posters
Month:
April
Year:
2006
Address:
Leuven, Belgique
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
407–414
Language:
French
URL:
https://aclanthology.org/2006.jeptalnrecital-poster.4
DOI:
Bibkey:
Cite (ACL):
Yves Bestgen and Sophie Piérard. 2006. Comment évaluer les algorithmes de segmentation automatique ? Essai de construction d’un matériel de référence.. In Actes de la 13ème conférence sur le Traitement Automatique des Langues Naturelles. Posters, pages 407–414, Leuven, Belgique. ATALA.
Cite (Informal):
Comment évaluer les algorithmes de segmentation automatique ? Essai de construction d’un matériel de référence. (Bestgen & Piérard, JEP/TALN/RECITAL 2006)
Copy Citation:
PDF:
https://aclanthology.org/2006.jeptalnrecital-poster.4.pdf