ParaPLUIE - une mesure automatique d’évaluation de la qualité sémantique des systèmes de paraphrases

Quentin Lemesle, Jonathan Chevelu, Damien Lolive, Arnaud Delhay-Lorrain, Philippe Martin


Abstract
L’évaluation des systèmes de production automatique de paraphrases est une tâche difficile car elle implique, entre autre, d’évaluer la proximité sémantique entre deux phrases. Les mesures traditionnelles s’appuient sur des distances lexicales, ou au mieux des alignements de plongements sémantiques. Dans cet article nous étudions certaines de ces mesures sur des corpus de paraphrases et de non-paraphrases reconnus pour leurs qualités ou difficultés sur cette tâche. Nous proposons une nouvelle mesure, ParaPLUIE, s’appuyant sur l’utilisation d’un grand modèle de langue. D’après nos expériences, celui-ci est plus à même de trier les paires de phrases par proximité sémantique.
Anthology ID:
2024.jeptalnrecital-taln.40
Volume:
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position
Month:
7
Year:
2024
Address:
Toulouse, France
Editors:
Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA and AFPC
Note:
Pages:
605–616
Language:
French
URL:
https://aclanthology.org/2024.jeptalnrecital-taln.40
DOI:
Bibkey:
Cite (ACL):
Quentin Lemesle, Jonathan Chevelu, Damien Lolive, Arnaud Delhay-Lorrain, and Philippe Martin. 2024. ParaPLUIE - une mesure automatique d’évaluation de la qualité sémantique des systèmes de paraphrases. In Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position, pages 605–616, Toulouse, France. ATALA and AFPC.
Cite (Informal):
ParaPLUIE - une mesure automatique d’évaluation de la qualité sémantique des systèmes de paraphrases (Lemesle et al., JEP/TALN/RECITAL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.jeptalnrecital-taln.40.pdf