@inproceedings{silem-etal-2025-une,
title = "Une Approche Linguistique pour l'{\'E}valuation des Caract{\'e}ristiques du Langage Parl{\'e} dans les Mod{\`e}les Conversationnels",
author = {Silem, Oussama and
Fleig, Ma{\"i}wenn and
Blache, Philippe and
Oufaida, Houda and
Becerra-Bonache, Leonor},
editor = "Bechet, Fr{\'e}d{\'e}ric and
Chifu, Adrian-Gabriel and
Pinel-sauvagnat, Karen and
Favre, Benoit and
Maes, Eliot and
Nurbakova, Diana",
booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
month = "6",
year = "2025",
address = "Marseille, France",
publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
url = "https://aclanthology.org/2025.jeptalnrecital-evalllm.21/",
pages = "277--290",
language = "fra",
abstract = "L'{\'e}tude du traitement du langage et de ses bases cognitives chez l{'}humain repose de plus en plus sur des mod{\`e}les de langue adapt{\'e}s. Cependant, la majorit{\'e} des mod{\`e}les existants sont principalement entra{\^i}n{\'e}s sur des donn{\'e}es {\'e}crites, ce qui limite leur pertinence pour l'{\'e}tude du langage tel qu{'}il se manifeste dans des contextes naturels, comme lors de conversations spontan{\'e}es. En effet, ces mod{\`e}les ne sont pas entra{\^i}n{\'e}s pour traiter avec pr{\'e}cision les caract{\'e}ristiques sp{\'e}cifiques du langage parl{\'e}, telles que les disfluences et les h{\'e}sitations. Dans cet article, nous proposons un ensemble de m{\'e}triques inspir{\'e}es par la recherche linguistique afin d'{\'e}valuer certains ph{\'e}nom{\`e}nes du langage parl{\'e} (feedback, r{\'e}p{\'e}tition et h{\'e}sitation) dans des {\'e}nonc{\'e}s g{\'e}n{\'e}r{\'e}s par diff{\'e}rents mod{\`e}les de langue, {\`a} travers une comparaison statistique avec des corpus de conversations humaines. Nos r{\'e}sultats, obtenus sur de petits mod{\`e}les de langue fine-tun{\'e}s sur des donn{\'e}es de conversations parl{\'e}es en fran{\c{c}}ais et en anglais, d{\'e}montrent le potentiel de ces m{\'e}triques pour {\'e}valuer la similarit{\'e} des s{\'e}quences g{\'e}n{\'e}r{\'e}es avec celles produites par des locuteurs humains."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="silem-etal-2025-une">
<titleInfo>
<title>Une Approche Linguistique pour l’Évaluation des Caractéristiques du Langage Parlé dans les Modèles Conversationnels</title>
</titleInfo>
<name type="personal">
<namePart type="given">Oussama</namePart>
<namePart type="family">Silem</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Maïwenn</namePart>
<namePart type="family">Fleig</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Philippe</namePart>
<namePart type="family">Blache</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Houda</namePart>
<namePart type="family">Oufaida</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Leonor</namePart>
<namePart type="family">Becerra-Bonache</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2025-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Frédéric</namePart>
<namePart type="family">Bechet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Adrian-Gabriel</namePart>
<namePart type="family">Chifu</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Karen</namePart>
<namePart type="family">Pinel-sauvagnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Favre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eliot</namePart>
<namePart type="family">Maes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Nurbakova</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA \textbackslash\textbackslash& ARIA</publisher>
<place>
<placeTerm type="text">Marseille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L’étude du traitement du langage et de ses bases cognitives chez l’humain repose de plus en plus sur des modèles de langue adaptés. Cependant, la majorité des modèles existants sont principalement entraînés sur des données écrites, ce qui limite leur pertinence pour l’étude du langage tel qu’il se manifeste dans des contextes naturels, comme lors de conversations spontanées. En effet, ces modèles ne sont pas entraînés pour traiter avec précision les caractéristiques spécifiques du langage parlé, telles que les disfluences et les hésitations. Dans cet article, nous proposons un ensemble de métriques inspirées par la recherche linguistique afin d’évaluer certains phénomènes du langage parlé (feedback, répétition et hésitation) dans des énoncés générés par différents modèles de langue, à travers une comparaison statistique avec des corpus de conversations humaines. Nos résultats, obtenus sur de petits modèles de langue fine-tunés sur des données de conversations parlées en français et en anglais, démontrent le potentiel de ces métriques pour évaluer la similarité des séquences générées avec celles produites par des locuteurs humains.</abstract>
<identifier type="citekey">silem-etal-2025-une</identifier>
<location>
<url>https://aclanthology.org/2025.jeptalnrecital-evalllm.21/</url>
</location>
<part>
<date>2025-6</date>
<extent unit="page">
<start>277</start>
<end>290</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Une Approche Linguistique pour l’Évaluation des Caractéristiques du Langage Parlé dans les Modèles Conversationnels
%A Silem, Oussama
%A Fleig, Maïwenn
%A Blache, Philippe
%A Oufaida, Houda
%A Becerra-Bonache, Leonor
%Y Bechet, Frédéric
%Y Chifu, Adrian-Gabriel
%Y Pinel-sauvagnat, Karen
%Y Favre, Benoit
%Y Maes, Eliot
%Y Nurbakova, Diana
%S Actes de l’atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
%D 2025
%8 June
%I ATALA \textbackslash\textbackslash& ARIA
%C Marseille, France
%G fra
%F silem-etal-2025-une
%X L’étude du traitement du langage et de ses bases cognitives chez l’humain repose de plus en plus sur des modèles de langue adaptés. Cependant, la majorité des modèles existants sont principalement entraînés sur des données écrites, ce qui limite leur pertinence pour l’étude du langage tel qu’il se manifeste dans des contextes naturels, comme lors de conversations spontanées. En effet, ces modèles ne sont pas entraînés pour traiter avec précision les caractéristiques spécifiques du langage parlé, telles que les disfluences et les hésitations. Dans cet article, nous proposons un ensemble de métriques inspirées par la recherche linguistique afin d’évaluer certains phénomènes du langage parlé (feedback, répétition et hésitation) dans des énoncés générés par différents modèles de langue, à travers une comparaison statistique avec des corpus de conversations humaines. Nos résultats, obtenus sur de petits modèles de langue fine-tunés sur des données de conversations parlées en français et en anglais, démontrent le potentiel de ces métriques pour évaluer la similarité des séquences générées avec celles produites par des locuteurs humains.
%U https://aclanthology.org/2025.jeptalnrecital-evalllm.21/
%P 277-290
Markdown (Informal)
[Une Approche Linguistique pour l’Évaluation des Caractéristiques du Langage Parlé dans les Modèles Conversationnels](https://aclanthology.org/2025.jeptalnrecital-evalllm.21/) (Silem et al., JEP/TALN/RECITAL 2025)
ACL