Synthèse de gestes communicatifs via STARGATE

Louis Abel, Vincent Colotte, Slim Ouni


Abstract
La synthèse de gestes lié à la parole est un domaine de recherche en pleine expansion. Cependant, les nouveaux systèmes utilisent souvent des architectures complexes, les rendant souvent inadaptés à leur utilisation dans des agents conversationnels incarnés ou dans d’autres domaines de recherche comme la linguistique, où le lien entre la parole et les gestes est difficile à étudier manuellement. Cet article présente STARGATE, une nouvelle architecture tirant parti de l’autorégression pour fournir des capacités en temps réel, mais aussi des convolutions de graphe couplées à l’attention pour incorporer des connaissances structurelles explicites et permettre une forte compréhension spatiale et temporelle du geste. Nous avons démontré que notre modèle est capable de générer des gestes convaincants en surpassant l’état de l’art dans une étude quantitative, tout en obtenant des scores légèrement meilleurs en termes de cohérence et de crédibilité des gestes générés liés à la parole sur une étude perceptive.
Anthology ID:
2024.jeptalnrecital-jep.19
Volume:
Actes des 35èmes Journées d'Études sur la Parole
Month:
7
Year:
2024
Address:
Toulouse, France
Editors:
Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA and AFPC
Note:
Pages:
181–190
Language:
French
URL:
https://aclanthology.org/2024.jeptalnrecital-jep.19
DOI:
Bibkey:
Cite (ACL):
Louis Abel, Vincent Colotte, and Slim Ouni. 2024. Synthèse de gestes communicatifs via STARGATE. In Actes des 35èmes Journées d'Études sur la Parole, pages 181–190, Toulouse, France. ATALA and AFPC.
Cite (Informal):
Synthèse de gestes communicatifs via STARGATE (Abel et al., JEP/TALN/RECITAL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.jeptalnrecital-jep.19.pdf