Explorando a Integração de Múltiplas Modalidades Visuais no Reconhecimento Contínuo de Libras

Guilherme Galvão de Oliveira Pinto, Guilherme Vieira Leite, Hélio Pedrini, José Mario De Martino


Abstract
O reconhecimento contínuo de Língua Brasileira de Sinais (Libras) apresenta desafios relacionados à natureza multimodal da sinalização e à modelagem de dependências espaço-temporais complexas. Este trabalho em andamento busca investigar a adaptação de arquiteturas neurais para o reconhecimento contínuo de Libras utilizando vídeos RGB, keypoints corporais, faciais e manuais, além de anotações linguísticas multi-tier produzidas no ELAN. O método proposto combina extração de características visuais, integração multimodal e modelagem temporal. A avaliação será realizada por meio da métrica Word Error Rate (WER) e estudos de ablação. Espera-se analisar o impacto da multimodalidade e das anotações multicamadas no desempenho de modelos de reconhecimento contínuo de Libras.
Anthology ID:
2026.stil-1.55
Volume:
Proceedings of the 17th Brazilian Symposium in Information and Human Language Technology
Month:
October
Year:
2026
Address:
Cuiabá, Mato Grosso, Brazil
Editors:
Bryan Khelven da Silva Barbosa, Aline Paes, Ariani Di Felippo
Venue:
STIL
SIG:
Publisher:
Association for Computational Linguistics
Note:
Pages:
594–599
Language:
URL:
https://aclanthology.org/2026.stil-1.55/
DOI:
10.5753/stil.2026.29828
Bibkey:
Cite (ACL):
Guilherme Galvão de Oliveira Pinto, Guilherme Vieira Leite, Hélio Pedrini, and José Mario De Martino. 2026. Explorando a Integração de Múltiplas Modalidades Visuais no Reconhecimento Contínuo de Libras. In Proceedings of the 17th Brazilian Symposium in Information and Human Language Technology, pages 594–599, Cuiabá, Mato Grosso, Brazil. Association for Computational Linguistics.
Cite (Informal):
Explorando a Integração de Múltiplas Modalidades Visuais no Reconhecimento Contínuo de Libras (Pinto et al., STIL 2026)
Copy Citation:
PDF:
https://aclanthology.org/2026.stil-1.55.pdf