@inproceedings{cunha-etal-2026-avaliacao,
title = "Avalia{\c{c}}{\~a}o End-to-End de um Sistema {RAG} para Documentos Hospitalares em Portugu{\^e}s",
author = "Cunha, Murilo Vargas da and
Silveira, Mar{\'i}lia Rosa and
Sperb, C{\'e}sar Brasil and
Santana, Brenda Salenave and
Freitas, Larissa Astrogildo and
Corr{\^e}a, Ulisses Brisolara",
editor = "Souza, Marlo and
de-Dios-Flores, Iria and
Santos, Diana and
Freitas, Larissa and
Souza, Jackson Wilke da Cruz and
Ribeiro, Eug{\'e}nio",
booktitle = "Proceedings of the 17th International Conference on Computational Processing of {P}ortuguese ({PROPOR} 2026) - Vol. 1",
month = apr,
year = "2026",
address = "Salvador, Brazil",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2026.propor-1.74/",
pages = "749--758",
ISBN = "979-8-89176-387-6",
abstract = "Este artigo avalia um sistema end-to-end de Gera{\c{c}}{\~a}o Aumentada por Recupera{\c{c}}{\~a}o (RAG) para consulta a documentos hospitalares regulat{\'o}rios em portugu{\^e}s. O estudo analisa o impacto da otimiza{\c{c}}{\~a}o de cada componente (recupera{\c{c}}{\~a}o, reclassifica{\c{c}}{\~a}o e gera{\c{c}}{\~a}o) em um cen{\'a}rio de recursos limitados. A metodologia combinou a cria{\c{c}}{\~a}o de um dataset h{\'i}brido (sint{\'e}tico e validado por especialistas) com avalia{\c{c}}{\~o}es quantitativas utilizando m{\'e}tricas como MRR, NDCG@10 e BERTScore. Os resultados demonstram que o modelo de embedding intfloat/multilingual-e5-small apresentou a maior robustez, com taxa de falha de apenas 1,4{\%} na recupera{\c{c}}{\~a}o. Na etapa de reclassifica{\c{c}}{\~a}o, o m{\'e}todo RRF destacou-se pelo equil{\'i}brio entre custo computacional e desempenho. Conclui-se que a arquitetura otimizada, integrando esses componentes ao gerador Gemini 2.5 Flash, oferece uma solu{\c{c}}{\~a}o eficiente e precisa para suporte {\`a} decis{\~a}o em ambientes hospitalares."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="cunha-etal-2026-avaliacao">
<titleInfo>
<title>Avaliação End-to-End de um Sistema RAG para Documentos Hospitalares em Português</title>
</titleInfo>
<name type="personal">
<namePart type="given">Murilo</namePart>
<namePart type="given">Vargas</namePart>
<namePart type="given">da</namePart>
<namePart type="family">Cunha</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marília</namePart>
<namePart type="given">Rosa</namePart>
<namePart type="family">Silveira</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">César</namePart>
<namePart type="given">Brasil</namePart>
<namePart type="family">Sperb</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Brenda</namePart>
<namePart type="given">Salenave</namePart>
<namePart type="family">Santana</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Larissa</namePart>
<namePart type="given">Astrogildo</namePart>
<namePart type="family">Freitas</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Ulisses</namePart>
<namePart type="given">Brisolara</namePart>
<namePart type="family">Corrêa</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2026-04</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1</title>
</titleInfo>
<name type="personal">
<namePart type="given">Marlo</namePart>
<namePart type="family">Souza</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Iria</namePart>
<namePart type="family">de-Dios-Flores</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Santos</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Larissa</namePart>
<namePart type="family">Freitas</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jackson</namePart>
<namePart type="given">Wilke</namePart>
<namePart type="given">da</namePart>
<namePart type="given">Cruz</namePart>
<namePart type="family">Souza</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eugénio</namePart>
<namePart type="family">Ribeiro</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>Association for Computational Linguistics</publisher>
<place>
<placeTerm type="text">Salvador, Brazil</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
<identifier type="isbn">979-8-89176-387-6</identifier>
</relatedItem>
<abstract>Este artigo avalia um sistema end-to-end de Geração Aumentada por Recuperação (RAG) para consulta a documentos hospitalares regulatórios em português. O estudo analisa o impacto da otimização de cada componente (recuperação, reclassificação e geração) em um cenário de recursos limitados. A metodologia combinou a criação de um dataset híbrido (sintético e validado por especialistas) com avaliações quantitativas utilizando métricas como MRR, NDCG@10 e BERTScore. Os resultados demonstram que o modelo de embedding intfloat/multilingual-e5-small apresentou a maior robustez, com taxa de falha de apenas 1,4% na recuperação. Na etapa de reclassificação, o método RRF destacou-se pelo equilíbrio entre custo computacional e desempenho. Conclui-se que a arquitetura otimizada, integrando esses componentes ao gerador Gemini 2.5 Flash, oferece uma solução eficiente e precisa para suporte à decisão em ambientes hospitalares.</abstract>
<identifier type="citekey">cunha-etal-2026-avaliacao</identifier>
<location>
<url>https://aclanthology.org/2026.propor-1.74/</url>
</location>
<part>
<date>2026-04</date>
<extent unit="page">
<start>749</start>
<end>758</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Avaliação End-to-End de um Sistema RAG para Documentos Hospitalares em Português
%A Cunha, Murilo Vargas da
%A Silveira, Marília Rosa
%A Sperb, César Brasil
%A Santana, Brenda Salenave
%A Freitas, Larissa Astrogildo
%A Corrêa, Ulisses Brisolara
%Y Souza, Marlo
%Y de-Dios-Flores, Iria
%Y Santos, Diana
%Y Freitas, Larissa
%Y Souza, Jackson Wilke da Cruz
%Y Ribeiro, Eugénio
%S Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1
%D 2026
%8 April
%I Association for Computational Linguistics
%C Salvador, Brazil
%@ 979-8-89176-387-6
%F cunha-etal-2026-avaliacao
%X Este artigo avalia um sistema end-to-end de Geração Aumentada por Recuperação (RAG) para consulta a documentos hospitalares regulatórios em português. O estudo analisa o impacto da otimização de cada componente (recuperação, reclassificação e geração) em um cenário de recursos limitados. A metodologia combinou a criação de um dataset híbrido (sintético e validado por especialistas) com avaliações quantitativas utilizando métricas como MRR, NDCG@10 e BERTScore. Os resultados demonstram que o modelo de embedding intfloat/multilingual-e5-small apresentou a maior robustez, com taxa de falha de apenas 1,4% na recuperação. Na etapa de reclassificação, o método RRF destacou-se pelo equilíbrio entre custo computacional e desempenho. Conclui-se que a arquitetura otimizada, integrando esses componentes ao gerador Gemini 2.5 Flash, oferece uma solução eficiente e precisa para suporte à decisão em ambientes hospitalares.
%U https://aclanthology.org/2026.propor-1.74/
%P 749-758
Markdown (Informal)
[Avaliação End-to-End de um Sistema RAG para Documentos Hospitalares em Português](https://aclanthology.org/2026.propor-1.74/) (Cunha et al., PROPOR 2026)
ACL
- Murilo Vargas da Cunha, Marília Rosa Silveira, César Brasil Sperb, Brenda Salenave Santana, Larissa Astrogildo Freitas, and Ulisses Brisolara Corrêa. 2026. Avaliação End-to-End de um Sistema RAG para Documentos Hospitalares em Português. In Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1, pages 749–758, Salvador, Brazil. Association for Computational Linguistics.