Aline Athaydes

Author directory

2026

A anotação de dados é uma etapa crucial para a construção de modelos de apredizado de máquina voltados ao Reconhecimento de Entidades Nomeadas (REN). Nesse sentido, percebida a necessidade e a ausência de Modelos REN especialistas no contexto do Código de Defesa do Consumidor (CDC), este trabalho apresenta o processo de anotação de um corpus com entidades específicas relacionadas ao CDC, assim como os desafios encontrados, os aprendizados, principais resultados obtidos e nossos próximos passos.
Avaliar modelos de linguagem em domínios específicos, como o Direito do Consumidor, é um desafio devido à escassez de recursos padronizados em português brasileiro. Para resolver esse problema, introduzimos o OABench-Consumidor, um benchmark composto exclusivamente por questões de Direito do Consumidor da primeira fase do Exame de Ordem Unificado (OAB), cobrindo as edições de 2010.1 a 2025.2. Este artigo descreve a coleta e a estruturação dos dados. Além disso, a utilidade do benchmark é demonstrada através da avaliação do modelo fundacional Qwen3-8B e de uma versão ajustada. O modelo especializado obteve 64,84% de acurácia (59/91), superando os 51,65% (47/91) do modelo base. O benchmark oferece um recurso direto para avaliar sistemas de Inteligência Artificial nessa subárea do Direito.

2024