@inproceedings{matos-feltrim-2026-avaliacao,
title = "Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es do Enem: Um Estudo Emp{\'i}rico sobre Representa{\c{c}}{\~o}es Lingu{\'i}sticas e Contextuais",
author = "Matos, Gabriel Gon{\c{c}}alves de and
Feltrim, Val{\'e}ria D.",
editor = "Souza, Marlo and
de-Dios-Flores, Iria and
Santos, Diana and
Freitas, Larissa and
Souza, Jackson Wilke da Cruz and
Ribeiro, Eug{\'e}nio",
booktitle = "Proceedings of the 17th International Conference on Computational Processing of {P}ortuguese ({PROPOR} 2026) - Vol. 1",
month = apr,
year = "2026",
address = "Salvador, Brazil",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2026.propor-1.48/",
pages = "488--497",
ISBN = "979-8-89176-387-6",
abstract = "A Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es (AAR) para o portugu{\^e}s brasileiro ainda {\'e} uma tarefa desafiadora, particularmente no contexto do exame Enem, no qual a qualidade textual {\'e} avaliada por meio de m{\'u}ltiplas compet{\^e}ncias e as notas apresentam natureza ordinal. Neste artigo, investigamos estrat{\'e}gias de modelagem h{\'i}brida para AAR em n{\'i}vel de compet{\^e}ncia, combinando caracter{\'i}sticas lingu{\'i}sticas expl{\'i}citas com representa{\c{c}}{\~o}es contextuais. Utilizando o c{\'o}rpus Enem-AES, a avalia{\c{c}}{\~a}o de cada compet{\^e}ncia foi modelada como um problema de predi{\c{c}}{\~a}o ordinal por meio do framework CORAL. Foi realizada uma compara{\c{c}}{\~a}o emp{\'i}rica controlada entre representa{\c{c}}{\~o}es lexicais tradicionais, um amplo conjunto de m{\'e}tricas lingu{\'i}sticas extra{\'i}das com o sistema NILC-Metrix, caracter{\'i}sticas manuais orientadas {\`a} tarefa, embeddings contextuais e combina{\c{c}}{\~o}es dessas representa{\c{c}}{\~o}es. Os resultados mostram que modelos h{\'i}bridos alcan{\c{c}}am o maior n{\'i}vel m{\'e}dio de concord{\^a}ncia com as notas humanas, embora o desempenho varie entre compet{\^e}ncias e dependa do tipo de representa{\c{c}}{\~a}o utilizada. Al{\'e}m disso, foi analisado o comportamento dos modelos em cen{\'a}rios de discord{\^a}ncia entre avaliadores, o que evidenciou o impacto da variabilidade de anota{\c{c}}{\~a}o no desempenho dos modelos. De modo geral, os resultados fornecem evid{\^e}ncias de que a combina{\c{c}}{\~a}o de indicadores lingu{\'i}sticos com embeddings contextuais constitui uma estrat{\'e}gia promissora para a tarefa de AAR no contexto do Enem."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="matos-feltrim-2026-avaliacao">
<titleInfo>
<title>Avaliação Automática de Redações do Enem: Um Estudo Empírico sobre Representações Linguísticas e Contextuais</title>
</titleInfo>
<name type="personal">
<namePart type="given">Gabriel</namePart>
<namePart type="given">Gonçalves</namePart>
<namePart type="given">de</namePart>
<namePart type="family">Matos</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Valéria</namePart>
<namePart type="given">D</namePart>
<namePart type="family">Feltrim</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2026-04</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1</title>
</titleInfo>
<name type="personal">
<namePart type="given">Marlo</namePart>
<namePart type="family">Souza</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Iria</namePart>
<namePart type="family">de-Dios-Flores</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Santos</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Larissa</namePart>
<namePart type="family">Freitas</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jackson</namePart>
<namePart type="given">Wilke</namePart>
<namePart type="given">da</namePart>
<namePart type="given">Cruz</namePart>
<namePart type="family">Souza</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eugénio</namePart>
<namePart type="family">Ribeiro</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>Association for Computational Linguistics</publisher>
<place>
<placeTerm type="text">Salvador, Brazil</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
<identifier type="isbn">979-8-89176-387-6</identifier>
</relatedItem>
<abstract>A Avaliação Automática de Redações (AAR) para o português brasileiro ainda é uma tarefa desafiadora, particularmente no contexto do exame Enem, no qual a qualidade textual é avaliada por meio de múltiplas competências e as notas apresentam natureza ordinal. Neste artigo, investigamos estratégias de modelagem híbrida para AAR em nível de competência, combinando características linguísticas explícitas com representações contextuais. Utilizando o córpus Enem-AES, a avaliação de cada competência foi modelada como um problema de predição ordinal por meio do framework CORAL. Foi realizada uma comparação empírica controlada entre representações lexicais tradicionais, um amplo conjunto de métricas linguísticas extraídas com o sistema NILC-Metrix, características manuais orientadas à tarefa, embeddings contextuais e combinações dessas representações. Os resultados mostram que modelos híbridos alcançam o maior nível médio de concordância com as notas humanas, embora o desempenho varie entre competências e dependa do tipo de representação utilizada. Além disso, foi analisado o comportamento dos modelos em cenários de discordância entre avaliadores, o que evidenciou o impacto da variabilidade de anotação no desempenho dos modelos. De modo geral, os resultados fornecem evidências de que a combinação de indicadores linguísticos com embeddings contextuais constitui uma estratégia promissora para a tarefa de AAR no contexto do Enem.</abstract>
<identifier type="citekey">matos-feltrim-2026-avaliacao</identifier>
<location>
<url>https://aclanthology.org/2026.propor-1.48/</url>
</location>
<part>
<date>2026-04</date>
<extent unit="page">
<start>488</start>
<end>497</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Avaliação Automática de Redações do Enem: Um Estudo Empírico sobre Representações Linguísticas e Contextuais
%A Matos, Gabriel Gonçalves de
%A Feltrim, Valéria D.
%Y Souza, Marlo
%Y de-Dios-Flores, Iria
%Y Santos, Diana
%Y Freitas, Larissa
%Y Souza, Jackson Wilke da Cruz
%Y Ribeiro, Eugénio
%S Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1
%D 2026
%8 April
%I Association for Computational Linguistics
%C Salvador, Brazil
%@ 979-8-89176-387-6
%F matos-feltrim-2026-avaliacao
%X A Avaliação Automática de Redações (AAR) para o português brasileiro ainda é uma tarefa desafiadora, particularmente no contexto do exame Enem, no qual a qualidade textual é avaliada por meio de múltiplas competências e as notas apresentam natureza ordinal. Neste artigo, investigamos estratégias de modelagem híbrida para AAR em nível de competência, combinando características linguísticas explícitas com representações contextuais. Utilizando o córpus Enem-AES, a avaliação de cada competência foi modelada como um problema de predição ordinal por meio do framework CORAL. Foi realizada uma comparação empírica controlada entre representações lexicais tradicionais, um amplo conjunto de métricas linguísticas extraídas com o sistema NILC-Metrix, características manuais orientadas à tarefa, embeddings contextuais e combinações dessas representações. Os resultados mostram que modelos híbridos alcançam o maior nível médio de concordância com as notas humanas, embora o desempenho varie entre competências e dependa do tipo de representação utilizada. Além disso, foi analisado o comportamento dos modelos em cenários de discordância entre avaliadores, o que evidenciou o impacto da variabilidade de anotação no desempenho dos modelos. De modo geral, os resultados fornecem evidências de que a combinação de indicadores linguísticos com embeddings contextuais constitui uma estratégia promissora para a tarefa de AAR no contexto do Enem.
%U https://aclanthology.org/2026.propor-1.48/
%P 488-497
Markdown (Informal)
[Avaliação Automática de Redações do Enem: Um Estudo Empírico sobre Representações Linguísticas e Contextuais](https://aclanthology.org/2026.propor-1.48/) (Matos & Feltrim, PROPOR 2026)
ACL