@inproceedings{chalegre-etal-2026-avaliacao,
title = "Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es do Enem: Uma An{\'a}lise Comparativa entre Engenharia de Caracter{\'i}sticas e Transformers",
author = "Chalegre, P{\^a}mela Camilo and
Machado, Vitor da Rocha and
Feltrim, Val{\'e}ria Delisandra",
editor = "Souza, Marlo and
de-Dios-Flores, Iria and
Santos, Diana and
Freitas, Larissa and
Souza, Jackson Wilke da Cruz and
Ribeiro, Eug{\'e}nio",
booktitle = "Proceedings of the 17th International Conference on Computational Processing of {P}ortuguese ({PROPOR} 2026) - Vol. 1",
month = apr,
year = "2026",
address = "Salvador, Brazil",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2026.propor-1.73/",
pages = "738--748",
ISBN = "979-8-89176-387-6",
abstract = "A Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es (AES) {\'e} um desafio central em avalia{\c{c}}{\~o}es educacionais de larga escala, como o Exame Nacional do Ensino M{\'e}dio (Enem), no qual reda{\c{c}}{\~o}es s{\~a}o avaliadas em m{\'u}ltiplas compet{\^e}ncias. Este trabalho apresenta uma an{\'a}lise comparativa de representa{\c{c}}{\~o}es textuais para a AES em n{\'i}vel de compet{\^e}ncia no portugu{\^e}s brasileiro. Foram avaliados modelos baseados em caracter{\'i}sticas utilizando TF-IDF, m{\'e}tricas lingu{\'i}sticas extra{\'i}das com o NILC-Metrix e uma combina{\c{c}}{\~a}o h{\'i}brida de ambos, al{\'e}m de modelos baseados em transformers. Os experimentos foram conduzidos sobre o corpus Enem-AES, considerando formula{\c{c}}{\~o}es de classifica{\c{c}}{\~a}o e de regress{\~a}o. Os resultados indicam que formula{\c{c}}{\~o}es de regress{\~a}o s{\~a}o, em geral, mais adequadas do que as de classifica{\c{c}}{\~a}o multiclasse, pois acomodam melhor a estrutura ordinal das notas. Modelos baseados em transformers alcan{\c{c}}aram uma concord{\^a}ncia maior em compet{\^e}ncias relacionadas ao uso da linguagem e {\`a} coes{\~a}o textual, enquanto representa{\c{c}}{\~o}es baseadas em caracter{\'i}sticas demonstraram um desempenho compar{\'a}vel em compet{\^e}ncias associadas {\`a} pertin{\^e}ncia tem{\'a}tica. Apesar de alcan{\c{c}}arem alta acur{\'a}cia sob o crit{\'e}rio de toler{\^a}ncia do Enem, todas as abordagens demonstraram dificuldade em prever notas extremas, principalmente devido ao desbalanceamento do corpus. Dessa forma, conclui-se que as metodologias s{\~a}o complementares e que sistemas h{\'i}bridos s{\~a}o promissores para a AES."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="chalegre-etal-2026-avaliacao">
<titleInfo>
<title>Avaliação Automática de Redações do Enem: Uma Análise Comparativa entre Engenharia de Características e Transformers</title>
</titleInfo>
<name type="personal">
<namePart type="given">Pâmela</namePart>
<namePart type="given">Camilo</namePart>
<namePart type="family">Chalegre</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Vitor</namePart>
<namePart type="given">da</namePart>
<namePart type="given">Rocha</namePart>
<namePart type="family">Machado</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Valéria</namePart>
<namePart type="given">Delisandra</namePart>
<namePart type="family">Feltrim</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2026-04</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1</title>
</titleInfo>
<name type="personal">
<namePart type="given">Marlo</namePart>
<namePart type="family">Souza</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Iria</namePart>
<namePart type="family">de-Dios-Flores</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Diana</namePart>
<namePart type="family">Santos</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Larissa</namePart>
<namePart type="family">Freitas</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jackson</namePart>
<namePart type="given">Wilke</namePart>
<namePart type="given">da</namePart>
<namePart type="given">Cruz</namePart>
<namePart type="family">Souza</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eugénio</namePart>
<namePart type="family">Ribeiro</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>Association for Computational Linguistics</publisher>
<place>
<placeTerm type="text">Salvador, Brazil</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
<identifier type="isbn">979-8-89176-387-6</identifier>
</relatedItem>
<abstract>A Avaliação Automática de Redações (AES) é um desafio central em avaliações educacionais de larga escala, como o Exame Nacional do Ensino Médio (Enem), no qual redações são avaliadas em múltiplas competências. Este trabalho apresenta uma análise comparativa de representações textuais para a AES em nível de competência no português brasileiro. Foram avaliados modelos baseados em características utilizando TF-IDF, métricas linguísticas extraídas com o NILC-Metrix e uma combinação híbrida de ambos, além de modelos baseados em transformers. Os experimentos foram conduzidos sobre o corpus Enem-AES, considerando formulações de classificação e de regressão. Os resultados indicam que formulações de regressão são, em geral, mais adequadas do que as de classificação multiclasse, pois acomodam melhor a estrutura ordinal das notas. Modelos baseados em transformers alcançaram uma concordância maior em competências relacionadas ao uso da linguagem e à coesão textual, enquanto representações baseadas em características demonstraram um desempenho comparável em competências associadas à pertinência temática. Apesar de alcançarem alta acurácia sob o critério de tolerância do Enem, todas as abordagens demonstraram dificuldade em prever notas extremas, principalmente devido ao desbalanceamento do corpus. Dessa forma, conclui-se que as metodologias são complementares e que sistemas híbridos são promissores para a AES.</abstract>
<identifier type="citekey">chalegre-etal-2026-avaliacao</identifier>
<location>
<url>https://aclanthology.org/2026.propor-1.73/</url>
</location>
<part>
<date>2026-04</date>
<extent unit="page">
<start>738</start>
<end>748</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Avaliação Automática de Redações do Enem: Uma Análise Comparativa entre Engenharia de Características e Transformers
%A Chalegre, Pâmela Camilo
%A Machado, Vitor da Rocha
%A Feltrim, Valéria Delisandra
%Y Souza, Marlo
%Y de-Dios-Flores, Iria
%Y Santos, Diana
%Y Freitas, Larissa
%Y Souza, Jackson Wilke da Cruz
%Y Ribeiro, Eugénio
%S Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1
%D 2026
%8 April
%I Association for Computational Linguistics
%C Salvador, Brazil
%@ 979-8-89176-387-6
%F chalegre-etal-2026-avaliacao
%X A Avaliação Automática de Redações (AES) é um desafio central em avaliações educacionais de larga escala, como o Exame Nacional do Ensino Médio (Enem), no qual redações são avaliadas em múltiplas competências. Este trabalho apresenta uma análise comparativa de representações textuais para a AES em nível de competência no português brasileiro. Foram avaliados modelos baseados em características utilizando TF-IDF, métricas linguísticas extraídas com o NILC-Metrix e uma combinação híbrida de ambos, além de modelos baseados em transformers. Os experimentos foram conduzidos sobre o corpus Enem-AES, considerando formulações de classificação e de regressão. Os resultados indicam que formulações de regressão são, em geral, mais adequadas do que as de classificação multiclasse, pois acomodam melhor a estrutura ordinal das notas. Modelos baseados em transformers alcançaram uma concordância maior em competências relacionadas ao uso da linguagem e à coesão textual, enquanto representações baseadas em características demonstraram um desempenho comparável em competências associadas à pertinência temática. Apesar de alcançarem alta acurácia sob o critério de tolerância do Enem, todas as abordagens demonstraram dificuldade em prever notas extremas, principalmente devido ao desbalanceamento do corpus. Dessa forma, conclui-se que as metodologias são complementares e que sistemas híbridos são promissores para a AES.
%U https://aclanthology.org/2026.propor-1.73/
%P 738-748
Markdown (Informal)
[Avaliação Automática de Redações do Enem: Uma Análise Comparativa entre Engenharia de Características e Transformers](https://aclanthology.org/2026.propor-1.73/) (Chalegre et al., PROPOR 2026)
ACL