@inproceedings{real-da-silva-2026-como,
title = "{C}omo Nossos Pais: Princ{\'i}pios Cl{\'a}ssicos para a Avalia{\c{c}}{\~a}o de Sistemas de {IA}",
author = "Real, Livy and
da Silva, Altigran Soares",
editor = "Barbosa, Bryan Khelven da Silva and
Paes, Aline and
Felippo, Ariani Di",
booktitle = "Proceedings of the 17th {B}razilian Symposium in Information and Human Language Technology",
month = oct,
year = "2026",
address = "Cuiab{\'a}, Mato Grosso, Brazil",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2026.stil-1.28/",
doi = "10.5753/stil.2026.25414",
pages = "331--347",
abstract = "Este trabalho retoma bases epistemol{\'o}gicas e metodol{\'o}gicas de diversas {\'a}reas da ci{\^e}ncia, como psicologia, lingu{\'i}stica de corpus, sociologia e neuroci{\^e}ncia, para fundamentar princ{\'i}pios b{\'a}sicos da avalia{\c{c}}{\~a}o de sistemas baseados em Processamento de Linguagem Natural e Intelig{\^e}ncia Artificial. Apresentamos em detalhe o estado da arte da avalia{\c{c}}{\~a}o na {\'a}rea, discutindo os motivos que nos levam {\`a} necessidade de automatizar a avalia{\c{c}}{\~a}o de sistemas (paradigma LLM-as-a-Judge). Introduzimos Cinco Princ{\'i}pios Metodol{\'o}gicos b{\'a}sicos que devem fundamentar a avalia{\c{c}}{\~a}o de sistemas baseados em IA, fundamentados tanto na teoria e experimentos destas {\'a}reas que j{\'a} pesquisam a percep{\c{c}}{\~a}o humana h{\'a} d{\'e}cadas quanto em evid{\^e}ncias emp{\'i}ricas do pr{\'o}prio PLN."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="real-da-silva-2026-como">
<titleInfo>
<title>Como Nossos Pais: Princípios Clássicos para a Avaliação de Sistemas de IA</title>
</titleInfo>
<name type="personal">
<namePart type="given">Livy</namePart>
<namePart type="family">Real</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Altigran</namePart>
<namePart type="given">Soares</namePart>
<namePart type="family">da Silva</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2026-10</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Proceedings of the 17th Brazilian Symposium in Information and Human Language Technology</title>
</titleInfo>
<name type="personal">
<namePart type="given">Bryan</namePart>
<namePart type="given">Khelven</namePart>
<namePart type="given">da</namePart>
<namePart type="given">Silva</namePart>
<namePart type="family">Barbosa</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Aline</namePart>
<namePart type="family">Paes</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Ariani</namePart>
<namePart type="given">Di</namePart>
<namePart type="family">Felippo</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>Association for Computational Linguistics</publisher>
<place>
<placeTerm type="text">Cuiabá, Mato Grosso, Brazil</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Este trabalho retoma bases epistemológicas e metodológicas de diversas áreas da ciência, como psicologia, linguística de corpus, sociologia e neurociência, para fundamentar princípios básicos da avaliação de sistemas baseados em Processamento de Linguagem Natural e Inteligência Artificial. Apresentamos em detalhe o estado da arte da avaliação na área, discutindo os motivos que nos levam à necessidade de automatizar a avaliação de sistemas (paradigma LLM-as-a-Judge). Introduzimos Cinco Princípios Metodológicos básicos que devem fundamentar a avaliação de sistemas baseados em IA, fundamentados tanto na teoria e experimentos destas áreas que já pesquisam a percepção humana há décadas quanto em evidências empíricas do próprio PLN.</abstract>
<identifier type="citekey">real-da-silva-2026-como</identifier>
<identifier type="doi">10.5753/stil.2026.25414</identifier>
<location>
<url>https://aclanthology.org/2026.stil-1.28/</url>
</location>
<part>
<date>2026-10</date>
<extent unit="page">
<start>331</start>
<end>347</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Como Nossos Pais: Princípios Clássicos para a Avaliação de Sistemas de IA
%A Real, Livy
%A da Silva, Altigran Soares
%Y Barbosa, Bryan Khelven da Silva
%Y Paes, Aline
%Y Felippo, Ariani Di
%S Proceedings of the 17th Brazilian Symposium in Information and Human Language Technology
%D 2026
%8 October
%I Association for Computational Linguistics
%C Cuiabá, Mato Grosso, Brazil
%F real-da-silva-2026-como
%X Este trabalho retoma bases epistemológicas e metodológicas de diversas áreas da ciência, como psicologia, linguística de corpus, sociologia e neurociência, para fundamentar princípios básicos da avaliação de sistemas baseados em Processamento de Linguagem Natural e Inteligência Artificial. Apresentamos em detalhe o estado da arte da avaliação na área, discutindo os motivos que nos levam à necessidade de automatizar a avaliação de sistemas (paradigma LLM-as-a-Judge). Introduzimos Cinco Princípios Metodológicos básicos que devem fundamentar a avaliação de sistemas baseados em IA, fundamentados tanto na teoria e experimentos destas áreas que já pesquisam a percepção humana há décadas quanto em evidências empíricas do próprio PLN.
%R 10.5753/stil.2026.25414
%U https://aclanthology.org/2026.stil-1.28/
%U https://doi.org/10.5753/stil.2026.25414
%P 331-347
Markdown (Informal)
[Como Nossos Pais: Princípios Clássicos para a Avaliação de Sistemas de IA](https://aclanthology.org/2026.stil-1.28/) (Real & da Silva, STIL 2026)
ACL