Durante seis semanas a redação montou uma bateria de 240 prompts divididos em quatro trilhas: linguagem técnica, variação regional, ambiguidade proposital e raciocínio numérico aplicado ao contexto brasileiro. Cada resposta foi avaliada às cegas por três revisores.

O resultado desmonta boa parte do discurso comercial. Apenas dois modelos ficaram acima da linha de corte que estabelecemos — 80% de acerto sem alucinação factual — e a diferença entre o primeiro e o quinto colocado é maior do que qualquer benchmark internacional sugere.

O ponto mais frágil não é vocabulário, e sim contexto. Modelos treinados majoritariamente em inglês entendem as palavras, mas erram a intenção quando o prompt envolve regra local, gíria regional ou norma técnica brasileira.

Publicamos a metodologia completa e a planilha de pontuação para quem quiser reproduzir o teste. Nos próximos seis meses repetiremos a bateria a cada trimestre.