O contexto mínimo de uma comparação
Achilles Balsini — Conceitos de superinteligência
Revisão: 27/10/2026
https://achillesbalsini.ia.br/avaliacoes/

HELM mostra a utilidade de várias métricas e condições comparáveis. Dynabench acrescenta outra pergunta: como o desempenho se comporta diante de exemplos novos e desafiadores? A ficha reúne campos que ajudam a ler os dois tipos de avaliação.

Campo: Identificação
O que precisa acompanhar o resultado: Nome e versão do modelo, data da avaliação e versão do conjunto de testes.

Campo: Configuração
O que precisa acompanhar o resultado: Instrução usada, exemplos fornecidos, ferramentas permitidas e número de tentativas.

Campo: Acerto
O que precisa acompanhar o resultado: Regra de pontuação: resposta exata, julgamento humano, crédito parcial ou conclusão funcional.

Campo: Robustez
O que precisa acompanhar o resultado: Quais variações foram testadas e quanto o resultado mudou entre elas.

Campo: Cobertura
O que precisa acompanhar o resultado: Idiomas, tarefas e grupos incluídos; situações que ficaram sem avaliação.

Uma comparação incompleta
Se um placar informa o resultado de uma tentativa e outro seleciona a melhor entre várias, os números não descrevem a mesma condição. A leitura deve conservar essa diferença antes de ordenar os sistemas.

Campo não informado deve permanecer como “não informado”. Uma ausência documental não pode ser preenchida com uma hipótese favorável ao modelo.

Fontes:
Language Models are Changing AI: The Need for Holistic Evaluation — https://crfm.stanford.edu/2022/11/17/helm.html
Dynabench: Rethinking Benchmarking in NLP — https://aclanthology.org/2021.naacl-main.324/

Anotações de leitura:
____________________________________________________________
____________________________________________________________
____________________________________________________________