Por que o leaderboard não basta

Mistral, GPT e Llama trocam de posição toda semana num gráfico que não conhece o seu cliente. O que importa é se o modelo responde certo no seu domínio, com o seu tom e dentro do seu orçamento.

Eu trato avaliação como produto: um conjunto versionado de casos reais, com gabarito humano, que roda no CI. Sem isso, cada troca de prompt é um chute.

Como monto o conjunto

Começo com 40 a 80 exemplos retirados de tickets, logs e conversas reais — anonimizados. Cada item tem entrada, resposta esperada e um critério binário ou com nota de 1 a 5.

Casos felizes do fluxo principal
Bordas: entrada vazia, idioma misturado, pedido fora de escopo
Regressões que já quebraram em produção

No CI, não no feeling

O pipeline compara a resposta nova com a anterior e com o gabarito. Se a nota média cai ou um caso crítico falha, o deploy para. Prompt, modelo e temperatura entram no mesmo versionamento do código.

Isso não substitui olho humano. Substitui a reunião de “acho que ficou pior”.