Um experimento útil não precisa vencer
Uma mudança de arquitetura que não melhorou um modelo ainda pode responder a uma pergunta importante: restringir a busca, mostrar uma troca de custo computacional ou refutar uma suposição errada. Se apenas os sucessos são publicados, os leitores veem uma história selecionada em vez de como a pesquisa realmente aconteceu.
Por isso publicamos os resultados negativos com o mesmo detalhe dos positivos: a hipótese, a mudança, a divisão, cada execução, as condições de computação e a conclusão. Eles ficarão ao lado dos bem-sucedidos no registro de experimentos.
Negativo, inconclusivo e inacabado são coisas diferentes
- Negativo – nenhuma melhora foi encontrada nas condições declaradas.
- Inconclusivo – não há evidências suficientes para uma conclusão.
- Inacabado – o trabalho planejado ainda não foi feito.
Se a capacidade de computação acabou antes de terminarem todas as execuções necessárias, não se pode escrever «sem efeito». A série é marcada como inacabada.
E a conclusão não deve ser esticada: uma mudança que falha em uma divisão não prova que a abordagem seja inútil em toda parte.
Perguntas melhores do que «quem ganhou?»
- A comparação foi justa?
- A incerteza está visível?
- Os mesmos dados poderiam ser explicados de outra forma?
- O que deveria mudar no próximo experimento?
Essas perguntas transformam um fracasso em material didático, mas não transformam uma métrica de engenharia em uma conclusão clínica. Leia mais sobre o benchmark e a trilha de educação.