Um número é apenas o início de uma pergunta
Uma métrica é fácil de citar e difícil de verificar. Quais pacientes estavam no conjunto de teste? O orçamento de treinamento foi o mesmo? É uma execução típica ou a melhor de várias? Sem respostas, outro pesquisador não consegue saber o que o número realmente mostra.
Por isso, no OpenSurgicalVision, o registro do experimento importa mais do que a manchete. A unidade de progresso é uma hipótese ligada a uma versão dos dados, uma divisão fixa, uma configuração, registros completos das execuções e uma conclusão com seus limites.
O que é preciso para repetir um experimento
Uma boa ficha de experimento responde:
- o que mudou e o que ficou igual;
- quais dados e permissões foram usados;
- quanta computação foi necessária;
- quais execuções terminaram e quais não;
- como repetir a comparação sem perguntar ao autor.
Pelo mesmo motivo, a validação e o teste reservado cumprem papéis diferentes. Se você continua ajustando um modelo ao conjunto de teste, ele deixa de ser uma verificação independente. Por isso, no benchmark o acesso ao teste é limitado e visível para todos.
A descrição do ambiente também faz parte do resultado. A versão de uma biblioteca não informada ou uma etapa de preparação manual podem importar mais do que uma pequena diferença numa métrica.
Por onde começar
Você pode ajudar agora mesmo. Leia um guia de instalação como se fosse novo no projeto, encontre uma suposição não declarada e proponha um esclarecimento. Comece pela trilha de documentação ou veja o registro de experimentos.