Para que serve o benchmark
O benchmark permite comparar modelos de forma justa e reprodutível. É uma comparação de engenharia, não uma avaliação clínica. Ainda não há resultados.
Tarefas: segmentação de instrumentos e anatomia, reconhecimento de fases cirúrgicas, segmentação 3D e remoção de fumaça. Cada tarefa tem suas próprias métricas, e não as reduzimos a uma única «pontuação geral».
As mesmas condições para todos
- Divisões por paciente. Quadros de uma mesma operação nunca podem estar ao mesmo tempo no treinamento e na avaliação.
- Orçamento igual. Épocas, horas de GPU e tamanho do lote são comparáveis; as diferenças inevitáveis são declaradas.
- Pelo menos três execuções por configuração: valores individuais, a média e um intervalo de confiança.
- Ablações para qualquer mudança de arquitetura, na mesma divisão e com o mesmo orçamento.
Validação e teste reservado
O desenvolvimento usa apenas o conjunto de validação. O teste reservado é usado no máximo uma vez por versão, e cada uso aparece em um contador. Antes disso, outra pessoa deve reproduzir o resultado. A automação de experimentos não tem acesso ao teste reservado.
Como enviar um resultado
Os envios serão abertos mais adiante. Um envio precisará de:
- a tarefa, a versão do código, a configuração e a versão dos dados;
- registros completos das execuções e das condições de computação;
- ablações e limitações conhecidas;
- licenças e a origem dos materiais.
Os resultados aparecerão na classificação e no registro de experimentos.