EXPERIMENTOS

Experimentos: os que funcionaram e os que não

Um registro de hipóteses, configurações, execuções e conclusões, incluindo os resultados negativos.

RESEARCH USE ONLY – NOT FOR CLINICAL USE
Esta página ainda está sendo revisada por nossos especialistas científicos, clínicos e jurídicos. Ela descreve planos, não trabalho concluído.

Registros de experimentos verificados estão a caminho.

Nenhum instantâneo do repositório está conectado. Mudar um filtro não transforma a falta de evidências em resultado. Os cartões de experimentos virão do repositório de código, não de entradas manuais no site.

Tarefa selecionada: todas as tarefas

M1: instrumentos sintéticos contra anotações reais – hipótese rejeitada

Um segmentador de instrumentos treinado apenas com pinças e ganchos em L renderizados consegue igualar o mesmo modelo treinado com anotações reais? Não. Em 7 vídeos reservados do CholecSeg8k, o modelo só sintético atinge IoU de 0,116 e o modelo com anotações reais, 0,772. O intervalo de 95 % da diferença, de −75,9 a −53,5 pontos, fica muito além da margem de 2 pontos fixada de antemão.

  • Sintético, depois 10 % real: 0,775, tão bom quanto todas as anotações reais. Sem um braço de controle, isso não mostra o que a etapa sintética acrescenta.
  • Disciplina de teste: 3 sementes por braço; cada modelo escolhido foi executado uma vez no teste.

Status: hipótese rejeitada. Detalhes, perguntas em aberto e os próximos experimentos estão em Instrumentos sintéticos podem substituir anotações reais?

M5: remover a fumaça cirúrgica – série inacabada

Os primeiros modelos treinados recuperam um quadro laparoscópico limpo a partir de um quadro com fumaça. Foram treinados com fumaça sintética sobre quadros do CholecT50, com divisão por vídeo, e comparados com o quadro com fumaça sem alteração.

  • Residual U-Net: 33,08 dB de PSNR contra 28,99 da entrada (+4,09); melhor que a entrada em qualquer densidade de fumaça.
  • Pix2Pix: 27,85 dB (−1,14); piora os quadros com fumaça leve.
  • SRGAN: não convergiu em três tentativas.

Situação: inacabada. É uma única semente na divisão de validação; a partição de teste não foi tocada e nenhum modelo foi publicado. Os resultados negativos – o treinamento com recortes e as três tentativas com SRGAN – estão descritos em Remover a fumaça cirúrgica: os primeiros modelos de referência.

Como funciona o registro

A primeira série, os modelos de referência para remover a fumaça mostrados acima, é o ponto de comparação dos próximos experimentos. Cada experimento comparará uma mudança de arquitetura com uma linha de base nas mesmas condições:

  • uma divisão de dados fixa por paciente;
  • o mesmo orçamento de computação;
  • pelo menos três execuções completas com sementes diferentes.

Uma ficha de experimento liga a hipótese, a mudança, a versão dos dados, os resultados de cada execução, a incerteza e a conclusão.

Resultados negativos contam igualmente

Experimentos fracassados e inconclusivos são publicados ao lado dos bem-sucedidos. Uma série inacabada é rotulada como tal: não pode ser apresentada como prova de que não há efeito.

Demonstrações

Um clipe curto de um experimento só aparece se o material de origem puder ser exibido, o clipe trouxer o ID da execução e uma pessoa tiver aprovado a publicação. As ilustrações deste site não são resultados de experimentos.