Remover a fumaça cirúrgica: os primeiros modelos de referência

A tarefa

A eletrocauterização enche a imagem laparoscópica de fumaça. A tarefa é recuperar o quadro limpo a partir de um quadro com fumaça. Não é possível filmar o mesmo instante com e sem fumaça, por isso treinamos com pares sintéticos: a fumaça simulada no Blender é sobreposta a quadros limpos do conjunto público CholecT50, de colecistectomias laparoscópicas.

• Treinamento: 5.882 quadros limpos de 35 vídeos, com fumaça nova a cada época.
• Validação: 518 pares fixos de outros 5 vídeos.
• Divisão: por vídeo, de modo que nenhuma operação aparece dos dois lados.

Cada modelo é comparado com a referência sem alteração: o quadro com fumaça como está. Um modelo que não supera o “não fazer nada” não tem utilidade.

Resultados

Os três modelos foram treinados numa sessão em uma GPU A40 alugada, com 15 épocas cada um em quadros inteiros de 854×480 e uma única semente. A tabela traz o PSNR em dB nos pares de validação, com a diferença em relação à referência sem alteração entre parênteses.

A residual U-Net prevê uma correção da entrada em vez de uma imagem nova. Ela melhora a entrada em qualquer densidade de fumaça, sobretudo com fumaça média.

O Pix2Pix, uma GAN, quase não altera a fumaça média e densa e piora os quadros com fumaça leve: o gerador pinta uma textura plausível mesmo onde o quadro estava quase limpo. Por isso a saída de uma GAN nunca deve ser lida como aquilo que a fumaça escondia.

O que não funcionou, e por quê

• Recortes. A U-Net foi treinada primeiro com recortes de 256×256, um padrão comum.
  • Após 11 épocas ainda ficava abaixo da entrada: 28,75 contra 28,99 dB.
  • Os recortes diluem a fumaça e nunca mostram a borda escura da imagem do endoscópio.
  • Com quadros inteiros, a mesma rede superou a entrada em 2,4 dB após 5 épocas.
• SRGAN, três tentativas.
  1. Durante o treinamento a saída era cortada no intervalo válido, então os pixels que saíam dele perdiam o gradiente que poderia trazê-los de volta. Em uma época todos os pixels ficaram vermelho puro, e o PSNR foi de 6,3 dB.
  2. Após a correção, uma execução usou por engano o código antigo e repetiu a falha.
  3. Na terceira tentativa o gerador primeiro treina só com o erro por pixel, como no artigo original, e ainda assim piorou os quadros em relação à entrada: 25,4 dB. A causa mais provável são as configurações do otimizador herdadas do Pix2Pix; o artigo usou outras. Paramos aí em vez de gastar mais horas de GPU.
• Operação. Um processo esquecido treinou ao lado da execução principal por 2,5 horas e reduziu sua velocidade pela metade. As verificações para isso agora fazem parte do roteiro de treinamento.

O que estes números não são

• Não são uma série concluída. São resultados de uma semente na divisão de validação. Só declaramos uma melhora com pelo menos três sementes e intervalos de confiança sem sobreposição, então esta série está inacabada. A partição de teste reservada não foi tocada.
• Não é fumaça real. A fumaça é sintética, e nenhum clínico a validou em comparação com fumaça real. Os quadros com fumaça real ainda não foram rotulados.
• Não é uma avaliação completa. Velocidade, reflexos, sangue e desfoque não foram medidos.
• Não é um lançamento. Nenhum modelo foi publicado.

RESEARCH USE ONLY – NOT FOR CLINICAL USE (somente para pesquisa, não para uso clínico). Quadros restaurados nunca devem ser mostrados a um cirurgião durante uma operação.

Possíveis próximos passos

• Mais duas sementes para a U-Net e, em seguida, uma única verificação registrada na partição de teste.
• Rotular quadros com fumaça real, para que os modelos também possam ser verificados nela.
• Uma nova tentativa com o SRGAN usando as configurações de otimizador do artigo.

O cartão completo do modelo, com os identificadores das execuções, está no repositório do projeto. Veja também o registro de experimentos e por que os resultados negativos importam.