Eliminar el humo quirúrgico: los primeros modelos de referencia

La tarea

La electrocauterización llena de humo la imagen laparoscópica. La tarea es recuperar el fotograma limpio a partir de uno con humo. No se puede grabar el mismo instante con humo y sin él, así que entrenamos con pares sintéticos: el humo simulado en Blender se superpone a fotogramas limpios del conjunto público CholecT50, de colecistectomías laparoscópicas.

• Entrenamiento: 5882 fotogramas limpios de 35 vídeos, con humo nuevo en cada época.
• Validación: 518 pares fijos de otros 5 vídeos.
• División: por vídeo, de modo que ninguna operación aparece en ambos lados.

Cada modelo se compara con la referencia sin cambios: el fotograma con humo tal cual. Un modelo que no supera a no hacer nada no sirve.

Resultados

Los tres modelos se entrenaron en una sesión en una GPU A40 alquilada, con 15 épocas cada uno sobre fotogramas completos de 854×480 y una sola semilla. La tabla da el PSNR en dB sobre los pares de validación, con la diferencia respecto a la referencia sin cambios entre paréntesis.

La residual U-Net predice una corrección de la entrada en lugar de una imagen nueva. Mejora la entrada con cualquier densidad de humo, sobre todo con humo medio.

Pix2Pix, una GAN, apenas cambia el humo medio y denso, y estropea los fotogramas con humo ligero: su generador pinta una textura verosímil incluso donde el fotograma estaba casi limpio. Por eso la salida de una GAN nunca debe tomarse como lo que el humo ocultaba.

Lo que no funcionó y por qué

• Recortes. La U-Net se entrenó primero con recortes de 256×256, un valor por defecto habitual.
  • Tras 11 épocas seguía por debajo de la entrada: 28,75 frente a 28,99 dB.
  • Los recortes diluyen el humo y nunca muestran el borde oscuro de la imagen del endoscopio.
  • Con fotogramas completos, la misma red superaba a la entrada en 2,4 dB tras 5 épocas.
• SRGAN, tres intentos.
  1. Durante el entrenamiento la salida se recortaba al rango válido, así que los píxeles que salían de él perdían el gradiente que podía devolverlos. En una época todos los píxeles se volvieron rojo puro, y el PSNR fue de 6,3 dB.
  2. Tras la corrección, una ejecución usó por error el código antiguo y repitió el fallo.
  3. En el tercer intento el generador se entrena primero solo con el error por píxel, como en el artículo original, y aun así empeoró los fotogramas respecto a la entrada: 25,4 dB. La causa más probable es la configuración del optimizador tomada de Pix2Pix; el artículo usó otra. Nos detuvimos ahí en lugar de gastar más horas de GPU.
• Operaciones. Un proceso olvidado se entrenó junto a la ejecución principal durante 2,5 horas y redujo su velocidad a la mitad. Las comprobaciones para evitarlo forman parte ahora del procedimiento de entrenamiento.

Lo que estas cifras no son

• No son una serie terminada. Son resultados de una semilla en la división de validación. Solo declaramos una mejora con al menos tres semillas y con intervalos de confianza que no se solapen, así que esta serie está sin terminar. La partición de prueba reservada no se ha tocado.
• No es humo real. El humo es sintético y ningún clínico lo ha validado frente a humo real. Los fotogramas con humo real aún no están etiquetados.
• No es una evaluación completa. No se han medido la velocidad, los reflejos, la sangre ni el desenfoque.
• No es una publicación. No se ha publicado ningún modelo.

RESEARCH USE ONLY – NOT FOR CLINICAL USE (solo para investigación, no para uso clínico). Los fotogramas restaurados nunca deben mostrarse a un cirujano durante una operación.

Posibles próximos pasos

• Dos semillas más para la U-Net y después una única comprobación registrada en la partición de prueba.
• Etiquetar fotogramas con humo real, para poder comprobar los modelos también con él.
• Otro intento con SRGAN con la configuración del optimizador del artículo.

La ficha completa del modelo, con los identificadores de ejecución, está en el repositorio del proyecto. Véanse también el registro de experimentos y por qué importan los resultados negativos.