Chirurgischen Rauch entfernen: die ersten Basismodelle

Die Aufgabe

Die Elektrokauterisation füllt das laparoskopische Bild mit Rauch. Die Aufgabe ist, aus einem verrauchten Bild das klare Bild wiederherzustellen. Denselben Moment kann man nicht mit und ohne Rauch filmen, deshalb trainieren wir mit synthetischen Paaren: In Blender simulierter Rauch wird über klare Bilder aus dem öffentlichen Datensatz CholecT50 gelegt, der laparoskopische Cholezystektomien enthält.

• Training: 5.882 klare Bilder aus 35 Videos, mit neuem Rauch in jeder Epoche.
• Validierung: 518 feste Paare aus 5 anderen Videos.
• Aufteilung: nach Video, sodass keine Operation auf beiden Seiten vorkommt.

Jedes Modell wird mit der Referenz ohne Bearbeitung verglichen: dem verrauchten Bild, wie es ist. Ein Modell, das nicht besser ist als Nichtstun, nützt nichts.

Ergebnisse

Alle drei Modelle wurden in einer Sitzung auf einer gemieteten A40-GPU trainiert, mit je 15 Epochen auf ganzen Bildern von 854×480 und einem Seed. Die Tabelle zeigt den PSNR in dB auf den Validierungspaaren, in Klammern die Differenz zur Referenz ohne Bearbeitung.

Das Residual U-Net sagt eine Korrektur der Eingabe voraus statt eines neuen Bildes. Es verbessert die Eingabe bei jeder Rauchdichte, am stärksten bei mittlerem Rauch.

Pix2Pix, ein GAN, verändert mittleren und dichten Rauch kaum und verschlechtert Bilder mit leichtem Rauch: Sein Generator malt plausible Textur, auch wo das Bild fast klar war. Deshalb darf die Ausgabe eines GAN nie als das gelesen werden, was der Rauch verdeckt hat.

Was nicht funktioniert hat – und warum

• Ausschnitte. Das U-Net wurde zuerst auf Ausschnitten von 256×256 trainiert, einer verbreiteten Standardeinstellung.
  • Nach 11 Epochen lag es noch unter der Eingabe: 28,75 gegenüber 28,99 dB.
  • Ausschnitte verdünnen den Rauch und zeigen nie den dunklen Rand des Endoskopbilds.
  • Auf ganzen Bildern lag dasselbe Netz nach 5 Epochen 2,4 dB vor der Eingabe.
• SRGAN, drei Versuche.
  1. Im Training wurde die Ausgabe auf den gültigen Bereich begrenzt, sodass Pixel, die ihn verließen, keinen Gradienten mehr bekamen, der sie zurückholen konnte. Innerhalb einer Epoche wurde jedes Pixel rein rot, und der PSNR lag bei 6,3 dB.
  2. Nach der Korrektur lief ein Durchlauf versehentlich mit dem alten Code und wiederholte den Fehler.
  3. Im dritten Versuch trainiert der Generator zuerst nur auf dem Pixelfehler, wie im Originalartikel, und machte die Bilder trotzdem schlechter als die Eingabe: 25,4 dB. Die wahrscheinlichste Ursache sind die von Pix2Pix übernommenen Optimierer-Einstellungen; der Artikel verwendete andere. Wir haben dort aufgehört, statt weitere GPU-Stunden auszugeben.
• Betrieb. Ein vergessener Prozess trainierte 2,5 Stunden lang neben dem Hauptdurchlauf und halbierte dessen Geschwindigkeit. Prüfungen dafür sind jetzt Teil der Trainingsanleitung.

Was diese Zahlen nicht sind

• Keine abgeschlossene Serie. Es sind Ergebnisse für einen Seed auf der Validierungsaufteilung. Eine Verbesserung behaupten wir erst mit mindestens drei Seeds und sich nicht überschneidenden Konfidenzintervallen, daher ist diese Serie unvollständig. Die zurückgehaltene Testaufteilung wurde nicht angerührt.
• Kein echter Rauch. Der Rauch ist synthetisch, und keine Klinikerin und kein Kliniker hat ihn mit echtem Rauch verglichen. Bilder mit echtem Rauch sind noch nicht annotiert.
• Keine vollständige Bewertung. Geschwindigkeit, Reflexe, Blut und Unschärfe wurden nicht gemessen.
• Keine Veröffentlichung. Es ist kein Modell veröffentlicht.

RESEARCH USE ONLY – NOT FOR CLINICAL USE (nur für die Forschung, nicht für den klinischen Einsatz). Wiederhergestellte Bilder dürfen einer Chirurgin oder einem Chirurgen während einer Operation nie gezeigt werden.

Mögliche nächste Schritte

• Zwei weitere Seeds für das U-Net, danach eine einzige, protokollierte Prüfung auf der Testaufteilung.
• Bilder mit echtem Rauch annotieren, damit Modelle auch daran geprüft werden können.
• Ein weiterer SRGAN-Versuch mit den Optimierer-Einstellungen aus dem Artikel.

Die vollständige Modellkarte mit den Kennungen der Durchläufe liegt im Repository des Projekts. Siehe auch das Experiment-Protokoll und warum negative Ergebnisse zählen.