Usuwanie dymu chirurgicznego: pierwsze modele bazowe

Zadanie

Elektrokoagulacja wypełnia obraz laparoskopowy dymem. Zadanie polega na odtworzeniu czystej klatki z zadymionej. Tej samej chwili nie da się nagrać jednocześnie z dymem i bez niego, dlatego uczymy na parach syntetycznych: dym symulowany w Blenderze nakładamy na czyste klatki z publicznego zbioru CholecT50 z laparoskopowych cholecystektomii.

• Trening: 5882 czyste klatki z 35 nagrań, z nowym dymem w każdej epoce.
• Walidacja: 518 stałych par z 5 innych nagrań.
• Podział: według nagrań, więc żadna operacja nie trafia do obu części.

Każdy model porównujemy z punktem odniesienia bez zmian: zadymioną klatką taką, jaka jest. Model, który nie jest lepszy od niezrobienia niczego, jest bezużyteczny.

Wyniki

Wszystkie trzy modele trenowano podczas jednej sesji na wynajętym GPU A40, po 15 epok na pełnych klatkach 854×480, z jednym ziarnem losowości. Tabela podaje PSNR w dB na parach walidacyjnych, a w nawiasach różnicę względem punktu odniesienia bez zmian.

Residual U-Net przewiduje poprawkę do klatki wejściowej, a nie nowy obraz. Poprawia wejście przy każdej gęstości dymu, najbardziej przy średnim dymie.

Pix2Pix, sieć GAN, prawie nie zmienia klatek ze średnim i gęstym dymem, a psuje klatki z lekkim dymem: jej generator dorysowuje wiarygodną teksturę nawet tam, gdzie klatka była prawie czysta. Dlatego wyniku sieci GAN nigdy nie wolno traktować jako tego, co zasłaniał dym.

Co nie zadziałało i dlaczego

• Wycinki. U-Net najpierw trenowano na wycinkach 256×256, co jest popularnym ustawieniem domyślnym.
  • Po 11 epokach wciąż był gorszy od wejścia: 28,75 wobec 28,99 dB.
  • Wycinki rozcieńczają dym i nigdy nie pokazują ciemnej krawędzi obrazu z endoskopu.
  • Na pełnych klatkach ta sama sieć wyprzedziła wejście o 2,4 dB już po 5 epokach.
• SRGAN, trzy próby.
  1. Podczas treningu wyjście było przycinane do dozwolonego zakresu, więc piksele, które z niego wyszły, traciły gradient, który mógłby je przywrócić. W ciągu jednej epoki wszystkie piksele stały się czysto czerwone, a PSNR wyniósł 6,3 dB.
  2. Po poprawce jedno uruchomienie przez pomyłkę użyło starego kodu i powtórzyło błąd.
  3. W trzeciej próbie generator najpierw uczy się tylko na błędzie pikselowym, jak w oryginalnym artykule, a mimo to pogarszał klatki względem wejścia: 25,4 dB. Najbardziej prawdopodobna przyczyna to ustawienia optymalizatora przejęte z Pix2Pix; w artykule użyto innych. Zatrzymaliśmy się na tym, zamiast wydawać kolejne godziny GPU.
• Organizacja pracy. Zapomniany proces przez 2,5 godziny trenował obok głównego uruchomienia i spowolnił je o połowę. Sprawdzenia, które temu zapobiegają, są teraz częścią instrukcji treningu.

Czym te liczby nie są

• To nie jest zakończona seria. To wyniki dla jednego ziarna na podziale walidacyjnym. Poprawę ogłaszamy dopiero przy co najmniej trzech ziarnach z nienakładającymi się przedziałami ufności, więc ta seria jest niedokończona. Odłożonego zbioru testowego nie używaliśmy.
• To nie jest prawdziwy dym. Dym jest syntetyczny i żaden klinicysta nie porównał go z prawdziwym. Klatki z prawdziwym dymem nie są jeszcze oznaczone.
• To nie jest pełna ocena. Nie mierzyliśmy szybkości ani wpływu odblasków, krwi i rozmycia.
• To nie jest wydanie. Żaden model nie został opublikowany.

RESEARCH USE ONLY – NOT FOR CLINICAL USE (wyłącznie do badań, nie do użytku klinicznego). Odtworzonych klatek nigdy nie wolno pokazywać chirurgowi podczas operacji.

Możliwe dalsze kroki

• Dwa kolejne ziarna dla U-Net, a potem jedno, odnotowane sprawdzenie na zbiorze testowym.
• Oznaczenie klatek z prawdziwym dymem, aby sprawdzać modele także na nim.
• Kolejna próba z SRGAN z ustawieniami optymalizatora z artykułu.

Pełna karta modelu z identyfikatorami uruchomień znajduje się w repozytorium projektu. Zobacz też dziennik eksperymentów i dlaczego wyniki negatywne mają znaczenie.