OpenSurgicalVisionOPEN SCIENCE. SHARED PROGRESS.
Zaloguj się do CVAT
PL

EKSPERYMENTY

Eksperymenty – te, które się udały, i te, które nie

Dziennik hipotez, konfiguracji, uruchomień i wniosków, także negatywnych.

RESEARCH USE ONLY – NOT FOR CLINICAL USE
Ta strona jest wciąż sprawdzana przez naszych ekspertów naukowych, klinicznych i prawnych. Opisuje plany, a nie ukończoną pracę.

Zweryfikowane zapisy eksperymentów są w drodze.

Nie połączono żadnej migawki repozytorium. Zmiana filtra nie zamienia brakujących dowodów w wynik. Karty eksperymentów będą pochodzić z repozytorium źródłowego, a nie z ręcznych wpisów na stronie.

Wybrane zadanie: wszystkie zadania

M1: syntetyczne narzędzia kontra prawdziwe oznaczenia – hipoteza odrzucona

Czy segmentacja narzędzi wytrenowana tylko na wyrenderowanych chwytakach i haczykach w kształcie L dorówna temu samemu modelowi na prawdziwych oznaczeniach? Nie. Na 7 odłożonych nagraniach CholecSeg8k model czysto syntetyczny osiąga IoU 0,116, a model na prawdziwych oznaczeniach 0,772. 95-procentowy przedział różnicy, od −75,9 do −53,5 punktu, leży daleko poza ustalonym z góry marginesem 2 punktów.

  • Syntetyka, potem 10 % prawdziwych klatek: 0,775, tyle samo co ze wszystkimi prawdziwymi oznaczeniami. Bez wariantu kontrolnego nie pokazuje to, co daje krok syntetyczny.
  • Dyscyplina testu: 3 ziarna na wariant; każdy wybrany model uruchomiono na teście raz.

Status: hipoteza odrzucona. Szczegóły, otwarte pytania i kolejne eksperymenty: Czy syntetyczne narzędzia mogą zastąpić prawdziwe oznaczenia?

M5: usuwanie dymu chirurgicznego – seria niedokończona

Pierwsze wytrenowane modele odtwarzają czystą klatkę laparoskopową z zadymionej. Uczono je na syntetycznym dymie nałożonym na klatki z CholecT50, z podziałem według nagrań, i porównano z zadymioną klatką bez zmian.

  • Residual U-Net: PSNR 33,08 dB wobec 28,99 dla wejścia (+4,09); lepszy od wejścia przy każdej gęstości dymu.
  • Pix2Pix: 27,85 dB (−1,14); psuje klatki z lekkim dymem.
  • SRGAN: nie zbiegł się w trzech próbach.

Status: niedokończona. To jedno ziarno na podziale walidacyjnym; zbioru testowego nie używano i żaden model nie został opublikowany. Wyniki negatywne – trening na wycinkach i trzy próby z SRGAN – opisano we wpisie Usuwanie dymu chirurgicznego: pierwsze modele bazowe.

Jak działa dziennik

Pierwsza seria, czyli modele bazowe usuwania dymu opisane powyżej, jest punktem odniesienia dla kolejnych eksperymentów. Każdy eksperyment porówna zmianę architektury z punktem odniesienia w takich samych warunkach:

  • stały podział danych według pacjentów;
  • ten sam budżet obliczeniowy;
  • co najmniej trzy pełne uruchomienia z różnymi ziarnami losowości.

Karta eksperymentu łączy hipotezę, zmianę, wersję danych, wyniki każdego uruchomienia, niepewność i wniosek.

Wyniki negatywne liczą się tak samo

Eksperymenty nieudane i niejednoznaczne są publikowane obok udanych. Niedokończona seria jest oznaczona jako taka: nie można jej przedstawiać jako dowodu braku efektu.

Demonstracje

Krótki fragment eksperymentu pojawia się tylko wtedy, gdy materiał źródłowy wolno pokazywać, fragment nosi identyfikator uruchomienia, a człowiek zatwierdził publikację. Ilustracje w tym serwisie nie są wynikami eksperymentów.