Każdy etap to pytanie badawcze
Ilustracje poniżej pokazują kolejność: model 3D przed operacją, maski na wideo w trakcie operacji, oś czasu po niej. Każdy etap to odrębny problem badawczy z własnymi danymi, zgodami i ewaluacją. To nie jest działający system kliniczny.
Narzędzia:
- wideo jest adnotowane w CVAT, z sugestiami modelu SAM 2;
- skany wolumetryczne (TK, MRI) w 3D Slicer i MONAI Label.
Najpierw jakość, potem ilość
Kierownik kliniczny zatwierdza definicje klas, zasady dla przypadków niejasnych i rozstrzygnięcia sporów. Sprawdzamy, jak dobrze eksperci zgadzają się między sobą:
- 10% klatek jest adnotowanych niezależnie przez kilka osób;
- zgodność mierzy się κ Cohena lub Fleissa, a nakładanie się masek – Dice i IoU;
- progi docelowe: κ ≥ 0,70 i średni Dice ≥ 0,80.
Gdy eksperci się nie zgadzają, doprecyzowujemy wytyczne lub wyraźnie oznaczamy niepewność, zamiast po cichu uśredniać. Powtarzające się spory prowadzą do nowej wersji wytycznych.
Ochrona przed ślepym zaufaniem do sugestii
Automatyczna sugestia może po cichu przesunąć osąd adnotatora. Dlatego:
- dajemy 10% klatek bez sugestii, wymieszane z pozostałymi;
- porównujemy pracę tej samej osoby z sugestiami i bez nich, w odstępie co najmniej dwóch tygodni;
- obserwujemy odsetek masek przyjętych bez jednej poprawki oraz nietypowo szybkie sesje.
Jeśli pojawi się problem, sugestie dla danej klasy są wyłączane do czasu przeglądu.
Szybkość: cel, nie wynik
Celem jest najwyżej 30–50 ms na klatkę i co najmniej 30 klatek na sekundę. To zamierzenie, a nie pomiar. Przyszłe raporty szybkości podadzą sprzęt, rozmiar wejścia, precyzję numeryczną i opóźnienia p50/p95/p99.