Jede Phase ist eine Forschungsfrage
Die Illustrationen unten zeigen die Abfolge: ein 3D-Modell vor der Operation, Masken auf dem Video während der Operation, eine Zeitleiste danach. Jede Phase ist ein eigenes Forschungsproblem mit eigenen Daten, Genehmigungen und eigener Evaluation. Es ist kein funktionierendes klinisches System.
Werkzeuge:
- Videos werden in CVAT annotiert, mit Vorschlägen des Modells SAM 2;
- volumetrische Scans (CT, MRT) in 3D Slicer und MONAI Label.
Erst die Qualität, dann die Menge
Die klinische Leitung genehmigt die Klassendefinitionen, die Regeln für unklare Fälle und die Entscheidungen bei Meinungsverschiedenheiten. Wir prüfen, wie gut Fachleute untereinander übereinstimmen:
- 10 % der Bilder werden von mehreren Personen unabhängig annotiert;
- die Übereinstimmung wird mit Cohens oder Fleiss’ κ gemessen, die Maskenüberlappung mit Dice und IoU;
- Zielschwellen: κ ≥ 0,70 und mittlerer Dice ≥ 0,80.
Wenn Fachleute uneins sind, klären wir die Richtlinie oder kennzeichnen die Unsicherheit ausdrücklich, statt stillschweigend zu mitteln. Wiederkehrende Meinungsverschiedenheiten lösen eine neue Version der Richtlinie aus.
Schutz vor blindem Vertrauen in Vorschläge
Ein automatischer Vorschlag kann das Urteil der Annotierenden unbemerkt verschieben. Deshalb:
- geben wir 10 % der Bilder ohne Vorschläge aus, vermischt mit den übrigen;
- vergleichen wir die Arbeit derselben Person mit und ohne Vorschläge, mit mindestens zwei Wochen Abstand;
- beobachten wir den Anteil der Masken, die ohne eine einzige Änderung akzeptiert werden, sowie auffallend schnelle Sitzungen.
Zeigt sich ein Problem, werden die Vorschläge für diese Klasse bis zur Überprüfung abgeschaltet.
Geschwindigkeit: ein Ziel, kein Ergebnis
Das Ziel sind höchstens 30–50 ms pro Bild und mindestens 30 Bilder pro Sekunde. Es ist ein Ziel, keine Messung. Künftige Geschwindigkeitsberichte nennen die Hardware, die Eingabegröße, die numerische Genauigkeit und die p50/p95/p99-Latenz.