Wozu der Benchmark dient
Der Benchmark ermöglicht es, Modelle fair und reproduzierbar zu vergleichen. Er ist ein technischer Vergleich, keine klinische Bewertung. Ergebnisse gibt es noch nicht.
Aufgaben: Segmentierung von Instrumenten und Anatomie, Erkennung chirurgischer Phasen, 3D-Segmentierung und Rauchentfernung. Jede Aufgabe hat eigene Metriken, und wir fassen sie nicht zu einer einzigen „Gesamtnote“ zusammen.
Die gleichen Bedingungen für alle
- Patientenbezogene Aufteilungen. Bilder derselben Operation dürfen nie gleichzeitig im Training und in der Evaluation vorkommen.
- Gleiches Budget. Epochen, GPU-Stunden und Batchgröße sind vergleichbar; unvermeidbare Unterschiede werden benannt.
- Mindestens drei Läufe pro Konfiguration: Einzelwerte, der Mittelwert und ein Konfidenzintervall.
- Ablationen bei jeder Architekturänderung, auf derselben Aufteilung und mit demselben Budget.
Validierung und zurückgehaltener Test
Die Entwicklung nutzt nur den Validierungsdatensatz. Der zurückgehaltene Test wird höchstens einmal pro Release verwendet, und jede Nutzung erscheint auf einem Zähler. Zuvor muss eine andere Person das Ergebnis reproduzieren. Die Automatisierung von Experimenten hat keinen Zugriff auf den zurückgehaltenen Test.
So reichen Sie ein Ergebnis ein
Einreichungen werden später geöffnet. Eine Einreichung benötigt:
- die Aufgabe, die Code-Version, die Konfiguration und die Datenversion;
- vollständige Protokolle der Läufe und die Rechenbedingungen;
- Ablationen und bekannte Einschränkungen;
- Lizenzen und die Herkunft der Materialien.
Die Ergebnisse erscheinen in der Rangliste und im Experimentprotokoll.