Eine Zahl ist erst der Anfang einer Frage
Eine Metrik lässt sich leicht zitieren und schwer überprüfen. Welche Patienten waren im Testdatensatz? War das Trainingsbudget gleich? Ist es ein typischer Lauf oder der beste von mehreren? Ohne Antworten kann eine andere Forscherin oder ein anderer Forscher nicht erkennen, was die Zahl tatsächlich zeigt.
Deshalb zählt bei OpenSurgicalVision das Experimentprotokoll mehr als die Schlagzeile. Die Einheit des Fortschritts ist eine Hypothese, verknüpft mit einer Datenversion, einer festen Aufteilung, einer Konfiguration, vollständigen Laufprotokollen und einem Schluss samt seinen Grenzen.
Was nötig ist, um ein Experiment zu wiederholen
Eine gute Experimentkarte beantwortet:
- was sich geändert hat und was gleich geblieben ist;
- welche Daten und Genehmigungen verwendet wurden;
- wie viel Rechenleistung nötig war;
- welche Läufe abgeschlossen wurden und welche nicht;
- wie sich der Vergleich wiederholen lässt, ohne die Autorin oder den Autor zu fragen.
Aus demselben Grund erfüllen Validierung und zurückgehaltener Test unterschiedliche Aufgaben. Wenn Sie ein Modell immer weiter auf den Testdatensatz abstimmen, ist er keine unabhängige Prüfung mehr. Darum ist im Benchmark der Zugriff auf den Test begrenzt und für alle sichtbar.
Auch die Beschreibung der Umgebung gehört zum Ergebnis. Eine nicht genannte Bibliotheksversion oder ein manueller Vorbereitungsschritt kann mehr ausmachen als ein kleiner Unterschied in einer Metrik.
Wo Sie beginnen können
Sie können sofort helfen. Lesen Sie eine Einrichtungsanleitung als Neuling, finden Sie eine unausgesprochene Annahme und schlagen Sie eine Klarstellung vor. Beginnen Sie mit dem Dokumentationsbereich oder sehen Sie sich das Experimentprotokoll an.