Do czego służy benchmark
Benchmark pozwala porównywać modele uczciwie i w sposób powtarzalny. To porównanie inżynierskie, a nie ocena kliniczna. Wyników jeszcze nie ma.
Zadania: segmentacja narzędzi i anatomii, rozpoznawanie faz operacji, segmentacja 3D i usuwanie dymu. Każde zadanie ma własne metryki i nie sprowadzamy ich do jednej „oceny ogólnej”.
Takie same warunki dla wszystkich
- Podziały według pacjentów. Klatki z jednej operacji nigdy nie mogą trafić jednocześnie do treningu i do ewaluacji.
- Równy budżet. Liczba epok, godziny GPU i rozmiar partii są porównywalne; nieuniknione różnice są podawane.
- Co najmniej trzy uruchomienia dla każdej konfiguracji: wartości pojedyncze, średnia i przedział ufności.
- Ablacje dla każdej zmiany architektury, na tym samym podziale i z tym samym budżetem.
Walidacja i zatrzymany test
Rozwój korzysta wyłącznie ze zbioru walidacyjnego. Zatrzymany test jest używany co najwyżej raz na wydanie, a każde użycie widać na liczniku. Wcześniej inna osoba musi odtworzyć wynik. Automatyzacja eksperymentów nie ma dostępu do zatrzymanego testu.
Jak zgłosić wynik
Zgłoszenia zostaną otwarte później. Zgłoszenie będzie wymagało:
- zadania, wersji kodu, konfiguracji i wersji danych;
- pełnych zapisów uruchomień i warunków obliczeniowych;
- ablacji i znanych ograniczeń;
- licencji i pochodzenia materiałów.
Wyniki pojawią się w rankingu oraz w dzienniku eksperymentów.