Liczba to dopiero początek pytania
Metrykę łatwo zacytować i trudno sprawdzić. Którzy pacjenci byli w zbiorze testowym? Czy budżet treningu był taki sam? Czy to typowe uruchomienie, czy najlepsze z kilku? Bez odpowiedzi inny badacz nie wie, co ta liczba naprawdę pokazuje.
Dlatego w OpenSurgicalVision zapis eksperymentu znaczy więcej niż nagłówek. Jednostką postępu jest hipoteza powiązana z wersją danych, stałym podziałem, konfiguracją, pełnymi zapisami uruchomień i wnioskiem wraz z jego ograniczeniami.
Co jest potrzebne, by powtórzyć eksperyment
Dobra karta eksperymentu odpowiada na pytania:
- co się zmieniło, a co pozostało takie samo;
- jakich danych i zgód użyto;
- ile mocy obliczeniowej zajęło;
- które uruchomienia się zakończyły, a które nie;
- jak powtórzyć porównanie, nie pytając autora.
Z tego samego powodu walidacja i zatrzymany test pełnią różne role. Jeśli model ciągle dostrajasz do zbioru testowego, przestaje on być niezależną kontrolą. Dlatego w benchmarku dostęp do testu jest ograniczony i widoczny dla wszystkich.
Opis środowiska także należy do wyniku. Niepodana wersja biblioteki albo ręczny krok przygotowania mogą znaczyć więcej niż niewielka różnica w metryce.
Od czego zacząć
Możesz pomóc już teraz. Przeczytaj instrukcję instalacji oczami nowicjusza, znajdź jedno niewypowiedziane założenie i zaproponuj doprecyzowanie. Zacznij od ścieżki dokumentacji lub zajrzyj do dziennika eksperymentów.