Число – это только начало вопроса
Метрику легко процитировать и трудно проверить. Какие пациенты попали в тест? Был ли одинаковым бюджет обучения? Это типичный прогон или самый удачный из нескольких? Без ответов другой исследователь не поймёт, что на самом деле показывает число.
Поэтому в OpenSurgicalVision запись эксперимента важнее заголовка. Единица прогресса – гипотеза, связанная с версией данных, фиксированным разбиением, конфигурацией, полными записями прогонов и выводом с ограничениями.
Что нужно, чтобы эксперимент можно было повторить
Хорошая карточка эксперимента отвечает на вопросы:
- что изменилось, а что осталось прежним;
- какие данные и разрешения использованы;
- сколько понадобилось вычислений;
- какие прогоны завершились, а какие нет;
- как повторить сравнение, не спрашивая автора.
По той же причине валидация и закрытый тест решают разные задачи. Если постоянно подбирать модель под тестовый набор, он перестаёт быть независимой проверкой. Поэтому в бенчмарке доступ к тесту ограничен и виден всем.
Описание окружения – тоже часть результата. Неуказанная версия библиотеки или ручной шаг подготовки может значить больше, чем небольшая разница в метрике.
С чего начать
Помогать можно уже сейчас. Прочитайте инструкцию глазами новичка, найдите одно неявное условие и предложите уточнение. Начните с трека документации или загляните в журнал экспериментов.