Для чего бенчмарк
Бенчмарк нужен, чтобы модели можно было сравнивать честно и воспроизводимо. Это инженерное сравнение, а не клиническая оценка. Результатов пока нет.
Задачи: сегментация инструментов и анатомии, распознавание этапов операции, трёхмерная сегментация и удаление дыма. У каждой задачи свои метрики, и мы не сводим их в один «общий балл».
Одинаковые условия
- Разбиение по пациентам. Кадры одной операции не могут оказаться одновременно в обучении и в проверке.
- Равный бюджет. Эпохи, GPU-часы и размер пакета сопоставимы; неизбежные различия указываются.
- Три прогона минимум для каждой конфигурации: отдельные значения, среднее и доверительный интервал.
- Абляции для любых изменений архитектуры – на том же разбиении и бюджете.
Валидация и закрытый тест
Во время разработки используется только валидационная выборка. К закрытому (held-out) тесту обращаются не чаще одного раза на выпуск, и каждое обращение видно на счётчике. Перед этим результат должен воспроизвести другой человек. Автоматизация экспериментов к закрытому тесту доступа не имеет.
Как подать результат
Приём заявок откроется позже. Заявка должна будет содержать:
- задачу, версию кода, конфигурацию и версию данных;
- полные записи прогонов и условия вычислений;
- абляции и известные ограничения;
- лицензии и происхождение материалов.
Результаты появятся в лидерборде и журнале экспериментов.