À quoi sert le benchmark
Le benchmark permet de comparer les modèles de façon équitable et reproductible. C’est une comparaison d’ingénierie, pas une évaluation clinique. Il n’y a pas encore de résultats.
Tâches : segmentation des instruments et de l’anatomie, reconnaissance des phases chirurgicales, segmentation 3D et suppression de la fumée. Chaque tâche a ses propres métriques, et nous ne les réduisons pas à un « score global » unique.
Les mêmes conditions pour tous
- Découpages par patient. Les images d’une même opération ne peuvent jamais figurer à la fois dans l’entraînement et dans l’évaluation.
- Budget égal. Les époques, les heures de GPU et la taille de lot sont comparables ; les écarts inévitables sont indiqués.
- Au moins trois exécutions par configuration : valeurs individuelles, moyenne et intervalle de confiance.
- Ablations pour tout changement d’architecture, sur le même découpage et avec le même budget.
Validation et test réservé
Le développement n’utilise que le jeu de validation. Le test réservé est utilisé au plus une fois par version, et chaque utilisation apparaît sur un compteur. Auparavant, une autre personne doit reproduire le résultat. L’automatisation des expériences n’a pas accès au test réservé.
Comment soumettre un résultat
Les soumissions ouvriront plus tard. Une soumission devra comporter :
- la tâche, la version du code, la configuration et la version des données ;
- les enregistrements complets des exécutions et les conditions de calcul ;
- les ablations et les limites connues ;
- les licences et l’origine des matériaux.
Les résultats apparaîtront dans le classement et dans le journal d’expériences.