Un chiffre n’est que le début d’une question
Une métrique est facile à citer et difficile à vérifier. Quels patients figuraient dans le jeu de test ? Le budget d’entraînement était-il le même ? S’agit-il d’une exécution typique ou de la meilleure de plusieurs ? Sans réponses, un autre chercheur ne peut pas savoir ce que le chiffre montre réellement.
C’est pourquoi, chez OpenSurgicalVision, le dossier de l’expérience compte plus que le titre. L’unité de progrès est une hypothèse reliée à une version des données, un découpage fixe, une configuration, les enregistrements complets des exécutions et une conclusion assortie de ses limites.
Ce qu’il faut pour répéter une expérience
Une bonne fiche d’expérience indique :
- ce qui a changé et ce qui est resté identique ;
- quelles données et quelles autorisations ont été utilisées ;
- combien de calcul a été nécessaire ;
- quelles exécutions sont allées au bout et lesquelles non ;
- comment répéter la comparaison sans interroger l’auteur.
Pour la même raison, la validation et le test réservé jouent des rôles différents. Si vous continuez à ajuster un modèle sur le jeu de test, celui-ci cesse d’être un contrôle indépendant. C’est pourquoi, dans le benchmark, l’accès au test est limité et visible de tous.
La description de l’environnement fait aussi partie du résultat. Une version de bibliothèque non précisée ou une étape de préparation manuelle peut compter davantage qu’un faible écart sur une métrique.
Par où commencer
Vous pouvez aider dès maintenant. Lisez un guide d’installation comme un nouvel arrivant, repérez une hypothèse implicite et proposez une clarification. Commencez par la voie documentation ou consultez le journal d’expériences.