Chaque étape est une question de recherche
Les illustrations ci-dessous montrent la séquence : un modèle 3D avant l’opération, des masques sur la vidéo pendant l’opération, une chronologie après. Chaque étape est un problème de recherche distinct, avec ses propres données, autorisations et évaluation. Ce n’est pas un système clinique opérationnel.
Outils :
- la vidéo est annotée dans CVAT, avec des suggestions du modèle SAM 2 ;
- les examens volumétriques (scanner, IRM) dans 3D Slicer et MONAI Label.
La qualité d’abord, le volume ensuite
Le responsable clinique approuve les définitions de classes, les règles pour les cas peu clairs et les décisions en cas de désaccord. Nous vérifions dans quelle mesure les experts s’accordent entre eux :
- 10 % des images sont annotées indépendamment par plusieurs personnes ;
- l’accord est mesuré par le κ de Cohen ou de Fleiss, le recouvrement des masques par Dice et IoU ;
- seuils visés : κ ≥ 0,70 et Dice moyen ≥ 0,80.
Lorsque les experts ne sont pas d’accord, nous clarifions la directive ou signalons explicitement l’incertitude au lieu de faire discrètement une moyenne. Les désaccords récurrents déclenchent une nouvelle version de la directive.
Se prémunir contre la confiance aveugle dans les suggestions
Une suggestion automatique peut infléchir discrètement le jugement de l’annotateur. Nous :
- fournissons 10 % des images sans suggestions, mêlées aux autres ;
- comparons le travail d’une même personne avec et sans suggestions, à au moins deux semaines d’écart ;
- surveillons la proportion de masques acceptés sans la moindre retouche et les séances anormalement rapides.
Si un problème apparaît, les suggestions pour cette classe sont désactivées jusqu’à examen.
Vitesse : un objectif, pas un résultat
L’objectif est au plus 30 à 50 ms par image et au moins 30 images par seconde. C’est une cible, pas une mesure. Les futurs rapports de vitesse indiqueront le matériel, la taille d’entrée, la précision numérique et la latence p50/p95/p99.