Para qué sirve el benchmark
El benchmark permite comparar modelos de forma justa y reproducible. Es una comparación de ingeniería, no una evaluación clínica. Todavía no hay resultados.
Tareas: segmentación de instrumentos y anatomía, reconocimiento de fases quirúrgicas, segmentación 3D y eliminación de humo. Cada tarea tiene sus propias métricas, y no las reducimos a una única «puntuación global».
Las mismas condiciones para todos
- Particiones por paciente. Los fotogramas de una misma operación nunca pueden estar a la vez en el entrenamiento y en la evaluación.
- Presupuesto igual. Las épocas, las horas de GPU y el tamaño de lote son comparables; las diferencias inevitables se indican.
- Al menos tres ejecuciones por configuración: valores individuales, la media y un intervalo de confianza.
- Ablaciones para cualquier cambio de arquitectura, con la misma partición y el mismo presupuesto.
Validación y prueba reservada
El desarrollo usa solo el conjunto de validación. El conjunto de prueba reservado se usa como máximo una vez por versión, y cada uso queda reflejado en un contador. Antes, otra persona debe reproducir el resultado. La automatización de experimentos no tiene acceso al conjunto de prueba reservado.
Cómo enviar un resultado
Los envíos se abrirán más adelante. Un envío necesitará:
- la tarea, la versión del código, la configuración y la versión de los datos;
- registros completos de las ejecuciones y las condiciones de cómputo;
- ablaciones y limitaciones conocidas;
- licencias y origen de los materiales.
Los resultados aparecerán en la clasificación y en el registro de experimentos.