Una cifra es solo el comienzo de una pregunta
Una métrica es fácil de citar y difícil de comprobar. ¿Qué pacientes estaban en el conjunto de prueba? ¿Fue igual el presupuesto de entrenamiento? ¿Es una ejecución típica o la mejor de varias? Sin respuestas, otra persona investigadora no puede saber qué muestra realmente la cifra.
Por eso, en OpenSurgicalVision, el registro del experimento importa más que el titular. La unidad de progreso es una hipótesis vinculada a una versión de los datos, una partición fija, una configuración, registros completos de las ejecuciones y una conclusión con sus límites.
Qué hace falta para repetir un experimento
Una buena ficha de experimento responde:
- qué cambió y qué se mantuvo igual;
- qué datos y permisos se usaron;
- cuánto cómputo se necesitó;
- qué ejecuciones terminaron y cuáles no;
- cómo repetir la comparación sin preguntar a quien la hizo.
Por la misma razón, la validación y el conjunto de prueba reservado cumplen funciones distintas. Si sigues ajustando un modelo al conjunto de prueba, deja de ser una comprobación independiente. Por eso, en el benchmark el acceso a la prueba es limitado y visible para todos.
La descripción del entorno también forma parte del resultado. La versión de una biblioteca sin indicar o un paso de preparación manual pueden importar más que una pequeña diferencia en una métrica.
Por dónde empezar
Puedes ayudar ahora mismo. Lee una guía de instalación como si fueras una persona recién llegada, encuentra una suposición sin explicar y propón una aclaración. Empieza por la vía de documentación o consulta el registro de experimentos.