Un experimento útil no tiene por qué ganar
Un cambio de arquitectura que no mejoró un modelo puede responder igualmente a una pregunta importante: acotar la búsqueda, mostrar un compromiso de cómputo o refutar una suposición equivocada. Si solo se publican los éxitos, los lectores ven una historia seleccionada en lugar de cómo fue de verdad la investigación.
Por eso publicamos los resultados negativos con el mismo detalle que los positivos: la hipótesis, el cambio, la partición, cada ejecución, las condiciones de cómputo y la conclusión. Estarán junto a los exitosos en el registro de experimentos.
Negativo, no concluyente e inacabado son cosas distintas
- Negativo – no se encontró mejora en las condiciones indicadas.
- No concluyente – no hay pruebas suficientes para una conclusión.
- Inacabado – el trabajo previsto aún no se ha hecho.
Si el cómputo se agotó antes de terminar todas las ejecuciones necesarias, no se puede escribir «sin efecto». La serie se marca como inacabada.
Y la conclusión no debe estirarse: que un cambio falle en una partición no demuestra que el enfoque sea inútil en todas partes.
Mejores preguntas que «¿quién ganó?»
- ¿Fue justa la comparación?
- ¿Se ve la incertidumbre?
- ¿Podrían explicarse los mismos datos de otra manera?
- ¿Qué debería cambiar en el próximo experimento?
Estas preguntas convierten un fracaso en material didáctico, pero no convierten una métrica de ingeniería en una conclusión clínica. Lee más sobre el benchmark y la vía de educación.