Qué contendrá la ficha de un modelo
Todavía no se ha publicado ningún modelo. Cada uno vendrá con una Model Card que indicará:
- la tarea, la arquitectura original y qué se cambió;
- con qué datos se entrenó y las limitaciones de licencia que de ello se derivan;
- los resultados de cada ejecución, con intervalos de confianza;
- para la velocidad, el hardware, el tamaño de entrada y la precisión numérica;
- cómo reproducir el resultado.
Un número sin conjunto de datos ni partición no dice nada, así que un modelo sin esta información no entrará en el catálogo.
Las ablaciones son obligatorias
Si se modifica una arquitectura, debemos mostrar qué aportó cada cambio. Un modelo sin estas comprobaciones (ablaciones) se marca como «sin ablación: no apto para el benchmark».
Una licencia de código no cubre automáticamente los pesos: estos siguen la restricción más estricta de los datos utilizados.