O que a ficha de um modelo conterá
Nenhum modelo foi publicado ainda. Cada um virá com um Model Card que informará:
- a tarefa, a arquitetura original e o que foi alterado;
- com quais dados foi treinado e as limitações de licença que decorrem disso;
- os resultados de cada execução, com intervalos de confiança;
- para a velocidade, o hardware, o tamanho da entrada e a precisão numérica;
- como reproduzir o resultado.
Um número sem conjunto de dados e divisão não diz nada, então um modelo sem essas informações não entrará no catálogo.
As ablações são obrigatórias
Se uma arquitetura é modificada, precisamos mostrar o que cada mudança contribuiu. Um modelo sem essas verificações (ablações) é marcado como «sem ablação: inelegível para o benchmark».
Uma licença de código não cobre automaticamente os pesos: eles seguem a restrição mais rigorosa entre os dados utilizados.