Co będzie zawierać karta modelu
Nie opublikowano jeszcze żadnych modeli. Każdy będzie miał Model Card, w której podane będą:
- zadanie, pierwotna architektura i to, co zmieniono;
- na jakich danych trenowano model i jakie ograniczenia licencyjne z tego wynikają;
- wyniki każdego uruchomienia, z przedziałami ufności;
- w przypadku szybkości – sprzęt, rozmiar wejścia i precyzja numeryczna;
- jak odtworzyć wynik.
Liczba bez zbioru danych i podziału nic nie mówi, więc model bez tych informacji nie trafi do katalogu.
Ablacje są obowiązkowe
Jeśli zmieniono architekturę, trzeba pokazać, co wniosła każda zmiana. Model bez tych kontroli (ablacji) jest oznaczany jako „brak ablacji – niekwalifikuje się do benchmarku”.
Licencja kodu nie obejmuje automatycznie wag: podlegają one najbardziej restrykcyjnemu ograniczeniu spośród użytych danych.