Was eine Model Card enthalten wird
Es sind noch keine Modelle veröffentlicht. Jedes kommt mit einer Model Card, die Folgendes angibt:
- die Aufgabe, die ursprüngliche Architektur und was geändert wurde;
- auf welchen Daten es trainiert wurde und welche Lizenzeinschränkungen sich daraus ergeben;
- die Ergebnisse jedes Laufs, mit Konfidenzintervallen;
- bei der Geschwindigkeit die Hardware, die Eingabegröße und die numerische Genauigkeit;
- wie sich das Ergebnis reproduzieren lässt.
Eine Zahl ohne Datensatz und Aufteilung sagt nichts aus, deshalb wird ein Modell ohne diese Angaben nicht in den Katalog aufgenommen.
Ablationen sind Pflicht
Wird eine Architektur verändert, muss gezeigt werden, was jede Änderung beigetragen hat. Ein Modell ohne diese Prüfungen (Ablationen) wird als „keine Ablation – nicht benchmarkfähig“ gekennzeichnet.
Eine Code-Lizenz deckt die Gewichte nicht automatisch ab: Sie folgen der strengsten Einschränkung unter den verwendeten Daten.