Что будет в карточке модели
Опубликованных моделей пока нет. Каждая модель выйдет с карточкой (Model Card), где указано:
- задача и исходная архитектура, что изменено;
- на каких данных обучена и с какими ограничениями лицензий;
- результаты всех прогонов с доверительными интервалами;
- для скорости – оборудование, размер входа и точность вычислений;
- как воспроизвести результат.
Число без датасета и разбиения ничего не говорит, поэтому без этих сведений модель в каталог не попадёт.
Абляции обязательны
Если в архитектуру внесены изменения, нужно показать, какое из них что дало. Модель без таких проверок (абляций) получает отметку «нет абляций – в бенчмарк не допускается».
Лицензия кода не распространяется автоматически на веса: для них действует самое строгое ограничение из использованных данных.