Полезный эксперимент не обязательно побеждает
Изменение архитектуры, которое не улучшило модель, всё равно может ответить на важный вопрос: сузить круг поиска, показать цену в вычислениях или опровергнуть неверное допущение. Если публиковать только удачи, читатель видит отобранную историю, а не реальный ход исследования.
Поэтому мы публикуем отрицательные результаты так же подробно, как положительные: гипотеза, изменение, разбиение, все прогоны, условия вычислений и вывод. Они будут в журнале экспериментов рядом с удачными.
Отрицательный, неопределённый, незавершённый – это разное
- Отрицательный – улучшения не обнаружено при заданных условиях.
- Неопределённый – данных недостаточно для вывода.
- Незавершённый – запланированная работа ещё не сделана.
Если вычисления остановились раньше, чем прошли все нужные прогоны, нельзя написать «эффекта нет». Такая серия помечается как незавершённая.
И важно не расширять вывод: неудача одного изменения на одном разбиении не доказывает, что подход бесполезен везде.
Лучшие вопросы, чем «кто победил»
- Было ли сравнение честным?
- Видна ли неопределённость?
- Можно ли объяснить результат иначе?
- Что изменить в следующем эксперименте?
Эти вопросы превращают неудачу в учебный материал – но не превращают инженерную метрику в клинический вывод. Подробнее – в бенчмарке и образовательном направлении.