Użyteczny eksperyment nie musi wygrywać
Zmiana architektury, która nie poprawiła modelu, wciąż może odpowiedzieć na ważne pytanie: zawęzić poszukiwania, pokazać kompromis obliczeniowy albo obalić błędne założenie. Jeśli publikuje się tylko sukcesy, czytelnicy widzą wyselekcjonowaną opowieść zamiast tego, jak badania naprawdę przebiegały.
Dlatego wyniki negatywne publikujemy równie szczegółowo jak pozytywne: hipotezę, zmianę, podział, każde uruchomienie, warunki obliczeniowe i wniosek. Będą stać obok udanych w dzienniku eksperymentów.
Negatywne, niejednoznaczne i niedokończone to różne rzeczy
- Negatywne – w podanych warunkach nie znaleziono poprawy.
- Niejednoznaczne – dowodów nie wystarcza na wniosek.
- Niedokończone – zaplanowana praca nie została jeszcze wykonana.
Jeśli moc obliczeniowa skończyła się przed zakończeniem wszystkich potrzebnych uruchomień, nie wolno pisać „brak efektu”. Serię oznacza się jako niedokończoną.
Wniosku też nie należy naciągać: to, że jedna zmiana zawodzi na jednym podziale, nie dowodzi, że podejście jest bezużyteczne wszędzie.
Lepsze pytania niż „kto wygrał?”
- Czy porównanie było uczciwe?
- Czy niepewność jest widoczna?
- Czy te same dane dałoby się wyjaśnić inaczej?
- Co zmienić w następnym eksperymencie?
Te pytania zamieniają porażkę w materiał dydaktyczny, ale nie zamieniają metryki inżynierskiej we wniosek kliniczny. Więcej o benchmarku i o ścieżce edukacji.