Ein nützliches Experiment muss nicht gewinnen
Eine Architekturänderung, die ein Modell nicht verbessert hat, kann dennoch eine wichtige Frage beantworten: die Suche eingrenzen, einen Rechenaufwand-Kompromiss aufzeigen oder eine falsche Annahme widerlegen. Wenn nur Erfolge veröffentlicht werden, sehen die Lesenden eine kuratierte Geschichte statt dessen, wie die Forschung wirklich verlaufen ist.
Deshalb veröffentlichen wir negative Ergebnisse mit demselben Detailgrad wie positive: die Hypothese, die Änderung, die Aufteilung, jeden Lauf, die Rechenbedingungen und den Schluss. Sie stehen im Experimentprotokoll neben den erfolgreichen.
Negativ, nicht eindeutig und unvollendet sind verschiedene Dinge
- Negativ – unter den genannten Bedingungen wurde keine Verbesserung gefunden.
- Nicht eindeutig – die Belege reichen für einen Schluss nicht aus.
- Unvollendet – die geplante Arbeit ist noch nicht erledigt.
Ist die Rechenleistung ausgegangen, bevor alle nötigen Läufe abgeschlossen waren, darf man nicht „kein Effekt“ schreiben. Die Reihe wird als unvollendet markiert.
Und der Schluss darf nicht überdehnt werden: Dass eine Änderung auf einer Aufteilung scheitert, beweist nicht, dass der Ansatz überall nutzlos ist.
Bessere Fragen als „Wer hat gewonnen?“
- War der Vergleich fair?
- Ist die Unsicherheit sichtbar?
- Ließen sich dieselben Daten anders erklären?
- Was sollte sich im nächsten Experiment ändern?
Diese Fragen machen aus einem Misserfolg Lehrmaterial – aber sie machen aus einer technischen Metrik keinen klinischen Schluss. Mehr zum Benchmark und zum Bildungsbereich.