Une expérience utile n’a pas besoin de gagner
Un changement d’architecture qui n’a pas amélioré un modèle peut tout de même répondre à une question importante : restreindre la recherche, montrer un compromis de calcul ou réfuter une hypothèse erronée. Si seuls les succès sont publiés, les lecteurs voient une histoire triée sur le volet plutôt que le véritable déroulement de la recherche.
C’est pourquoi nous publions les résultats négatifs avec le même niveau de détail que les positifs : l’hypothèse, le changement, le découpage, chaque exécution, les conditions de calcul et la conclusion. Ils figureront à côté des réussites dans le journal d’expériences.
Négatif, non concluant et inachevé sont des choses différentes
- Négatif – aucune amélioration n’a été constatée dans les conditions indiquées.
- Non concluant – les preuves ne suffisent pas pour conclure.
- Inachevé – le travail prévu n’a pas encore été fait.
Si le calcul a manqué avant la fin de toutes les exécutions nécessaires, on ne peut pas écrire « aucun effet ». La série est marquée comme inachevée.
Et la conclusion ne doit pas être étirée : un changement qui échoue sur un découpage ne prouve pas que l’approche est inutile partout.
De meilleures questions que « qui a gagné ? »
- La comparaison était-elle équitable ?
- L’incertitude est-elle visible ?
- Les mêmes données pourraient-elles s’expliquer autrement ?
- Que faut-il changer dans la prochaine expérience ?
Ces questions transforment un échec en matériel pédagogique, mais elles ne transforment pas une métrique d’ingénierie en conclusion clinique. En savoir plus sur le benchmark et la voie éducation.