M1: синтетические инструменты против реальной разметки – гипотеза отвергнута
Может ли сегментация инструментов, обученная только на отрендеренных грасперах и L-образных крючках, сравняться с той же моделью на реальной разметке? Не может. На 7 отложенных видео CholecSeg8k модель на одной синтетике набирает IoU 0,116, а модель на реальной разметке – 0,772. 95-процентный интервал разницы, от −75,9 до −53,5 пункта, лежит далеко за допуском в 2 пункта, зафиксированным заранее.
- Синтетика, затем 10 % реальных кадров: 0,775 – столько же, сколько со всей реальной разметкой. Без контрольного варианта это не показывает, что даёт синтетический шаг.
- Дисциплина теста: по 3 начальных состояния на вариант; каждая выбранная модель прогнана на тесте один раз.
Статус: гипотеза отвергнута. Подробности, открытые вопросы и следующие эксперименты – в заметке «Могут ли синтетические инструменты заменить реальную разметку?»
M5: удаление хирургического дыма – серия не завершена
Первые обученные модели восстанавливают чистый лапароскопический кадр по задымлённому. Они обучены на синтетическом дыме поверх кадров CholecT50 с разбиением по видео, и каждая сравнивается с задымлённым кадром без обработки.
- Residual U-Net: PSNR 33,08 дБ против 28,99 у входа (+4,09); лучше входа при любой плотности дыма.
- Pix2Pix: 27,85 дБ (−1,14); портит кадры с лёгким дымом.
- SRGAN: не сошёлся за три попытки.
Статус: не завершена. Это одно начальное состояние на валидационном разбиении; тестовую выборку не трогали, ни одна модель не опубликована. Отрицательные результаты – обучение на вырезках и три попытки SRGAN – описаны в заметке «Удаление хирургического дыма: первые базовые модели».
Как устроен журнал
Первая серия – базовые модели удаления дыма выше – станет точкой отсчёта для следующих экспериментов. Каждый эксперимент будет сравнивать изменение архитектуры с базовой моделью при одинаковых условиях:
- фиксированное разбиение данных по пациентам;
- одинаковый вычислительный бюджет;
- минимум три полных прогона с разными начальными состояниями.
Карточка эксперимента связывает гипотезу, изменение, версию данных, результаты каждого прогона, неопределённость и вывод.
Отрицательные результаты на равных
Неудачные и неоднозначные эксперименты публикуются рядом с удачными. Незавершённая серия так и помечается – её нельзя выдавать за доказательство того, что эффекта нет.
Демонстрации
Короткий ролик к эксперименту появится, только если исходные материалы разрешено показывать, в ролике указан идентификатор прогона и публикацию одобрил человек. Иллюстрации на сайте – не результаты экспериментов.