Модели проекта пронумерованы от M1 до M5. Каждая отвечает на один вопрос об операции: где инструменты, где анатомия, какая сейчас фаза, как выглядят органы в 3D до начала операции и что скрыто за дымом. Лекция разбирает их по очереди: вход, выход, данные, метрика, архитектура для старта и честный статус. Это лекция 7 учебной программы, после лекции 6 о предобработке.
Все изображения на этой странице синтетические или нарисованы кодом. Все пять задач исследовательские: RESEARCH USE ONLY – NOT FOR CLINICAL USE, и ни одна модель не выпущена.
| Задача | Выход | Открытые данные | Основная метрика | Архитектура для старта | Статус |
|---|---|---|---|---|---|
| M1 инструменты | маска каждой части или типа инструмента | CholecSeg8k, EndoVis 2017 | IoU, Dice, F1 по границе | nnU-Net 2D или Mask2Former; DeepLabV3 в RFC 0001 | эксперимент завершён |
| M2 анатомия | маска каждой структуры | CholecSeg8k, Endoscapes | IoU и Dice по классам | дообученный SAM 2 | запланирована |
| M3 фазы | фаза для каждого кадра | Cholec80, CholecT50 | доля верных, F1 по фазам | TeCNO, временная свёрточная сеть | запланирована |
| M4 3D-органы | 3D-маска каждого органа и сосуда | TotalSegmentator | Dice, расстояние между поверхностями | nnU-Net 3D, TotalSegmentator | запланирована |
| M5 дым | чистый кадр | синтетический дым на CholecT50 | PSNR, SSIM | остаточная U-Net | первые базовые модели |
Архитектуры – это отправные точки, названные в osv/models, а не решения. Метрики разобраны на странице метрик, архитектуры – на инженерных страницах.
M1. Сегментация инструментов
M1 находит каждый пиксель, принадлежащий инструменту, и говорит, что это. Разметка бывает трёх уровней подробности, тех же, что в соревновании EndoVis 2017 (Allan и соавт., 2019):
- бинарная: инструмент или нет;
- по типу: зажим, крючок, ножницы, клипатор;
- по частям: стержень, шарнир и бранши.
Уровни отвечают на разные вопросы. Бинарной маски достаточно, чтобы знать, что что-то мешает. Тип говорит, что делает хирург. Бранши – то, что касается ткани, поэтому именно за ними должно следить предупреждение о близости, а стержень лишь проходит через поле зрения.
EndoVis 2017 размечает части роботических инструментов da Vinci на операциях на свиньях. CholecSeg8k размечает два типа инструментов, зажим и L-крючок, без частей. Поэтому для M1 по частям лапароскопических инструментов нужна разметка, которой в открытых данных пока нет.
Где она сейчас. Первый эксперимент M1, RFC 0001, проверял, могут ли отрендеренные инструменты заменить реальную разметку для бинарной маски зажима и крючка. На семи реальных тестовых видео DeepLabV3-ResNet50, обученная на реальной разметке, получила IoU 0,772, а та же модель только на синтетических инструментах – 0,116. Гипотеза отвергнута, и результат опубликован вместе с отрицательной частью.
M2. Сегментация анатомии
M2 очерчивает анатомию холецистэктомии: желчный пузырь, печень, гепатодуоденальную связку и прежде всего две критические структуры – пузырный проток и пузырную артерию. Пересечение не того протока повреждает общий желчный проток – одно из самых тяжёлых осложнений этой операции. Защита хирурга – критический взгляд безопасности (CVS), описанный на странице о холецистэктомии. Прежде чем что-то клипировать, должно быть видно, что в желчный пузырь входят ровно две структуры – пузырный проток и пузырная артерия. Модель, которая надёжно находит эти две структуры, однажды могла бы помочь проверять этот взгляд.
Данных мало именно там, где они важнее всего:
- CholecSeg8k среди 13 классов имеет печень, желчный пузырь и пузырный проток. Пузырный проток есть на 241 кадре из 8080, а пузырной артерии нет вовсе.
- Endoscapes (Murali и соавт., 2023) размечает желчный пузырь, пузырный проток, пузырную артерию, пузырную площадку и рассечённый гепатоцистный треугольник. Маски сегментации есть для 493 кадров из 50 видео из 201, а оценки CVS тремя экспертами – для 11 090 кадров.
- Гепатодуоденальная связка не размечена ни там, ни там.
Какие структуры сегментирует M2 и где кончается одна и начинается другая, решает клинический руководитель (правило R-14), а не инженер. Реестр называет отправной точкой дообученный SAM 2 – модель, чьи промпты и память разобраны в лекции 3.
M3. Распознавание фаз
M3 называет фазу операции в каждый момент. Cholec80 определяет семь фаз, каждая разобрана на странице о холецистэктомии: подготовка, диссекция треугольника Кало, клипирование и пересечение, выделение желчного пузыря, упаковка желчного пузыря, промывание и коагуляция, извлечение желчного пузыря. Клипирование и пересечение там – одна фаза, а желчный пузырь извлекают в последней.
Отдельный кадр часто неоднозначен: диссекция выглядит одинаково в фазе 2 и в фазе 4. Разрешает это порядок событий, поэтому M3 – модель последовательностей. В стиле TeCNO (Czempiel и соавт., 2020) 2D-сеть превращает каждый кадр в вектор признаков, а временная свёрточная сеть читает их последовательность.
Каузальная значит, что предсказание в момент t использует только кадры до t, и модель может работать во время операции. Расширенная значит, что промежутки между кадрами, которые объединяет слой, удваиваются от слоя к слою, и взгляд в прошлое растёт экспоненциально с глубиной:
С ядрами размера 3 и 10 слоями один выход видит 2047 кадров – больше получаса при одном кадре в секунду.
Почему важно время, на игрушке: десятиминутная операция с придуманными длительностями фаз и посекундный классификатор, который прав в трёх случаях из четырёх.
- по секундам: доля верных · смен фазы
- –
- сглажено: доля верных · смен фазы
- –
Настоящая операция меняет фазу 6 раз. Сырой классификатор мерцает около 240 раз. Голосование большинством по окну убирает мерцание; онлайн оно к тому же опаздывает к каждой настоящей смене, а слишком длинное окно стирает короткие фазы. Обученная временная сеть учится этому компромиссу, а не фиксирует одно окно. Доля верных скрывает мерцание, поэтому для фаз сообщают ещё F1 или Jaccard по каждой фазе.
M4. Предоперационная 3D-сегментация
M4 работает до операции, на КТ или МРТ: 3D-маска каждого органа и сосуда, по которой хирург может увидеть печень, желчный пузырь и сосуды конкретного пациента. Отправные точки – nnU-Net (Isensee и соавт.), которая сама настраивает 3D U-Net по датасету, и TotalSegmentator – nnU-Net, обученная на более чем тысяче КТ. Подготовка данных – лекция 6; инференс скользящим окном и 3D-архитектуры – на странице об объёмах. Dice говорит, какая доля органа верна, а расстояния между поверхностями – насколько смещён его край, что для тонкого сосуда важнее.
M4 – единственная задача на снимках, а не на видео, и она приносит с собой 3D-заботы прошлых лекций: деидентификацию лица и заголовка DICOM (лекция 2), разбиение по пациентам, а не по снимкам (лекция 5), и память.
M5. Удаление дыма и восстановление изображения
M5 берёт кадр с дымом и возвращает чистый кадр за ним. Пары для обучения синтетические: дым из Blender, наложенный osv.augment на чистые кадры CholecT50, как описано в лекции 4. Метрики – PSNR и SSIM относительно чистого кадра, всегда рядом с оценкой самого входа с дымом.
Где она сейчас. На 518 синтетических парах валидации остаточная U-Net получила 33,08 дБ PSNR против 28,99 дБ у входа; Pix2Pix – 27,85 дБ, и она портит кадры с лёгким дымом; SRGAN не сошлась за три попытки. Это один seed на валидации, тест не тронут, ни одна модель не выпущена, и на реальном дыме это не измерялось (журнал экспериментов). Восстановленный кадр не должен выдумывать анатомию: модель, которая рисует правдоподобную ткань там, где был дым, хуже, чем никакой.
Что объединяет задачи
- Одни правила. Разбиение по пациентам, тест, которого касаются один раз, не меньше трёх seed и карточка модели до любого выпуска.
- Общие данные. M1, M2 и M3 могут учиться на одних и тех же видео, а M5 могла бы очищать кадры до того, как их увидят остальные.
- Клиническая власть. Что считать классом или фазой, решает клинический руководитель – для каждой задачи.
Чек-лист
- Знайте, какой задаче служит ваша работа и каковы её вход и выход.
- Прежде чем планировать модель, проверьте, есть ли в открытых данных нужная задаче разметка.
- Сообщайте основную метрику задачи рядом с её базовой линией: вход с дымом для M5, покадровая модель для M3.
- Определения классов и фаз оставляйте клиническому руководителю.
Что почитать
- Журнал экспериментов проекта и карточки моделей M1 и M5.
- Allan и соавт. 2017 Robotic Instrument Segmentation Challenge. 2019.
- Murali и соавт. The Endoscapes Dataset for Surgical Scene Segmentation, Object Detection, and Critical View of Safety Assessment. 2023.
- Czempiel и соавт. TeCNO: Surgical Phase Recognition with Multi-Stage Temporal Convolutional Networks. MICCAI 2020.
- Isensee и соавт. nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation. 2018.