ЛЕКЦИЯ 7

Лекция 7. Задачи проекта M1–M5

Пять задач OpenSurgicalVision: части инструментов (M1), анатомия и критические структуры (M2), фазы операции (M3), 3D-органы и сосуды до операции (M4) и удаление дыма (M5). Что каждая получает на входе и выдаёт на выходе, какие данные и метрики использует и где находится сегодня. Со схемами, формулой, интерактивными примерами и 3D-анимациями.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Модели проекта пронумерованы от M1 до M5. Каждая отвечает на один вопрос об операции: где инструменты, где анатомия, какая сейчас фаза, как выглядят органы в 3D до начала операции и что скрыто за дымом. Лекция разбирает их по очереди: вход, выход, данные, метрика, архитектура для старта и честный статус. Это лекция 7 учебной программы, после лекции 6 о предобработке.

Все изображения на этой странице синтетические или нарисованы кодом. Все пять задач исследовательские: RESEARCH USE ONLY – NOT FOR CLINICAL USE, и ни одна модель не выпущена.

кадр видеово время операциивидеопоследовательность кадровКТ или МРТдо операцииM1 · инструментыбранши, стержни, шарнирыесть результатыM2 · анатомияпузырь, проток, артериязапланированоM5 · удаление дымачистый кадресть результатыM3 · фазыфаза для каждого кадразапланированоM4 · 3D-органыи сосудызапланировано
Три входа, пять задач. У синих блоков есть результаты; серые запланированы.
Задача Выход Открытые данные Основная метрика Архитектура для старта Статус
M1 инструменты маска каждой части или типа инструмента CholecSeg8k, EndoVis 2017 IoU, Dice, F1 по границе nnU-Net 2D или Mask2Former; DeepLabV3 в RFC 0001 эксперимент завершён
M2 анатомия маска каждой структуры CholecSeg8k, Endoscapes IoU и Dice по классам дообученный SAM 2 запланирована
M3 фазы фаза для каждого кадра Cholec80, CholecT50 доля верных, F1 по фазам TeCNO, временная свёрточная сеть запланирована
M4 3D-органы 3D-маска каждого органа и сосуда TotalSegmentator Dice, расстояние между поверхностями nnU-Net 3D, TotalSegmentator запланирована
M5 дым чистый кадр синтетический дым на CholecT50 PSNR, SSIM остаточная U-Net первые базовые модели

Архитектуры – это отправные точки, названные в osv/models, а не решения. Метрики разобраны на странице метрик, архитектуры – на инженерных страницах.

M1. Сегментация инструментов

M1 находит каждый пиксель, принадлежащий инструменту, и говорит, что это. Разметка бывает трёх уровней подробности, тех же, что в соревновании EndoVis 2017 (Allan и соавт., 2019):

  • бинарная: инструмент или нет;
  • по типу: зажим, крючок, ножницы, клипатор;
  • по частям: стержень, шарнир и бранши.

Уровни отвечают на разные вопросы. Бинарной маски достаточно, чтобы знать, что что-то мешает. Тип говорит, что делает хирург. Бранши – то, что касается ткани, поэтому именно за ними должно следить предупреждение о близости, а стержень лишь проходит через поле зрения.

EndoVis 2017 размечает части роботических инструментов da Vinci на операциях на свиньях. CholecSeg8k размечает два типа инструментов, зажим и L-крючок, без частей. Поэтому для M1 по частям лапароскопических инструментов нужна разметка, которой в открытых данных пока нет.

Где она сейчас. Первый эксперимент M1, RFC 0001, проверял, могут ли отрендеренные инструменты заменить реальную разметку для бинарной маски зажима и крючка. На семи реальных тестовых видео DeepLabV3-ResNet50, обученная на реальной разметке, получила IoU 0,772, а та же модель только на синтетических инструментах – 0,116. Гипотеза отвергнута, и результат опубликован вместе с отрицательной частью.

M2. Сегментация анатомии

M2 очерчивает анатомию холецистэктомии: желчный пузырь, печень, гепатодуоденальную связку и прежде всего две критические структуры – пузырный проток и пузырную артерию. Пересечение не того протока повреждает общий желчный проток – одно из самых тяжёлых осложнений этой операции. Защита хирурга – критический взгляд безопасности (CVS), описанный на странице о холецистэктомии. Прежде чем что-то клипировать, должно быть видно, что в желчный пузырь входят ровно две структуры – пузырный проток и пузырная артерия. Модель, которая надёжно находит эти две структуры, однажды могла бы помочь проверять этот взгляд.

Данных мало именно там, где они важнее всего:

  • CholecSeg8k среди 13 классов имеет печень, желчный пузырь и пузырный проток. Пузырный проток есть на 241 кадре из 8080, а пузырной артерии нет вовсе.
  • Endoscapes (Murali и соавт., 2023) размечает желчный пузырь, пузырный проток, пузырную артерию, пузырную площадку и рассечённый гепатоцистный треугольник. Маски сегментации есть для 493 кадров из 50 видео из 201, а оценки CVS тремя экспертами – для 11 090 кадров.
  • Гепатодуоденальная связка не размечена ни там, ни там.

Какие структуры сегментирует M2 и где кончается одна и начинается другая, решает клинический руководитель (правило R-14), а не инженер. Реестр называет отправной точкой дообученный SAM 2 – модель, чьи промпты и память разобраны в лекции 3.

M3. Распознавание фаз

M3 называет фазу операции в каждый момент. Cholec80 определяет семь фаз, каждая разобрана на странице о холецистэктомии: подготовка, диссекция треугольника Кало, клипирование и пересечение, выделение желчного пузыря, упаковка желчного пузыря, промывание и коагуляция, извлечение желчного пузыря. Клипирование и пересечение там – одна фаза, а желчный пузырь извлекают в последней.

Отдельный кадр часто неоднозначен: диссекция выглядит одинаково в фазе 2 и в фазе 4. Разрешает это порядок событий, поэтому M3 – модель последовательностей. В стиле TeCNO (Czempiel и соавт., 2020) 2D-сеть превращает каждый кадр в вектор признаков, а временная свёрточная сеть читает их последовательность.

кадры1 в секунду2D-сетьна каждый кадрпризнакивектор на кадрTCN, этап 1каузальная, расширеннаяTCN, этап 2уточняет этап 1фазадля каждого кадра
Признаки каждого кадра, затем каузальная расширенная временная сеть в два этапа. Внизу тёмный выход смотрит только в прошлое, через промежутки в 1, 2 и 4 кадра.

Каузальная значит, что предсказание в момент t использует только кадры до t, и модель может работать во время операции. Расширенная значит, что промежутки между кадрами, которые объединяет слой, удваиваются от слоя к слою, и взгляд в прошлое растёт экспоненциально с глубиной:

ŷt=f(x1,…,xt) R=1+(k−1)∑l=0L−12l=1+(k−1)(2L−1) k=3,L=10:R=2047

С ядрами размера 3 и 10 слоями один выход видит 2047 кадров – больше получаса при одном кадре в секунду.

Почему важно время, на игрушке: десятиминутная операция с придуманными длительностями фаз и посекундный классификатор, который прав в трёх случаях из четырёх.

Настоящая операция меняет фазу 6 раз. Сырой классификатор мерцает около 240 раз. Голосование большинством по окну убирает мерцание; онлайн оно к тому же опаздывает к каждой настоящей смене, а слишком длинное окно стирает короткие фазы. Обученная временная сеть учится этому компромиссу, а не фиксирует одно окно. Доля верных скрывает мерцание, поэтому для фаз сообщают ещё F1 или Jaccard по каждой фазе.

M4. Предоперационная 3D-сегментация

M4 работает до операции, на КТ или МРТ: 3D-маска каждого органа и сосуда, по которой хирург может увидеть печень, желчный пузырь и сосуды конкретного пациента. Отправные точки – nnU-Net (Isensee и соавт.), которая сама настраивает 3D U-Net по датасету, и TotalSegmentator – nnU-Net, обученная на более чем тысяче КТ. Подготовка данных – лекция 6; инференс скользящим окном и 3D-архитектуры – на странице об объёмах. Dice говорит, какая доля органа верна, а расстояния между поверхностями – насколько смещён его край, что для тонкого сосуда важнее.

M4 – единственная задача на снимках, а не на видео, и она приносит с собой 3D-заботы прошлых лекций: деидентификацию лица и заголовка DICOM (лекция 2), разбиение по пациентам, а не по снимкам (лекция 5), и память.

M5. Удаление дыма и восстановление изображения

M5 берёт кадр с дымом и возвращает чистый кадр за ним. Пары для обучения синтетические: дым из Blender, наложенный osv.augment на чистые кадры CholecT50, как описано в лекции 4. Метрики – PSNR и SSIM относительно чистого кадра, всегда рядом с оценкой самого входа с дымом.

Где она сейчас. На 518 синтетических парах валидации остаточная U-Net получила 33,08 дБ PSNR против 28,99 дБ у входа; Pix2Pix – 27,85 дБ, и она портит кадры с лёгким дымом; SRGAN не сошлась за три попытки. Это один seed на валидации, тест не тронут, ни одна модель не выпущена, и на реальном дыме это не измерялось (журнал экспериментов). Восстановленный кадр не должен выдумывать анатомию: модель, которая рисует правдоподобную ткань там, где был дым, хуже, чем никакой.

Что объединяет задачи

  • Одни правила. Разбиение по пациентам, тест, которого касаются один раз, не меньше трёх seed и карточка модели до любого выпуска.
  • Общие данные. M1, M2 и M3 могут учиться на одних и тех же видео, а M5 могла бы очищать кадры до того, как их увидят остальные.
  • Клиническая власть. Что считать классом или фазой, решает клинический руководитель – для каждой задачи.

Чек-лист

  • Знайте, какой задаче служит ваша работа и каковы её вход и выход.
  • Прежде чем планировать модель, проверьте, есть ли в открытых данных нужная задаче разметка.
  • Сообщайте основную метрику задачи рядом с её базовой линией: вход с дымом для M5, покадровая модель для M3.
  • Определения классов и фаз оставляйте клиническому руководителю.

Что почитать