ХИРУРГИЧЕСКОЕ ВИДЕО

Сегментация хирургического видео в реальном времени

Фреймворки, архитектуры и бюджет задержки для сегментации инструментов и тканей на лапароскопическом видео: покадровые модели, временные модели, SAM 2 и развёртывание в операционной.

Лапароскоп выдаёт от 25 до 60 цветных кадров в секунду. Модель, работающая во время операции, должна сегментировать каждый кадр до прихода следующего, держать маски стабильными от кадра к кадру и справляться с дымом, кровью, бликами, смазыванием и инструментами, которые появляются и исчезают. На этой странице – данные, фреймворки, основные архитектуры и бюджет задержки. Про КТ и МРТ – сегментация 3D-объёмов; обзор – сравнение двух случаев.

Данные

  • Кадры. Видео Cholec80, источник большинства лапароскопических датасетов, записаны с частотой 25 кадр/с; кадры CholecSeg8k – 854 × 480. У эндоскопических изображений есть тёмная рамка вокруг круглого или восьмиугольного поля зрения, а на некоторых системах – текстовый оверлей; модель не должна выучить их как признаки.
  • Разметка. В CholecSeg8k 8080 кадров из 17 видео Cholec80 с 13 классами тканей и инструментов; CholecT50 размечает триплеты «инструмент – действие – цель»; в EndoVis 2017 – части и типы роботических инструментов. Разметка есть лишь для части кадров, поэтому модели учатся покадрово, а время подключают потом.
  • Разбиение по видео. Соседние кадры почти одинаковы; разбиение по кадрам переносит тестовую выборку в обучение. Разбивайте по целым операциям.
  • Лицензии. Датасеты Cholec распространяются по CC BY-NC-SA; модель, обученная на них, наследует некоммерческое условие и условие «на тех же условиях». См. датасеты проекта.

Фреймворки

  • OpenSurgicalVision. Код проекта: загрузчики CholecSeg8k и CholecT50 с официальным разбиением по целым видео (osv.datasets), аугментации для обучения, синтетический дым и наложение инструментов (osv.augment), реестр архитектур, которым обязаны пользоваться эксперименты (osv.arch), и метрики сегментации (osv.eval). Загрузчика EndoVis и выпущенных чекпойнтов пока нет; карточка модели M1 описывает baseline DeepLabV3-ResNet50 и его результаты.
  • torchvision содержит предобученные модели сегментации (DeepLabV3, LR-ASPP на MobileNetV3) и видеобэкбоны (R(2+1)D, MViT, Video Swin под именем swin3d). PyTorchVideo добавляет загрузку видеоданных и другие видеомодели.
  • TensorRT компилирует обученную сеть под конкретный GPU: сливает слои и считает в FP16 или INT8.
  • Holoscan SDK – фреймворк NVIDIA для сенсорных пайплайнов с низкой задержкой, включая эндоскопию: кадры идут от карты захвата к GPU и на дисплей без копирования через CPU. Triton Inference Server отдаёт модели по сети многим клиентам; сетевой переход добавляет задержку, поэтому он лучше подходит для офлайн-анализа, чем для контура в операционной.
  • MONAI есть и 2D-бандлы: endoscopic_tool_segmentation – U-Net с энкодером EfficientNet-B2 для бинарных масок инструментов на кадрах 736 × 480.

Архитектуры

По одному кадру

Модель Идея Источник
DeepLabV3+ Атрозные свёртки сохраняют разрешение; пространственная пирамида с разными dilation видит контекст в нескольких масштабах; лёгкий декодер уточняет границы Chen и соавт., ECCV 2018
HRNet Держит ветвь высокого разрешения через всю сеть и обменивается информацией с ветвями низкого разрешения Wang и соавт., TPAMI 2020
SegFormer Иерархический трансформерный энкодер без позиционных кодировок и декодер из одних MLP; размеры от B0 до B5 Xie и соавт., NeurIPS 2021
U-Net на EfficientNet Декодер U-Net на энкодере EfficientNet; частый выбор для edge-устройств FlexibleUNet в MONAI

Покадровые модели – это baseline: они быстрые и легко обучаются на разреженной разметке, но каждый кадр оценивается отдельно, поэтому маски мерцают, а инструмент, скрытый дымом, пропадает.

DeepLabV3+ по блокам

  • свёртка
  • внимание
  • смена разрешения
  • память, состояние
  • вход, выход
кадр3 × 480 × 854ResNet-50атрозныйвыходной шаг 161свёртка 1×13×3, шаг 623×3, шаг 123×3, шаг 18пулинг по кадру3concat,свёртка 1×1↑4concat,свёртки 3×3,↑4 → маска5свёртка 1×1 · признаки 1/44
DeepLabV3+ с бэкбоном ResNet-50 и выходным шагом 16 на кадре размера CholecSeg8k.
  1. Бэкбон. ResNet-50, в последних стадиях которого вместо шага используются атрозные свёртки, поэтому признаки остаются на 1/16 кадра, а не на 1/32.
  2. Атрозная пространственная пирамида (ASPP). Параллельные свёртки 3×3 с dilation 6, 12 и 18 и свёртка 1×1 смотрят на одни признаки с разным полем зрения: на тонкие кончики инструментов и на целые органы.
  3. Пулинг по кадру. Признаки, усреднённые по всему кадру, добавляют глобальный контекст – например, сколько в кадре дыма или крови.
  4. Признаки низкого уровня. Признаки из начала бэкбона, на 1/4 кадра, несут чёткие края; свёртка 1×1 уменьшает число их каналов.
  5. Декодер. Выход пирамиды повышается в четыре раза, объединяется с признаками низкого уровня, уточняется свёртками 3×3 и ещё раз повышается в четыре раза до маски. Этот декодер и есть «+» к DeepLabV3; baseline проекта M1 – DeepLabV3 без него.

SegFormer по блокам

кадрстадия 11/41MLPуже 1/44стадия 21/82MLP↑ ×2 до 1/4стадия 31/16MLP↑ ×4 до 1/4стадия 41/32MLP↑ ×8 до 1/4внимание + Mix-FFN3concat,MLP5маска1/4 → ↑4
Четыре стадии энкодера и декодер из одних MLP в SegFormer.
  1. Перекрывающееся вложение патчей. Свёртка с шагом превращает кадр в токены на 1/4 его размера; следующие стадии сливают их до 1/8, 1/16 и 1/32.
  2. Эффективное самовнимание. Ключи и значения берутся из уменьшенной сетки токенов, и глобальное внимание становится посильным при высоком разрешении.
  3. Mix-FFN. Depthwise-свёртка 3×3 внутри полносвязного слоя даёт токенам чувство положения, поэтому модели не нужно позиционное кодирование и она справляется с кадрами другого размера.
  4. Декодер из MLP. MLP приводит выход каждой стадии к одной ширине, затем он повышается до 1/4.
  5. Объединение и предсказание. Четыре карты объединяются, сливаются ещё одним MLP и превращаются в маску на 1/4 кадра, которая затем повышается до полного размера.

С учётом времени

  • ConvLSTM и ConvGRU (Shi и соавт., NeurIPS 2015) ставят между энкодером и декодером рекуррентную ячейку со свёрточными гейтами. Ячейка переносит карту признаков от кадра к кадру и стабилизирует маски ценой одного скрытого состояния в памяти.
  • Видеотрансформеры, TimeSformer и Video Swin, применяют внимание по пространству и времени на клипе. Их создавали для классификации клипов, и в хирургии они используются в основном для распознавания фаз и действий; для плотных масок с частотой камеры они тяжелы.
  • Сглаживание после модели – например, скользящее среднее вероятностей или перенос предыдущей маски по оптическому потоку – дёшево и часто достаточно, чтобы убрать мерцание.
кадр t − 1энкодер1ConvLSTM2декодер4маска t − 1h, cкадр tэнкодерConvLSTMдекодермаска th, cкадр t + 1энкодерConvLSTMдекодермаска t + 13
Рекуррентный U-Net, развёрнутый на три кадра; на каждом шаге используются одни и те же веса.
  1. Энкодер для каждого кадра. Каждый кадр проходит через один и тот же энкодер.
  2. Ячейка ConvLSTM. Её входной, забывающий и выходной гейты – свёртки, поэтому её состояние – пространственная карта признаков, а не вектор.
  3. Состояние. Скрытое состояние h и состояние ячейки c переносят от кадра к кадру то, что ячейка решила сохранить, – например, где был инструмент до того, как его закрыл дым.
  4. Декодер. Рисует маску текущего кадра по выходу ячейки.

Сегментация по промптам с памятью: SAM 2

SAM 2 (Ravi и соавт., 2024) сегментирует объект на каждом кадре видео после промпта: клика, рамки или маски на одном кадре. Банк памяти хранит признаки и предсказанные маски недавних кадров и кадров с промптами; механизм внимания к памяти обусловливает ими текущий кадр, и объект сохраняется при перекрытиях и смене ракурса. Авторы сообщают о 39,5 кадр/с для SAM 2.1 large и 91,2 кадр/с для tiny на A100 со скомпилированной моделью и одним объектом.

кадр tэнкодеризображения, Hiera1вниманиек памяти2декодермаски4маска tэнкодер промптовклик · рамка · маска3энкодерпамяти5банк памятинедавние кадры,кадры с промптами6
Видеопайплайн SAM 2 для одного объекта.
  1. Энкодер изображения. Иерархический трансформер Hiera один раз кодирует каждый кадр.
  2. Внимание к памяти. Трансформерные блоки, в которых признаки текущего кадра обращаются к банку памяти.
  3. Энкодер промптов. Переводит клики, рамки или маску на любом кадре в токены для декодера.
  4. Декодер маски. Выдаёт маску, оценку её качества и признак того, виден ли объект в этом кадре вообще.
  5. Энкодер памяти. Объединяет предсказанную маску с признаками кадра в компактную запись памяти.
  6. Банк памяти. Хранит записи нескольких последних кадров, по умолчанию шести, и кадров с промптами, а также указатели на объект; следующий кадр обращается к ним.

В хирургии SAM 2 – трекер, а не детектор: кто-то должен дать первый промпт и замечать новые инструменты, входящие в кадр, – покадровая модель или человек в инструменте разметки. Модель не обучалась на хирургическом видео, поэтому проверьте её на своих данных, прежде чем полагаться на неё. В разметке она окупается сразу: одна исправленная маска распространяется на следующие кадры.

Бюджет задержки в операционной

Важна задержка «от стекла до стекла»: время от попадания света в камеру до появления оверлея на мониторе. Она равна сумме всех этапов. Пропускная способность – другое дело: если этапы обрабатывают соседние кадры параллельно, пайплайн успевает за камерой, пока его самый медленный этап короче одного межкадрового интервала, даже если сумма больше. Целевая задержка – решение проекта, записанное, например, как «p95 не больше 50 мс от стекла до стекла»; это не стандарт, и нужное значение зависит от назначения оверлея.

Значения по умолчанию ниже – пример, а не измерения. Двигайте ползунки и смотрите, в какое ограничение вы упираетесь.

Пример. При 30 кадр/с кадр приходит каждые 33,3 мс. Этапы по 8, 3, 15, 2 и 10 мс в сумме дают 38 мс: при обработке по одному кадру пайплайн выдаёт 26 кадр/с и теряет кадры. При параллельной работе самый медленный этап – инференс, 15 мс – позволяет около 67 кадр/с, так что пайплайн успевает, но каждый кадр всё равно попадает на экран через 38 мс после съёмки. Красная линия на полосе – один межкадровый интервал.

Как измерять: засекайте каждый этап событиями CUDA, а не часами CPU; приводите p50 и p95 за минуты видео, а не среднее по нескольким кадрам; задержку «от стекла до стекла» измеряйте камерой, которая снимает миллисекундный таймер или светодиод и монитор в одном кадре. Карточки моделей проекта требуют p50 и p95 на RTX 4090 и Jetson AGX Orin; пока ни одна не измерена.

Как измерять качество

Формулы этих метрик с рисунками и интерактивным примером – на странице о метриках.

  • IoU и Dice по каждому классу и их среднее по классам; для инструментов – ещё и бинарная маска (любой инструмент против фона).
  • Граничный F1 или boundary IoU, потому что тонкие стержни и бранши инструментов – это в основном граница.
  • Стабильность во времени: насколько меняется маска между соседними кадрами, когда сцена почти не меняется.
  • Устойчивость: отдельные оценки на кадрах с дымом, кровью или смазыванием. Начать можно с эксперимента M5 по удалению дыма и синтетического дыма в osv.augment.

Источники

Назад к сравнению объёмов и видео.