Лапароскоп выдаёт от 25 до 60 цветных кадров в секунду. Модель, работающая во время операции, должна сегментировать каждый кадр до прихода следующего, держать маски стабильными от кадра к кадру и справляться с дымом, кровью, бликами, смазыванием и инструментами, которые появляются и исчезают. На этой странице – данные, фреймворки, основные архитектуры и бюджет задержки. Про КТ и МРТ – сегментация 3D-объёмов; обзор – сравнение двух случаев.
Данные
- Кадры. Видео Cholec80, источник большинства лапароскопических датасетов, записаны с частотой 25 кадр/с; кадры CholecSeg8k – 854 × 480. У эндоскопических изображений есть тёмная рамка вокруг круглого или восьмиугольного поля зрения, а на некоторых системах – текстовый оверлей; модель не должна выучить их как признаки.
- Разметка. В CholecSeg8k 8080 кадров из 17 видео Cholec80 с 13 классами тканей и инструментов; CholecT50 размечает триплеты «инструмент – действие – цель»; в EndoVis 2017 – части и типы роботических инструментов. Разметка есть лишь для части кадров, поэтому модели учатся покадрово, а время подключают потом.
- Разбиение по видео. Соседние кадры почти одинаковы; разбиение по кадрам переносит тестовую выборку в обучение. Разбивайте по целым операциям.
- Лицензии. Датасеты Cholec распространяются по CC BY-NC-SA; модель, обученная на них, наследует некоммерческое условие и условие «на тех же условиях». См. датасеты проекта.
Фреймворки
- OpenSurgicalVision. Код проекта: загрузчики CholecSeg8k и CholecT50 с официальным разбиением по целым видео (
osv.datasets), аугментации для обучения, синтетический дым и наложение инструментов (osv.augment), реестр архитектур, которым обязаны пользоваться эксперименты (osv.arch), и метрики сегментации (osv.eval). Загрузчика EndoVis и выпущенных чекпойнтов пока нет; карточка модели M1 описывает baseline DeepLabV3-ResNet50 и его результаты. - torchvision содержит предобученные модели сегментации (DeepLabV3, LR-ASPP на MobileNetV3) и видеобэкбоны (R(2+1)D, MViT, Video Swin под именем
swin3d). PyTorchVideo добавляет загрузку видеоданных и другие видеомодели. - TensorRT компилирует обученную сеть под конкретный GPU: сливает слои и считает в FP16 или INT8.
- Holoscan SDK – фреймворк NVIDIA для сенсорных пайплайнов с низкой задержкой, включая эндоскопию: кадры идут от карты захвата к GPU и на дисплей без копирования через CPU. Triton Inference Server отдаёт модели по сети многим клиентам; сетевой переход добавляет задержку, поэтому он лучше подходит для офлайн-анализа, чем для контура в операционной.
- MONAI есть и 2D-бандлы: endoscopic_tool_segmentation – U-Net с энкодером EfficientNet-B2 для бинарных масок инструментов на кадрах 736 × 480.
Архитектуры
По одному кадру
| Модель | Идея | Источник |
|---|---|---|
| DeepLabV3+ | Атрозные свёртки сохраняют разрешение; пространственная пирамида с разными dilation видит контекст в нескольких масштабах; лёгкий декодер уточняет границы | Chen и соавт., ECCV 2018 |
| HRNet | Держит ветвь высокого разрешения через всю сеть и обменивается информацией с ветвями низкого разрешения | Wang и соавт., TPAMI 2020 |
| SegFormer | Иерархический трансформерный энкодер без позиционных кодировок и декодер из одних MLP; размеры от B0 до B5 | Xie и соавт., NeurIPS 2021 |
| U-Net на EfficientNet | Декодер U-Net на энкодере EfficientNet; частый выбор для edge-устройств | FlexibleUNet в MONAI |
Покадровые модели – это baseline: они быстрые и легко обучаются на разреженной разметке, но каждый кадр оценивается отдельно, поэтому маски мерцают, а инструмент, скрытый дымом, пропадает.
DeepLabV3+ по блокам
- свёртка
- внимание
- смена разрешения
- память, состояние
- вход, выход
- Бэкбон. ResNet-50, в последних стадиях которого вместо шага используются атрозные свёртки, поэтому признаки остаются на 1/16 кадра, а не на 1/32.
- Атрозная пространственная пирамида (ASPP). Параллельные свёртки 3×3 с dilation 6, 12 и 18 и свёртка 1×1 смотрят на одни признаки с разным полем зрения: на тонкие кончики инструментов и на целые органы.
- Пулинг по кадру. Признаки, усреднённые по всему кадру, добавляют глобальный контекст – например, сколько в кадре дыма или крови.
- Признаки низкого уровня. Признаки из начала бэкбона, на 1/4 кадра, несут чёткие края; свёртка 1×1 уменьшает число их каналов.
- Декодер. Выход пирамиды повышается в четыре раза, объединяется с признаками низкого уровня, уточняется свёртками 3×3 и ещё раз повышается в четыре раза до маски. Этот декодер и есть «+» к DeepLabV3; baseline проекта M1 – DeepLabV3 без него.
SegFormer по блокам
- Перекрывающееся вложение патчей. Свёртка с шагом превращает кадр в токены на 1/4 его размера; следующие стадии сливают их до 1/8, 1/16 и 1/32.
- Эффективное самовнимание. Ключи и значения берутся из уменьшенной сетки токенов, и глобальное внимание становится посильным при высоком разрешении.
- Mix-FFN. Depthwise-свёртка 3×3 внутри полносвязного слоя даёт токенам чувство положения, поэтому модели не нужно позиционное кодирование и она справляется с кадрами другого размера.
- Декодер из MLP. MLP приводит выход каждой стадии к одной ширине, затем он повышается до 1/4.
- Объединение и предсказание. Четыре карты объединяются, сливаются ещё одним MLP и превращаются в маску на 1/4 кадра, которая затем повышается до полного размера.
С учётом времени
- ConvLSTM и ConvGRU (Shi и соавт., NeurIPS 2015) ставят между энкодером и декодером рекуррентную ячейку со свёрточными гейтами. Ячейка переносит карту признаков от кадра к кадру и стабилизирует маски ценой одного скрытого состояния в памяти.
- Видеотрансформеры, TimeSformer и Video Swin, применяют внимание по пространству и времени на клипе. Их создавали для классификации клипов, и в хирургии они используются в основном для распознавания фаз и действий; для плотных масок с частотой камеры они тяжелы.
- Сглаживание после модели – например, скользящее среднее вероятностей или перенос предыдущей маски по оптическому потоку – дёшево и часто достаточно, чтобы убрать мерцание.
- Энкодер для каждого кадра. Каждый кадр проходит через один и тот же энкодер.
- Ячейка ConvLSTM. Её входной, забывающий и выходной гейты – свёртки, поэтому её состояние – пространственная карта признаков, а не вектор.
- Состояние. Скрытое состояние h и состояние ячейки c переносят от кадра к кадру то, что ячейка решила сохранить, – например, где был инструмент до того, как его закрыл дым.
- Декодер. Рисует маску текущего кадра по выходу ячейки.
Сегментация по промптам с памятью: SAM 2
SAM 2 (Ravi и соавт., 2024) сегментирует объект на каждом кадре видео после промпта: клика, рамки или маски на одном кадре. Банк памяти хранит признаки и предсказанные маски недавних кадров и кадров с промптами; механизм внимания к памяти обусловливает ими текущий кадр, и объект сохраняется при перекрытиях и смене ракурса. Авторы сообщают о 39,5 кадр/с для SAM 2.1 large и 91,2 кадр/с для tiny на A100 со скомпилированной моделью и одним объектом.
- Энкодер изображения. Иерархический трансформер Hiera один раз кодирует каждый кадр.
- Внимание к памяти. Трансформерные блоки, в которых признаки текущего кадра обращаются к банку памяти.
- Энкодер промптов. Переводит клики, рамки или маску на любом кадре в токены для декодера.
- Декодер маски. Выдаёт маску, оценку её качества и признак того, виден ли объект в этом кадре вообще.
- Энкодер памяти. Объединяет предсказанную маску с признаками кадра в компактную запись памяти.
- Банк памяти. Хранит записи нескольких последних кадров, по умолчанию шести, и кадров с промптами, а также указатели на объект; следующий кадр обращается к ним.
В хирургии SAM 2 – трекер, а не детектор: кто-то должен дать первый промпт и замечать новые инструменты, входящие в кадр, – покадровая модель или человек в инструменте разметки. Модель не обучалась на хирургическом видео, поэтому проверьте её на своих данных, прежде чем полагаться на неё. В разметке она окупается сразу: одна исправленная маска распространяется на следующие кадры.
Бюджет задержки в операционной
Важна задержка «от стекла до стекла»: время от попадания света в камеру до появления оверлея на мониторе. Она равна сумме всех этапов. Пропускная способность – другое дело: если этапы обрабатывают соседние кадры параллельно, пайплайн успевает за камерой, пока его самый медленный этап короче одного межкадрового интервала, даже если сумма больше. Целевая задержка – решение проекта, записанное, например, как «p95 не больше 50 мс от стекла до стекла»; это не стандарт, и нужное значение зависит от назначения оверлея.
Значения по умолчанию ниже – пример, а не измерения. Двигайте ползунки и смотрите, в какое ограничение вы упираетесь.
- Задержка «от стекла до стекла»
- 38 мс
- Межкадровый интервал
- 33,3 мс
- Пропускная способность, по одному кадру
- 26,3 кадр/с
- Пропускная способность, этапы параллельно
- 66,7 кадр/с
Пример. При 30 кадр/с кадр приходит каждые 33,3 мс. Этапы по 8, 3, 15, 2 и 10 мс в сумме дают 38 мс: при обработке по одному кадру пайплайн выдаёт 26 кадр/с и теряет кадры. При параллельной работе самый медленный этап – инференс, 15 мс – позволяет около 67 кадр/с, так что пайплайн успевает, но каждый кадр всё равно попадает на экран через 38 мс после съёмки. Красная линия на полосе – один межкадровый интервал.
Как измерять: засекайте каждый этап событиями CUDA, а не часами CPU; приводите p50 и p95 за минуты видео, а не среднее по нескольким кадрам; задержку «от стекла до стекла» измеряйте камерой, которая снимает миллисекундный таймер или светодиод и монитор в одном кадре. Карточки моделей проекта требуют p50 и p95 на RTX 4090 и Jetson AGX Orin; пока ни одна не измерена.
Как измерять качество
Формулы этих метрик с рисунками и интерактивным примером – на странице о метриках.
- IoU и Dice по каждому классу и их среднее по классам; для инструментов – ещё и бинарная маска (любой инструмент против фона).
- Граничный F1 или boundary IoU, потому что тонкие стержни и бранши инструментов – это в основном граница.
- Стабильность во времени: насколько меняется маска между соседними кадрами, когда сцена почти не меняется.
- Устойчивость: отдельные оценки на кадрах с дымом, кровью или смазыванием. Начать можно с эксперимента M5 по удалению дыма и синтетического дыма в
osv.augment.
Источники
- Twinanda и соавт. EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos. IEEE TMI, 2017 (Cholec80).
- Hong и соавт. CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80. 2020.
- Allan и соавт. 2017 Robotic Instrument Segmentation Challenge. 2019.
- Ravi и соавт. SAM 2: Segment Anything in Images and Videos. 2024.
- Xie и соавт. SegFormer. NeurIPS 2021. Chen и соавт. DeepLabV3+. ECCV 2018.
Назад к сравнению объёмов и видео.