ИНЖЕНЕРАМ

Архитектуры сегментации: от КТ-объёмов к хирургическому видео

Сравнительный гид для инженеров по фреймворкам и моделям сегментации 3D-медицинских объёмов (КТ, МРТ) и лапароскопического видео в реальном времени – и по выбору отправной точки.

Компьютерная поддержка вмешательств работает с двумя очень разными видами изображений. До и после операции это 3D-объёмы: снимки КТ и МРТ в виде серий DICOM или файлов NIfTI. Во время операции это видеопоток с лапароскопа. И там и там «сегментация», но модель определяют разные ограничения: для объёмов – память GPU, для видео – время на кадр. Этот гид сравнивает два случая и помогает выбрать, с чего начать. Подробнее – на двух страницах: 3D-объёмы и хирургическое видео.

Сначала прочитайте

  • Только для исследований. Ничто здесь не является клиническим инструментом или рекомендацией по лечению.
  • Отправные точки, а не вердикты. Рекомендации ниже – разумные первые baseline для новой задачи. Какая модель окажется лучше, зависит от ваших данных, разметки и бюджета; проверяйте на своей валидационной выборке.
  • Цифры – из первоисточников. Число классов, размеры патчей и скорости взяты из статей и документации моделей, ссылки на которые есть на каждой странице, и относятся к указанному там оборудованию. Проект их не измерял.
  • Выпущенной модели у проекта пока нет. Почему – объясняет карточка модели M1; чекпойнты не опубликованы. Там, где гид ссылается на OpenSurgicalVision, речь о коде, загрузчиках данных и оценке, а не о весах.

Два вида данных

3D-объёмы: КТ и МРТ

Объём – это сетка вокселей, часто из сотен миллионов элементов, с разным шагом по осям: мелкие пиксели внутри среза и более крупный шаг между срезами. Целый объём в полном разрешении вместе с активациями сети редко помещается в GPU, поэтому модели обучают на патчах, а предсказывают скользящим окном. Время ограничивает редко: несколько секунд или минута на исследование обычно приемлемы.

  • Фреймворки: MONAI (3D-трансформы, кешируемые датасеты, SlidingWindowInferer, бандлы моделей), nnU-Net (самонастраивающийся пайплайн, который сам выбирает размер патча, шаг вокселя и сеть по датасету), PyTorch с DDP для обучения на нескольких GPU.
  • Архитектуры: 3D U-Net и его остаточные варианты, SegResNet, UNETR и Swin UNETR; модели для всего тела – TotalSegmentator и VISTA-3D; MAISI для генерации объёмов вместе с масками.
  • Подробнее: сегментация 3D-объёмов.

Хирургическое видео

Лапароскопическое видео – последовательность цветных 2D-кадров, от 25 до 60 в секунду. Каждый кадр мал по сравнению с объёмом КТ, но чтобы успевать за камерой, у модели есть один межкадровый интервал, а её маски не должны мерцать от кадра к кадру. Данные усложняют дым, кровь, блики, смазывание при движении и инструменты, которые входят в кадр и покидают его.

  • Фреймворки: PyTorch и torchvision, собственный код проекта OpenSurgicalVision для хирургических датасетов, аугментаций и оценки, NVIDIA TensorRT и Holoscan для развёртывания с низкой задержкой.
  • Архитектуры: покадровые энкодеры-декодеры (DeepLabV3+, HRNet, SegFormer, U-Net на EfficientNet), рекуррентные модели и видеотрансформеры для временного контекста, SAM 2 для сегментации по промптам с памятью о прошлых кадрах.
  • Подробнее: сегментация хирургического видео.

Строительные блоки

Большинство архитектур на этих страницах собрано из одних и тех же частей. Цвета одинаковы на всех схемах страниц об объёмах и видео.

  • свёртка
  • внимание
  • смена разрешения
  • память, состояние
  • вход, выход
Свёртка 3×3одни веса везде1Атрозная свёрткашаг 2: шире поле2Понижение ×2шаг 2 или пулинг3Повышение ×2транспонир. свёртка4Skip-соединениедетали энкодера – декодеру5Самовниманиетокен взвешивает все6Оконное вниманиетолько внутри окна7Остаточный блоквыход = вход + F(вход)8concatсвёртканорм.актив.+тождество
Каждый блок нарисован на маленькой 2D-сетке; в объёме те же операции работают с 3D-сетками вокселей.
  1. Свёртка. Небольшое ядро весов, здесь 3×3, а в объёме 3×3×3, скользит по входу и в каждой позиции вычисляет одно выходное значение. Веса везде одни и те же, поэтому шаблон распознаётся, где бы он ни встретился.
  2. Атрозная (dilated) свёртка. Отсчёты ядра разнесены. С шагом 2 девять весов покрывают область 5×5: поле зрения шире без новых весов и без потери разрешения. На этом построен DeepLab.
  3. Понижение разрешения. Свёртка с шагом 2 или пулинг вдвое уменьшают каждую сторону: четыре клетки становятся одной, в объёме – восемь вокселей. Каждый уровень энкодера видит бо́льшую область на более грубой сетке.
  4. Повышение разрешения. Транспонированная свёртка или интерполяция вдвое увеличивают каждую сторону и возвращают грубые признаки к разрешению входа в декодере.
  5. Skip-соединение. Карта признаков энкодера на данном разрешении копируется в декодер и объединяется с повышенными признаками. Оно возвращает мелкие детали – края и тонкие структуры, – которые потерялись при понижении.
  6. Самовнимание. Каждый токен, то есть патч изображения или объёма, вычисляет, насколько для него важен каждый другой токен, и берёт взвешенную сумму их значений. Обзор глобальный уже в одном слое; стоимость растёт с квадратом числа токенов.
  7. Оконное внимание. Внимание только внутри фиксированных окон токенов держит стоимость пропорциональной числу токенов. Swin сдвигает окна от слоя к слою, чтобы информация всё же переходила через их границы.
  8. Остаточный блок. Блок учит поправку F, которая прибавляется к его входу. Тождественный путь пропускает градиенты через глубокие сети; из таких блоков построены остаточный энкодер nnU-Net и SegResNet.

Рядом

3D-объёмы (DICOM / NIfTI) Хирургическое видео (2D+t)
Входной тензор C × D × H × W, один объём, обучение на патчах B × T × C × H × W, последовательность кадров
Ограничение, определяющее модель Память GPU: размер патча × батч × ширина сети Время: один межкадровый интервал, 33 мс при 30 кадр/с
Базовые фреймворки MONAI, nnU-Net PyTorch, torchvision, TensorRT, Holoscan
Характерные архитектуры nnU-Net (остаточный U-Net), SegResNet, Swin UNETR, VISTA-3D DeepLabV3+, SegFormer, SAM 2, видеотрансформеры
Трудности данных Анизотропный шаг вокселя, различия сканеров и протоколов, неполная разметка Дым, кровь, блики, смазывание, перекрытия
Обычные метрики Dice, 95-й перцентиль расстояния Хаусдорфа, поверхностный Dice IoU и mean IoU, граничный F1, стабильность между кадрами, задержка p50 / p95
Типичные открытые данные TotalSegmentator, BTCV, KiTS, BraTS CholecSeg8k, CholecT50, EndoVis 2017

О трансформерах для объёмов: тщательный бенчмарк авторов nnU-Net, nnU-Net Revisited (MICCAI 2024), показал, что хорошо настроенные свёрточные U-Net, масштабированные под доступный GPU, не уступают сравнённым трансформерным и Mamba-моделям или превосходят их. Прежде чем брать новую архитектуру, начните с сильного свёрточного baseline.

Выберите отправную точку

Выберите задачу и оборудование, на котором будет работать модель. Без JavaScript ниже показаны все шесть рекомендаций.

Мультиорганная КТ · GPU рабочей станции

Начните с nnU-Net, обученного на вашей разметке; пресет ResEnc L рассчитан на GPU с 24 ГБ. Если нужные структуры уже покрыты, сначала попробуйте готовую модель: TotalSegmentator (117 классов в задаче КТ по умолчанию), бандл MONAI wholeBody_ct_segmentation (SegResNet, 104 структуры) или vista3d (127 классов и интерактивная правка кликами).

  • Препроцессинг: деидентифицировать, конвертировать DICOM в NIfTI, привести к одной ориентации, перевести в шаг вокселя модели (1,5 мм у бандла wholeBody), обрезать и нормировать единицы Хаунсфилда так же, как при обучении модели.
  • Инференс: скользящее окно с патчами от 96³ до 128³, перекрытие 0,25–0,5 и гауссово смешивание.

Мультиорганная КТ · edge-GPU

Начните с модели пониженного разрешения: TotalSegmentator с --fast или модель 3,0 мм из бандла wholeBody_ct_segmentation, в котором есть конфигурация инференса на TensorRT. На edge-устройстве для КТ обычно ограничивает память, а не время.

  • Препроцессинг: как на рабочей станции, с шагом 3 мм; мелкие структуры пострадают.
  • Инференс: половинная точность, максимальный помещающийся патч и меньше окон (меньшее перекрытие или обрезка по телу перед скользящим окном).

Лапароскопические инструменты · GPU рабочей станции

Начните с покадровой модели с учителем – DeepLabV3 или DeepLabV3+ на ResNet-50, обученной на CholecSeg8k. Это собственный baseline проекта M1: код обучения – в osv/train/m1.py, чекпойнт не выпущен. Чтобы вести инструмент через перекрытия, добавьте SAM 2.1 с маской покадровой модели в качестве промпта.

  • Препроцессинг: полные кадры 854 × 480, разбиение по целым видео, чтобы одна операция не попала в два сплита, и лицензия CC BY-NC-SA исходных данных, перенесённая на модель.
  • Оценка: IoU и граничный F1 по классам, а также то, как часто маски мерцают между соседними кадрами.

Лапароскопические инструменты · edge-GPU

Начните с лёгкого энкодера-декодера: бандл MONAI endoscopic_tool_segmentation (U-Net с энкодером EfficientNet-B2, вход 736 × 480, бинарная маска, конфигурация TensorRT) или SegFormer-B0 / B1. Бандл MONAI обучен на закрытых данных, поэтому дообучите его на своих. Если нужно распространение маски по кадрам, самая лёгкая модель SAM 2 – SAM 2.1 tiny; измерьте её на целевом устройстве.

  • Развёртывание: экспорт в TensorRT в FP16, пайплайн на Holoscan или похожем фреймворке без лишних копий, измерение задержки «от стекла до стекла», p50 и p95, на реальном устройстве.
  • Бюджет: попробуйте бюджет задержки, чтобы увидеть, куда уходят миллисекунды.

Опухоль на МРТ · GPU рабочей станции

Начните с nnU-Net 3d_fullres на вашей разметке. Готовые модели для опухолей мозга: бандл MONAI brats_mri_segmentation (SegResNet на четырёх последовательностях, три подобласти опухоли) и Swin UNETR из соревнования BraTS 2021.

  • Препроцессинг: совместить последовательности (T1, T1c, T2, FLAIR), удалить череп, перевести в изотропный шаг 1 мм, нормировать каждый канал только по вокселям мозга.
  • Оценка: Dice и HD95 по подобластям; случаи, где модель не находит опухоль, – отдельной строкой.

Опухоль на МРТ · edge-GPU

Начните с SegResNet из brats_mri_segmentation, где есть конфигурация инференса через ONNX-TensorRT, а не с трансформера.

  • Инференс: обрезка по ограничивающему параллелепипеду мозга перед скользящим окном, половинная точность и препроцессинг, идентичный обучению: edge-устройство не повод менять нормировку.

Куда дальше