Компьютерная поддержка вмешательств работает с двумя очень разными видами изображений. До и после операции это 3D-объёмы: снимки КТ и МРТ в виде серий DICOM или файлов NIfTI. Во время операции это видеопоток с лапароскопа. И там и там «сегментация», но модель определяют разные ограничения: для объёмов – память GPU, для видео – время на кадр. Этот гид сравнивает два случая и помогает выбрать, с чего начать. Подробнее – на двух страницах: 3D-объёмы и хирургическое видео.
Сначала прочитайте
- Только для исследований. Ничто здесь не является клиническим инструментом или рекомендацией по лечению.
- Отправные точки, а не вердикты. Рекомендации ниже – разумные первые baseline для новой задачи. Какая модель окажется лучше, зависит от ваших данных, разметки и бюджета; проверяйте на своей валидационной выборке.
- Цифры – из первоисточников. Число классов, размеры патчей и скорости взяты из статей и документации моделей, ссылки на которые есть на каждой странице, и относятся к указанному там оборудованию. Проект их не измерял.
- Выпущенной модели у проекта пока нет. Почему – объясняет карточка модели M1; чекпойнты не опубликованы. Там, где гид ссылается на OpenSurgicalVision, речь о коде, загрузчиках данных и оценке, а не о весах.
Два вида данных
3D-объёмы: КТ и МРТ
Объём – это сетка вокселей, часто из сотен миллионов элементов, с разным шагом по осям: мелкие пиксели внутри среза и более крупный шаг между срезами. Целый объём в полном разрешении вместе с активациями сети редко помещается в GPU, поэтому модели обучают на патчах, а предсказывают скользящим окном. Время ограничивает редко: несколько секунд или минута на исследование обычно приемлемы.
- Фреймворки: MONAI (3D-трансформы, кешируемые датасеты,
SlidingWindowInferer, бандлы моделей), nnU-Net (самонастраивающийся пайплайн, который сам выбирает размер патча, шаг вокселя и сеть по датасету), PyTorch с DDP для обучения на нескольких GPU. - Архитектуры: 3D U-Net и его остаточные варианты, SegResNet, UNETR и Swin UNETR; модели для всего тела – TotalSegmentator и VISTA-3D; MAISI для генерации объёмов вместе с масками.
- Подробнее: сегментация 3D-объёмов.
Хирургическое видео
Лапароскопическое видео – последовательность цветных 2D-кадров, от 25 до 60 в секунду. Каждый кадр мал по сравнению с объёмом КТ, но чтобы успевать за камерой, у модели есть один межкадровый интервал, а её маски не должны мерцать от кадра к кадру. Данные усложняют дым, кровь, блики, смазывание при движении и инструменты, которые входят в кадр и покидают его.
- Фреймворки: PyTorch и torchvision, собственный код проекта OpenSurgicalVision для хирургических датасетов, аугментаций и оценки, NVIDIA TensorRT и Holoscan для развёртывания с низкой задержкой.
- Архитектуры: покадровые энкодеры-декодеры (DeepLabV3+, HRNet, SegFormer, U-Net на EfficientNet), рекуррентные модели и видеотрансформеры для временного контекста, SAM 2 для сегментации по промптам с памятью о прошлых кадрах.
- Подробнее: сегментация хирургического видео.
Строительные блоки
Большинство архитектур на этих страницах собрано из одних и тех же частей. Цвета одинаковы на всех схемах страниц об объёмах и видео.
- свёртка
- внимание
- смена разрешения
- память, состояние
- вход, выход
- Свёртка. Небольшое ядро весов, здесь 3×3, а в объёме 3×3×3, скользит по входу и в каждой позиции вычисляет одно выходное значение. Веса везде одни и те же, поэтому шаблон распознаётся, где бы он ни встретился.
- Атрозная (dilated) свёртка. Отсчёты ядра разнесены. С шагом 2 девять весов покрывают область 5×5: поле зрения шире без новых весов и без потери разрешения. На этом построен DeepLab.
- Понижение разрешения. Свёртка с шагом 2 или пулинг вдвое уменьшают каждую сторону: четыре клетки становятся одной, в объёме – восемь вокселей. Каждый уровень энкодера видит бо́льшую область на более грубой сетке.
- Повышение разрешения. Транспонированная свёртка или интерполяция вдвое увеличивают каждую сторону и возвращают грубые признаки к разрешению входа в декодере.
- Skip-соединение. Карта признаков энкодера на данном разрешении копируется в декодер и объединяется с повышенными признаками. Оно возвращает мелкие детали – края и тонкие структуры, – которые потерялись при понижении.
- Самовнимание. Каждый токен, то есть патч изображения или объёма, вычисляет, насколько для него важен каждый другой токен, и берёт взвешенную сумму их значений. Обзор глобальный уже в одном слое; стоимость растёт с квадратом числа токенов.
- Оконное внимание. Внимание только внутри фиксированных окон токенов держит стоимость пропорциональной числу токенов. Swin сдвигает окна от слоя к слою, чтобы информация всё же переходила через их границы.
- Остаточный блок. Блок учит поправку F, которая прибавляется к его входу. Тождественный путь пропускает градиенты через глубокие сети; из таких блоков построены остаточный энкодер nnU-Net и SegResNet.
Рядом
| 3D-объёмы (DICOM / NIfTI) | Хирургическое видео (2D+t) | |
|---|---|---|
| Входной тензор | C × D × H × W, один объём, обучение на патчах |
B × T × C × H × W, последовательность кадров |
| Ограничение, определяющее модель | Память GPU: размер патча × батч × ширина сети | Время: один межкадровый интервал, 33 мс при 30 кадр/с |
| Базовые фреймворки | MONAI, nnU-Net | PyTorch, torchvision, TensorRT, Holoscan |
| Характерные архитектуры | nnU-Net (остаточный U-Net), SegResNet, Swin UNETR, VISTA-3D | DeepLabV3+, SegFormer, SAM 2, видеотрансформеры |
| Трудности данных | Анизотропный шаг вокселя, различия сканеров и протоколов, неполная разметка | Дым, кровь, блики, смазывание, перекрытия |
| Обычные метрики | Dice, 95-й перцентиль расстояния Хаусдорфа, поверхностный Dice | IoU и mean IoU, граничный F1, стабильность между кадрами, задержка p50 / p95 |
| Типичные открытые данные | TotalSegmentator, BTCV, KiTS, BraTS | CholecSeg8k, CholecT50, EndoVis 2017 |
О трансформерах для объёмов: тщательный бенчмарк авторов nnU-Net, nnU-Net Revisited (MICCAI 2024), показал, что хорошо настроенные свёрточные U-Net, масштабированные под доступный GPU, не уступают сравнённым трансформерным и Mamba-моделям или превосходят их. Прежде чем брать новую архитектуру, начните с сильного свёрточного baseline.
Выберите отправную точку
Выберите задачу и оборудование, на котором будет работать модель. Без JavaScript ниже показаны все шесть рекомендаций.
Мультиорганная КТ · GPU рабочей станции
Начните с nnU-Net, обученного на вашей разметке; пресет ResEnc L рассчитан на GPU с 24 ГБ. Если нужные структуры уже покрыты, сначала попробуйте готовую модель: TotalSegmentator (117 классов в задаче КТ по умолчанию), бандл MONAI wholeBody_ct_segmentation (SegResNet, 104 структуры) или vista3d (127 классов и интерактивная правка кликами).
- Препроцессинг: деидентифицировать, конвертировать DICOM в NIfTI, привести к одной ориентации, перевести в шаг вокселя модели (1,5 мм у бандла wholeBody), обрезать и нормировать единицы Хаунсфилда так же, как при обучении модели.
- Инференс: скользящее окно с патчами от 96³ до 128³, перекрытие 0,25–0,5 и гауссово смешивание.
Мультиорганная КТ · edge-GPU
Начните с модели пониженного разрешения: TotalSegmentator с --fast или модель 3,0 мм из бандла wholeBody_ct_segmentation, в котором есть конфигурация инференса на TensorRT. На edge-устройстве для КТ обычно ограничивает память, а не время.
- Препроцессинг: как на рабочей станции, с шагом 3 мм; мелкие структуры пострадают.
- Инференс: половинная точность, максимальный помещающийся патч и меньше окон (меньшее перекрытие или обрезка по телу перед скользящим окном).
Лапароскопические инструменты · GPU рабочей станции
Начните с покадровой модели с учителем – DeepLabV3 или DeepLabV3+ на ResNet-50, обученной на CholecSeg8k. Это собственный baseline проекта M1: код обучения – в osv/train/m1.py, чекпойнт не выпущен. Чтобы вести инструмент через перекрытия, добавьте SAM 2.1 с маской покадровой модели в качестве промпта.
- Препроцессинг: полные кадры 854 × 480, разбиение по целым видео, чтобы одна операция не попала в два сплита, и лицензия CC BY-NC-SA исходных данных, перенесённая на модель.
- Оценка: IoU и граничный F1 по классам, а также то, как часто маски мерцают между соседними кадрами.
Лапароскопические инструменты · edge-GPU
Начните с лёгкого энкодера-декодера: бандл MONAI endoscopic_tool_segmentation (U-Net с энкодером EfficientNet-B2, вход 736 × 480, бинарная маска, конфигурация TensorRT) или SegFormer-B0 / B1. Бандл MONAI обучен на закрытых данных, поэтому дообучите его на своих. Если нужно распространение маски по кадрам, самая лёгкая модель SAM 2 – SAM 2.1 tiny; измерьте её на целевом устройстве.
- Развёртывание: экспорт в TensorRT в FP16, пайплайн на Holoscan или похожем фреймворке без лишних копий, измерение задержки «от стекла до стекла», p50 и p95, на реальном устройстве.
- Бюджет: попробуйте бюджет задержки, чтобы увидеть, куда уходят миллисекунды.
Опухоль на МРТ · GPU рабочей станции
Начните с nnU-Net 3d_fullres на вашей разметке. Готовые модели для опухолей мозга: бандл MONAI brats_mri_segmentation (SegResNet на четырёх последовательностях, три подобласти опухоли) и Swin UNETR из соревнования BraTS 2021.
- Препроцессинг: совместить последовательности (T1, T1c, T2, FLAIR), удалить череп, перевести в изотропный шаг 1 мм, нормировать каждый канал только по вокселям мозга.
- Оценка: Dice и HD95 по подобластям; случаи, где модель не находит опухоль, – отдельной строкой.
Опухоль на МРТ · edge-GPU
Начните с SegResNet из brats_mri_segmentation, где есть конфигурация инференса через ONNX-TensorRT, а не с трансформера.
- Инференс: обрезка по ограничивающему параллелепипеду мозга перед скользящим окном, половинная точность и препроцессинг, идентичный обучению: edge-устройство не повод менять нормировку.
Куда дальше
- Метрики: как оценивают сегментационные модели – от матрицы ошибок до расстояния Хаусдорфа, с формулами и интерактивным примером.
- Зоопарки моделей и код: MONAI Model Zoo, nnU-Net, модели torchvision, SAM 2, OpenSurgicalVision.
- Объёмы: TotalSegmentator, BTCV, KiTS, BraTS.
- Видео: CholecSeg8k, EndoVis 2017 и страницы проекта о датасетах и экспериментах.
- Участие: трек разработки и темы научных работ.