3D-ОБЪЁМЫ

Сегментация 3D-объёмов: КТ и МРТ

Фреймворки, архитектуры и практика инференса для сегментации объёмов DICOM и NIfTI: патчи, память GPU, скользящее окно и модели, с которых стоит начинать.

Объём КТ или МРТ – трёхмерная сетка вокселей. Инструменты для работы с ним отличаются от 2D-компьютерного зрения по трём причинам: объём велик, шаг вокселя анизотропен, а анатомии нужен контекст на десятки сантиметров. На этой странице – данные, фреймворки, основные архитектуры и то, как размер патча, память GPU и инференс скользящим окном уравновешивают друг друга. Про видео – сегментация хирургического видео; обзор – сравнение двух случаев.

От DICOM к тензору

  • DICOM хранит исследование как серию 2D-срезов, у каждого – заголовок: данные пациента и исследования, положение и ориентация среза, размер пикселя, наклон и смещение шкалы. В заголовках есть персональные данные, а на некоторых изображениях – вшитый текст, поэтому деидентификация идёт первой; конвейер проекта – в osv/deid.
  • NIfTI хранит весь объём одним файлом с аффинной матрицей, которая переводит индексы вокселей в миллиметры. Большая часть кода обучения читает NIfTI; обычный конвертер – dcm2niix.
  • Ориентация и шаг. Выберите одну систему осей (например, RAS) и один целевой шаг вокселя и применяйте их одинаково при обучении и инференсе. У типичной КТ живота пиксели внутри среза 0,6–0,9 мм, а шаг между срезами от 1 до 5 мм.
  • Интенсивности. Значения КТ – единицы Хаунсфилда, они сопоставимы между сканерами, поэтому модели обрезают их окном и масштабируют. У интенсивностей МРТ нет фиксированной шкалы, поэтому каждое исследование нормируют отдельно, обычно z-оценкой по телу или мозгу.

Фреймворки

  • MONAI Core – PyTorch для медицинских изображений: словарные 3D-трансформы, которые держат изображение и разметку согласованными, CacheDataset и PersistentDataset, сохраняющие результаты детерминированных трансформов в памяти или на диске, sliding_window_inference, функции потерь и метрики вроде Dice, расстояния Хаусдорфа и поверхностного Dice, а также бандлы – упакованные модели с конфигурациями обучения, оценки и инференса. MONAI Label отдаёт такие модели инструментам разметки (3D Slicer, OHIF) для интерактивной разметки.
  • nnU-Net (Isensee и соавт., Nature Methods 2021) читает шаг вокселя, размеры и статистику интенсивностей датасета и сам настраивает всё остальное: целевой шаг, размер патча, глубину сети, батч, аугментации. Он обучает до четырёх конфигураций: 2d, 3d_fullres, 3d_lowres и 3d_cascade_fullres, которая уточняет результат низкого разрешения. Пресеты с остаточным энкодером рассчитаны на бюджет GPU: ResEnc M – на 9–11 ГБ, L – на 24 ГБ, XL – на 40 ГБ.
  • PyTorch DDP распределяет обучение по нескольким GPU. В 3D батч на один GPU мал, часто два патча, поэтому параллелизм по данным в основном даёт больший эффективный батч и меньшее время; шардированное обучение (FSDP) нужно, только когда веса модели не помещаются в один GPU, а для сегментационных сетей это редкость.

Архитектуры

Модель Идея Источник
3D U-Net Энкодер-декодер из 3D-свёрток со skip-соединениями между уровнями одного разрешения Çiçek и соавт., MICCAI 2016
V-Net 3D U-Net с остаточными блоками и Dice-функцией потерь Milletari и соавт., 3DV 2016
SegResNet Остаточный энкодер и лёгкий декодер; модель по умолчанию во многих бандлах MONAI Myronenko, BrainLes 2018
UNETR Обычный vision transformer в роли энкодера на патчах объёма 16³ и свёрточный декодер Hatamizadeh и соавт., WACV 2022
Swin UNETR Иерархический Swin-трансформер со смещёнными окнами внимания в роли энкодера Hatamizadeh и соавт., 2022; предобучение: Tang и соавт., CVPR 2022
nnU-Net ResEnc U-Net с остаточным энкодером внутри nnU-Net, масштабированный под GPU Isensee и соавт., MICCAI 2024

Трансформеры обещали глобальный контекст, и на некоторых бенчмарках сообщается о выигрыше. Строгая переоценка авторов nnU-Net показала, что большинство таких утверждений не выдерживает сравнения с хорошо настроенным свёрточным baseline при тех же вычислениях: остаточный U-Net в nnU-Net, масштабированный под оборудование, оказался самым сильным рецептом. Публикуйте конфигурацию и бюджет baseline рядом с результатом любой новой модели.

3D U-Net по уровням

  • свёртка
  • внимание
  • смена разрешения
  • память, состояние
  • вход, выход
патч КТ1 × 96³маскаK классов × 96³32 · 96³132 · 96³шаг 2×264 · 48³64 · 48³шаг 2×2128 · 24³128 · 24³шаг 2×2256 · 12³256 · 12³копия + concat5320 · 6³324свёртка 1×1×1, softmax6доп.доп.7энкодердекодер
Ширины и размеры – пример для патча 96³; nnU-Net подбирает их под каждый датасет.
  1. Свёрточный блок. Две свёртки 3×3×3, после каждой – нормализация (instance norm в nnU-Net) и нелинейность. «32 · 96³» – 32 канала признаков на сетке 96³.
  2. Понижение. Свёртка с шагом 2 вдвое уменьшает каждую сторону, поэтому на следующем уровне в восемь раз меньше вокселей и можно позволить вдвое больше каналов.
  3. Бутылочное горлышко. Самый грубый уровень, здесь 6³: признаки каждого вокселя обобщают большую часть патча.
  4. Повышение. Транспонированная свёртка снова вдвое увеличивает каждую сторону.
  5. Skip-соединение. Признаки энкодера того же размера объединяются с повышенными и восстанавливают границы, которые бутылочное горлышко не смогло сохранить.
  6. Выходная голова. Свёртка 1×1×1 переводит признаки в оценку для каждого класса в каждом вокселе; softmax превращает оценки в вероятности.
  7. Глубокий контроль (deep supervision). nnU-Net считает функцию потерь и на уменьшенных масках нижних уровней декодера – это помогает учиться глубоким слоям.

UNETR: трансформер в роли энкодера

объём1 × 96³патчи 16³216 токенов1линейноевложение + позиция21234567891011123слои трансформераz3↑ до 48³448³z6↑ до 24³24³z9↑ до 12³12³z126³6³5свёртка96³96³свёртка 1×1×16маскаK × 96³
UNETR в варианте из статьи: патчи 16³, 12 слоёв трансформера, выходы слоёв 3, 6, 9 и 12.
  1. Патчи как токены. Объём 96³ режется на патчи 16³: 6 × 6 × 6 = 216 токенов, каждый – вектор из 4096 значений вокселей.
  2. Вложение. Линейный слой переводит каждый патч в вектор из 768 значений и добавляет обучаемое позиционное вложение, потому что само внимание не знает, откуда пришёл токен.
  3. Слои трансформера. Двенадцать слоёв многоголового самовнимания и MLP. Каждый токен видит каждый другой уже с первого слоя.
  4. Отводы. Выходы слоёв 3, 6, 9 и 12 переводятся обратно в сетки 6³ и транспонированными свёртками повышаются до 48³, 24³ и 12³; слой 12 остаётся 6³.
  5. Декодер. Как в U-Net: повысить, объединить с отводом того же размера, свернуть.
  6. Выход. Свёртка по входному объёму сохраняет детали полного разрешения; последний блок декодера присоединяет их, а свёртка 1×1×1 даёт маску.

Swin UNETR: окна, которые сдвигаются

слой l: окна1слой l+1: сдвиг2стадия 1 · 48³стадия 2 · 24³3стадия 3 · 12³стадия 4 · 6³слияние патчей
Нарисовано в 2D с окнами 4 × 4; Swin UNETR использует 3D-окна из 7 × 7 × 7 токенов.
  1. Окна. Токены видят только токены своего окна, поэтому стоимость растёт линейно с объёмом, а не с его квадратом.
  2. Сдвинутые окна. Следующий слой сдвигает сетку окон на половину окна: токены, стоявшие у границы, теперь делят окно с соседями по другую её сторону.
  3. Стадии. Слияние патчей объединяет 2 × 2 × 2 соседних токена и вдвое уменьшает сетку на каждой стадии, как понижение в U-Net; выходы стадий идут в свёрточный декодер через skip-соединения.

Модели для всего тела и фундаментальные модели

  • TotalSegmentator (Wasserthal и соавт., Radiology: AI 2023) – набор моделей nnU-Net: 104 структуры в статье, 117 в текущей задаче КТ по умолчанию и задача для МРТ с 50 классами. Это самый быстрый путь к маскам всего тела, а его датасет – частый источник для обучения других моделей.
  • VISTA-3D (He и соавт., 2024) объединяет автоматическую сегментацию 127 классов, интерактивную 3D-сегментацию по кликам и zero-shot сегментацию структур, на которых модель не обучалась. Доступна как бандл MONAI vista3d с патчами 128³.

Генерация объёмов вместе с масками

MAISI (Guo и соавт., WACV 2025) генерирует объёмы КТ латентной диффузией: автоэнкодер сжимает объём, диффузионная модель генерирует в сжатом пространстве, а ControlNet обусловливает результат маской сегментации до 127 структур. Поскольку маска задаётся первой, у каждого сгенерированного объёма есть разметка. Текущий бандл maisi_ct_generative добавляет Rectified Flow для более быстрой генерации. Веса бандла распространяются по некоммерческой лицензии; проверьте её, прежде чем обучать на результатах.

маскадо 127 структур1ControlNet2шумдиффузионная модельв латентном пространствеRectified Flow3декодеравтоэнкодера4объём КТ5маска – его разметка
Путь генерации; при обучении у автоэнкодера есть ещё энкодер, который сжимает настоящие объёмы КТ.
  1. Маска. Объём разметки до 127 анатомических структур – нарисованный вручную или взятый из настоящей сегментации.
  2. ControlNet. Обучаемая копия энкодера диффузионной сети: читает маску и направляет каждый шаг очистки от шума.
  3. Латентная диффузия. Модель начинает с шума и шаг за шагом очищает его в сжатом пространстве автоэнкодера – так 3D-генерация в высоком разрешении становится посильной; Rectified Flow требует меньше шагов.
  4. Декодер. Декодер автоэнкодера превращает латентное представление в объём КТ полного разрешения.
  5. Пара. Объём генерируется под маску, поэтому вместе они сразу годятся для обучения сегментационной модели.

Размер патча, память и скользящее окно

Сеть обучается на патчах, вырезанных из объёма, а предсказывает весь объём, сдвигая по нему окно того же размера. Большие патчи дают больше контекста и меньше окон, но требуют больше памяти: память на активации свёрточной сети растёт примерно пропорционально числу вокселей в патче. Перекрытие окон меняет время на более гладкие стыки: у края окна предсказания слабее, поэтому перекрывающиеся окна смешивают с гауссовым весом, который отдаёт предпочтение центру каждого окна (в MONAI – mode="gaussian" с sigma_scale=0.125; nnU-Net использует ту же σ в одну восьмую патча и шаг в половину патча).

1объём (один его срез)крайцентркрайвес внутри окнаσ = патч / 82предсказание =Σ вес · окно÷ Σ вес3
Шесть окон над одним срезом объёма; в 3D окна – кубы, а вес – трёхмерная гауссиана.
  1. Окна. Перекрывающиеся окна размером с патч покрывают объём; сеть предсказывает каждое отдельно.
  2. Гауссов вес. Внутри окна предсказания у центра весят больше, чем у края, где сеть видела меньше контекста.
  3. Сшивка. Предсказание каждого вокселя – взвешенное среднее всех окон, которые его покрыли.

Ориентиры из документации моделей:

Модель Патч Память
MONAI wholeBody_ct_segmentation, Swin UNETR BTCV 96³ по умолчанию в бандле
MONAI vista3d 128³ по умолчанию в бандле
nnU-Net ResEnc M / L / XL подбирается под датасет 9–11 / 24 / 40 ГБ при обучении

Калькулятор ниже считает, сколько окон sliding_window_inference из MONAI расставит по объёму, по его правилу: шаг – размер патча, умноженный на единицу минус перекрытие; окна ставятся, пока одно не достанет до дальнего края; ось короче патча дополняется до его размера.

Пример. КТ живота с шагом 1,5 мм – это около 200 × 256 × 256 вокселей. С окнами 96³ и перекрытием 0,25 шаг равен 72 вокселям: 3 окна по глубине и по 4 вдоль каждой оси в плоскости среза, всего 48 окон, и каждый воксель в среднем предсказывается 3,24 раза. Если увеличить ребро патча вдвое, до 192³, окон станет 8, но памяти на активации одного окна понадобится примерно в восемь раз больше.

Как уместить модель или патч побольше: смешанная точность, gradient checkpointing, меньший батч с накоплением градиентов, обрезка по телу перед нарезкой на патчи, скользящее окно с объёмом в памяти CPU и только окнами на GPU (аргументы sw_device и device в MONAI).

Как измерять

Формулы этих метрик с рисунками и интерактивным примером – на странице о метриках.

  • Dice по каждому классу, а не только среднее по классам: большой орган скрывает пропущенный маленький.
  • 95-й перцентиль расстояния Хаусдорфа (HD95) и нормированный поверхностный Dice для границ – в миллиметрах, с учётом шага вокселя.
  • Пустые предсказания и пустую разметку отмечайте явно: если пусто и то и другое, Dice не определён. Выбрать метрики под задачу помогает Metrics Reloaded (Maier-Hein и соавт., Nature Methods 2024).
  • Разбивайте по пациентам, а не по срезам или патчам, и не трогайте тестовую выборку до финального запуска.

Источники

Назад к сравнению объёмов и видео.