Объём КТ или МРТ – трёхмерная сетка вокселей. Инструменты для работы с ним отличаются от 2D-компьютерного зрения по трём причинам: объём велик, шаг вокселя анизотропен, а анатомии нужен контекст на десятки сантиметров. На этой странице – данные, фреймворки, основные архитектуры и то, как размер патча, память GPU и инференс скользящим окном уравновешивают друг друга. Про видео – сегментация хирургического видео; обзор – сравнение двух случаев.
От DICOM к тензору
- DICOM хранит исследование как серию 2D-срезов, у каждого – заголовок: данные пациента и исследования, положение и ориентация среза, размер пикселя, наклон и смещение шкалы. В заголовках есть персональные данные, а на некоторых изображениях – вшитый текст, поэтому деидентификация идёт первой; конвейер проекта – в osv/deid.
- NIfTI хранит весь объём одним файлом с аффинной матрицей, которая переводит индексы вокселей в миллиметры. Большая часть кода обучения читает NIfTI; обычный конвертер – dcm2niix.
- Ориентация и шаг. Выберите одну систему осей (например, RAS) и один целевой шаг вокселя и применяйте их одинаково при обучении и инференсе. У типичной КТ живота пиксели внутри среза 0,6–0,9 мм, а шаг между срезами от 1 до 5 мм.
- Интенсивности. Значения КТ – единицы Хаунсфилда, они сопоставимы между сканерами, поэтому модели обрезают их окном и масштабируют. У интенсивностей МРТ нет фиксированной шкалы, поэтому каждое исследование нормируют отдельно, обычно z-оценкой по телу или мозгу.
Фреймворки
- MONAI Core – PyTorch для медицинских изображений: словарные 3D-трансформы, которые держат изображение и разметку согласованными,
CacheDatasetиPersistentDataset, сохраняющие результаты детерминированных трансформов в памяти или на диске,sliding_window_inference, функции потерь и метрики вроде Dice, расстояния Хаусдорфа и поверхностного Dice, а также бандлы – упакованные модели с конфигурациями обучения, оценки и инференса. MONAI Label отдаёт такие модели инструментам разметки (3D Slicer, OHIF) для интерактивной разметки. - nnU-Net (Isensee и соавт., Nature Methods 2021) читает шаг вокселя, размеры и статистику интенсивностей датасета и сам настраивает всё остальное: целевой шаг, размер патча, глубину сети, батч, аугментации. Он обучает до четырёх конфигураций:
2d,3d_fullres,3d_lowresи3d_cascade_fullres, которая уточняет результат низкого разрешения. Пресеты с остаточным энкодером рассчитаны на бюджет GPU: ResEnc M – на 9–11 ГБ, L – на 24 ГБ, XL – на 40 ГБ. - PyTorch DDP распределяет обучение по нескольким GPU. В 3D батч на один GPU мал, часто два патча, поэтому параллелизм по данным в основном даёт больший эффективный батч и меньшее время; шардированное обучение (FSDP) нужно, только когда веса модели не помещаются в один GPU, а для сегментационных сетей это редкость.
Архитектуры
| Модель | Идея | Источник |
|---|---|---|
| 3D U-Net | Энкодер-декодер из 3D-свёрток со skip-соединениями между уровнями одного разрешения | Çiçek и соавт., MICCAI 2016 |
| V-Net | 3D U-Net с остаточными блоками и Dice-функцией потерь | Milletari и соавт., 3DV 2016 |
| SegResNet | Остаточный энкодер и лёгкий декодер; модель по умолчанию во многих бандлах MONAI | Myronenko, BrainLes 2018 |
| UNETR | Обычный vision transformer в роли энкодера на патчах объёма 16³ и свёрточный декодер | Hatamizadeh и соавт., WACV 2022 |
| Swin UNETR | Иерархический Swin-трансформер со смещёнными окнами внимания в роли энкодера | Hatamizadeh и соавт., 2022; предобучение: Tang и соавт., CVPR 2022 |
| nnU-Net ResEnc | U-Net с остаточным энкодером внутри nnU-Net, масштабированный под GPU | Isensee и соавт., MICCAI 2024 |
Трансформеры обещали глобальный контекст, и на некоторых бенчмарках сообщается о выигрыше. Строгая переоценка авторов nnU-Net показала, что большинство таких утверждений не выдерживает сравнения с хорошо настроенным свёрточным baseline при тех же вычислениях: остаточный U-Net в nnU-Net, масштабированный под оборудование, оказался самым сильным рецептом. Публикуйте конфигурацию и бюджет baseline рядом с результатом любой новой модели.
3D U-Net по уровням
- свёртка
- внимание
- смена разрешения
- память, состояние
- вход, выход
- Свёрточный блок. Две свёртки 3×3×3, после каждой – нормализация (instance norm в nnU-Net) и нелинейность. «32 · 96³» – 32 канала признаков на сетке 96³.
- Понижение. Свёртка с шагом 2 вдвое уменьшает каждую сторону, поэтому на следующем уровне в восемь раз меньше вокселей и можно позволить вдвое больше каналов.
- Бутылочное горлышко. Самый грубый уровень, здесь 6³: признаки каждого вокселя обобщают большую часть патча.
- Повышение. Транспонированная свёртка снова вдвое увеличивает каждую сторону.
- Skip-соединение. Признаки энкодера того же размера объединяются с повышенными и восстанавливают границы, которые бутылочное горлышко не смогло сохранить.
- Выходная голова. Свёртка 1×1×1 переводит признаки в оценку для каждого класса в каждом вокселе; softmax превращает оценки в вероятности.
- Глубокий контроль (deep supervision). nnU-Net считает функцию потерь и на уменьшенных масках нижних уровней декодера – это помогает учиться глубоким слоям.
UNETR: трансформер в роли энкодера
- Патчи как токены. Объём 96³ режется на патчи 16³: 6 × 6 × 6 = 216 токенов, каждый – вектор из 4096 значений вокселей.
- Вложение. Линейный слой переводит каждый патч в вектор из 768 значений и добавляет обучаемое позиционное вложение, потому что само внимание не знает, откуда пришёл токен.
- Слои трансформера. Двенадцать слоёв многоголового самовнимания и MLP. Каждый токен видит каждый другой уже с первого слоя.
- Отводы. Выходы слоёв 3, 6, 9 и 12 переводятся обратно в сетки 6³ и транспонированными свёртками повышаются до 48³, 24³ и 12³; слой 12 остаётся 6³.
- Декодер. Как в U-Net: повысить, объединить с отводом того же размера, свернуть.
- Выход. Свёртка по входному объёму сохраняет детали полного разрешения; последний блок декодера присоединяет их, а свёртка 1×1×1 даёт маску.
Swin UNETR: окна, которые сдвигаются
- Окна. Токены видят только токены своего окна, поэтому стоимость растёт линейно с объёмом, а не с его квадратом.
- Сдвинутые окна. Следующий слой сдвигает сетку окон на половину окна: токены, стоявшие у границы, теперь делят окно с соседями по другую её сторону.
- Стадии. Слияние патчей объединяет 2 × 2 × 2 соседних токена и вдвое уменьшает сетку на каждой стадии, как понижение в U-Net; выходы стадий идут в свёрточный декодер через skip-соединения.
Модели для всего тела и фундаментальные модели
- TotalSegmentator (Wasserthal и соавт., Radiology: AI 2023) – набор моделей nnU-Net: 104 структуры в статье, 117 в текущей задаче КТ по умолчанию и задача для МРТ с 50 классами. Это самый быстрый путь к маскам всего тела, а его датасет – частый источник для обучения других моделей.
- VISTA-3D (He и соавт., 2024) объединяет автоматическую сегментацию 127 классов, интерактивную 3D-сегментацию по кликам и zero-shot сегментацию структур, на которых модель не обучалась. Доступна как бандл MONAI vista3d с патчами 128³.
Генерация объёмов вместе с масками
MAISI (Guo и соавт., WACV 2025) генерирует объёмы КТ латентной диффузией: автоэнкодер сжимает объём, диффузионная модель генерирует в сжатом пространстве, а ControlNet обусловливает результат маской сегментации до 127 структур. Поскольку маска задаётся первой, у каждого сгенерированного объёма есть разметка. Текущий бандл maisi_ct_generative добавляет Rectified Flow для более быстрой генерации. Веса бандла распространяются по некоммерческой лицензии; проверьте её, прежде чем обучать на результатах.
- Маска. Объём разметки до 127 анатомических структур – нарисованный вручную или взятый из настоящей сегментации.
- ControlNet. Обучаемая копия энкодера диффузионной сети: читает маску и направляет каждый шаг очистки от шума.
- Латентная диффузия. Модель начинает с шума и шаг за шагом очищает его в сжатом пространстве автоэнкодера – так 3D-генерация в высоком разрешении становится посильной; Rectified Flow требует меньше шагов.
- Декодер. Декодер автоэнкодера превращает латентное представление в объём КТ полного разрешения.
- Пара. Объём генерируется под маску, поэтому вместе они сразу годятся для обучения сегментационной модели.
Размер патча, память и скользящее окно
Сеть обучается на патчах, вырезанных из объёма, а предсказывает весь объём, сдвигая по нему окно того же размера. Большие патчи дают больше контекста и меньше окон, но требуют больше памяти: память на активации свёрточной сети растёт примерно пропорционально числу вокселей в патче. Перекрытие окон меняет время на более гладкие стыки: у края окна предсказания слабее, поэтому перекрывающиеся окна смешивают с гауссовым весом, который отдаёт предпочтение центру каждого окна (в MONAI – mode="gaussian" с sigma_scale=0.125; nnU-Net использует ту же σ в одну восьмую патча и шаг в половину патча).
- Окна. Перекрывающиеся окна размером с патч покрывают объём; сеть предсказывает каждое отдельно.
- Гауссов вес. Внутри окна предсказания у центра весят больше, чем у края, где сеть видела меньше контекста.
- Сшивка. Предсказание каждого вокселя – взвешенное среднее всех окон, которые его покрыли.
Ориентиры из документации моделей:
| Модель | Патч | Память |
|---|---|---|
| MONAI wholeBody_ct_segmentation, Swin UNETR BTCV | 96³ | по умолчанию в бандле |
| MONAI vista3d | 128³ | по умолчанию в бандле |
| nnU-Net ResEnc M / L / XL | подбирается под датасет | 9–11 / 24 / 40 ГБ при обучении |
Калькулятор ниже считает, сколько окон sliding_window_inference из MONAI расставит по объёму, по его правилу: шаг – размер патча, умноженный на единицу минус перекрытие; окна ставятся, пока одно не достанет до дальнего края; ось короче патча дополняется до его размера.
- Окон
- 48
- Вокселей в окне
- 884 736
- Предсказаний на воксель, в среднем
- 3,24
- Память на активации окна относительно 96³
- 1,00×
Пример. КТ живота с шагом 1,5 мм – это около 200 × 256 × 256 вокселей. С окнами 96³ и перекрытием 0,25 шаг равен 72 вокселям: 3 окна по глубине и по 4 вдоль каждой оси в плоскости среза, всего 48 окон, и каждый воксель в среднем предсказывается 3,24 раза. Если увеличить ребро патча вдвое, до 192³, окон станет 8, но памяти на активации одного окна понадобится примерно в восемь раз больше.
Как уместить модель или патч побольше: смешанная точность, gradient checkpointing, меньший батч с накоплением градиентов, обрезка по телу перед нарезкой на патчи, скользящее окно с объёмом в памяти CPU и только окнами на GPU (аргументы sw_device и device в MONAI).
Как измерять
Формулы этих метрик с рисунками и интерактивным примером – на странице о метриках.
- Dice по каждому классу, а не только среднее по классам: большой орган скрывает пропущенный маленький.
- 95-й перцентиль расстояния Хаусдорфа (HD95) и нормированный поверхностный Dice для границ – в миллиметрах, с учётом шага вокселя.
- Пустые предсказания и пустую разметку отмечайте явно: если пусто и то и другое, Dice не определён. Выбрать метрики под задачу помогает Metrics Reloaded (Maier-Hein и соавт., Nature Methods 2024).
- Разбивайте по пациентам, а не по срезам или патчам, и не трогайте тестовую выборку до финального запуска.
Источники
- Cardoso и соавт. MONAI: An open-source framework for deep learning in healthcare. 2022.
- Isensee и соавт. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nature Methods, 2021; nnU-Net Revisited. MICCAI 2024.
- Wasserthal и соавт. TotalSegmentator: Robust Segmentation of 104 Anatomic Structures in CT Images. Radiology: Artificial Intelligence, 2023.
- He и соавт. VISTA3D: A Unified Segmentation Foundation Model For 3D Medical Imaging. 2024.
- Guo и соавт. MAISI: Medical AI for Synthetic Imaging. WACV 2025.
- Датасеты: BTCV (13 органов брюшной полости), KiTS19 и KiTS23 (опухоли почек), BraTS (опухоли мозга).
Назад к сравнению объёмов и видео.