ЛЕКЦИЯ 8

Лекция 8. Архитектуры в MONAI Core и Lightning

От U-Net к трансформерам: UNETR и SwinUNETR в MONAI, базовая модель VISTA-3D с автоматической сегментацией и правкой по кликам, обучение на нескольких GPU с DDP и FSDP и смешанная точность bf16-mixed в Lightning. Со схемами, формулами, интерактивными примерами и 3D-анимациями.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Лекция 7 назвала задачи проекта. Эта лекция – о моделях, которые их решают, и о том, как их обучать, когда одного GPU мало. Это лекция 8 учебной программы, после лекции 7 о задачах M1–M5. Три темы:

  • Трансформеры для объёмов: UNETR и SwinUNETR – что меняется, когда энкодер U-Net заменяют вниманием.
  • VISTA-3D: одна модель для автоматической сегментации и правки по кликам.
  • Масштабирование: DDP, FSDP и смешанная точность bf16-mixed в Lightning.

Код сверен с MONAI 1.6.1 и Lightning 2.6.6. Основы 3D U-Net, размера патча и инференса скользящим окном – на странице об объёмах; здесь они считаются известными. Все изображения на этой странице нарисованы кодом.

Почему внимание, и сколько оно стоит

Свёртка 3 × 3 × 3 видит 27 соседних вокселей. Поле зрения растёт только с глубиной сети, и чтобы связать печень с селезёнкой на другой стороне живота, нужно много слоёв. Самовнимание связывает любые два токена уже в первом слое: каждый токен взвешивает все остальные.

Цена – число пар. Объём со стороной D, разрезанный на патчи со стороной p, даёт N токенов, и глобальное внимание оценивает N² пар в каждом слое и каждой голове. Внимание в окнах из M³ токенов оценивает только N · M³ пар. Числа ниже – для патча 96³, то есть D = 96:

N=(Dp)3 N2пар,окно:N·M3 UNETR,p=16:N=216,N2=46 656 Swin,p=2:N=110 592 N2≈1,2·1010,N·73≈3,8·107

Отсюда два решения, две архитектуры. UNETR берёт крупные патчи 16³, и токенов так мало, что глобальное внимание посильно. SwinUNETR берёт мелкие патчи 2³ и платит за это окнами: на 110 592 токенах глобальная матрица внимания одной головы в bf16 весила бы около 24 ГБ.

UNETR: ViT в роли энкодера

UNETR (Hatamizadeh и соавт., WACV 2022) берёт обычный vision transformer, ViT-B, и ставит его на место энкодера U-Net. Декодер остаётся свёрточным.

объём1 × 96³патчи 16³216 токенов1линейноевложение + позиция21234567891011123слои трансформераz3↑ до 48³448³z6↑ до 24³24³z9↑ до 12³12³z126³6³5свёртка96³96³свёртка 1×1×16маскаK × 96³
UNETR в варианте из статьи: патчи 16³, 12 слоёв трансформера, отводы от промежуточных слоёв к декодеру.

В MONAI:

from monai.networks.nets import UNETR

model = UNETR(
    in_channels=1, out_channels=14,  # BTCV: 13 органов и фон
    img_size=(96, 96, 96),           # кратно 16 по каждой оси
    feature_size=16, hidden_size=768, mlp_dim=3072, num_heads=12,
    proj_type="conv", norm_name="instance", res_block=True,
)

Что видно в коде и что из этого следует:

  • Патч зашит. В unetr.py размер патча – константа 16, а img_size обязателен, потому что позиционные вложения обучаются ровно для 6 × 6 × 6 позиций. Модель привязана к своему размеру входа: инференс идёт скользящим окном того же размера, 96³.
  • Отводы. Декодер берёт hidden_states_out[3], [6] и [9], то есть выходы 4-го, 7-го и 10-го блоков, если считать с единицы, и выход последнего слоя. В статье они названы z3, z6, z9 и z12; при сравнении с кодом это легко спутать.
  • Детали – от свёрток. Один токен покрывает 16 мм при шаге 1 мм. Тонкие края декодер берёт из свёрточной ветки, которая читает исходный объём в полном разрешении.
  • Вес. 92,8 млн параметров (посчитано в MONAI 1.6.1) – в пять раз больше, чем у SegResNet с 32 начальными фильтрами (18,8 млн).

SwinUNETR: мелкие патчи, окна и сдвиг

SwinUNETR (Hatamizadeh и соавт., 2022) берёт энкодер Swin Transformer (Liu и соавт., ICCV 2021). Он устроен как свёрточный энкодер: четыре стадии, и каждая вдвое уменьшает сетку.

  1. Патчи 2³. Токенов много, и каждый мелкий: при шаге 1 мм это 2 мм.
  2. Окна 7³. Внимание считается только внутри окна из 343 токенов, поэтому стоимость растёт линейно с объёмом.
  3. Сдвиг. В каждом втором слое сетка окон сдвигается на половину окна, 7 // 2 = 3 токена по каждой оси, и токены у границы окна оказываются в одном окне с соседями по другую её сторону.
  4. Слияние патчей. Между стадиями 2 × 2 × 2 соседних токена сливаются в один, а число каналов удваивается: получается иерархия признаков, как у U-Net, и её выходы идут в свёрточный декодер через skip-соединения.

Сдвиг сделан хитро. Если просто сдвинуть окна, по краям объёма появятся неполные окна, и их станет больше. MONAI вместо этого циклически прокручивает сами токены, torch.roll на −3 по каждой оси, режет на прежнее число окон и накладывает маску внимания: токены, перескочившие с противоположной стороны, в одном окне друг друга не видят. После внимания токены прокручиваются обратно.

Зачем нужен сдвиг, видно на игрушке. Сетка 16 × 16 токенов с окнами 4 × 4 – так страница об объёмах рисует Swin в 2D. Нажмите на токен и посмотрите, до скольких токенов дойдёт его информация за L слоёв.

Без сдвига информация навсегда остаётся в своём окне из 16 токенов, сколько слоёв ни добавляй. Со сдвигом каждые два слоя расширяют охват, а слияние патчей между стадиями ускоряет рост ещё больше.

В MONAI 1.6.1:

from monai.networks.nets import SwinUNETR

model = SwinUNETR(
    in_channels=1, out_channels=14,
    feature_size=48,       # по умолчанию 24; 48 – как у предобученных весов
    use_checkpoint=True,   # пересчитывать активации в обратном проходе
)
# patch_size=2, depths=(2, 2, 2, 2), num_heads=(3, 6, 12, 24), window_size=7 – значения по умолчанию
  • Нет img_size. Старые примеры передают img_size=(96, 96, 96); в текущем MONAI этого параметра нет. Вместо него проверка в forward: каждая сторона входа должна делиться на patch_size ** 5, то есть на 32. Подходят 96 и 128. Кадр видео 854 × 480 для 2D-варианта (spatial_dims=2) придётся дополнить до 864 по ширине: 480 делится на 32, 854 – нет.
  • Вес. 62,2 млн параметров при feature_size=48 – меньше, чем у UNETR, но активаций в памяти гораздо больше: токенов в 512 раз больше на первой стадии. Цифры – в разделе о памяти ниже.
  • use_v2=True добавляет остаточный свёрточный блок в начало каждой стадии (SwinUNETR-V2).
  • Предобучение. Tang и соавт. (CVPR 2022) предобучили энкодер самообучением на 5050 открытых КТ, а затем дообучали на BTCV и Medical Segmentation Decathlon. Готовые веса и пример – в учебнике MONAI SwinUNETR на BTCV.

Стоит ли брать трансформер. Переоценка авторов nnU-Net (Isensee и соавт., MICCAI 2024) показала, что при равном бюджете хорошо настроенный свёрточный U-Net не уступает ни UNETR, ни SwinUNETR, а чаще выигрывает. Отправная точка для M4 – по-прежнему nnU-Net. Трансформер оправдан, когда есть предобученные веса под вашу модальность или данных столько, что предобучение окупится. Сравнение публикуется с baseline того же бюджета.

VISTA-3D: автоматика и клики в одной модели

VISTA-3D (He и соавт., 2024) – базовая модель для КТ. Она обучена на 11 454 объёмах и автоматически сегментирует 127 классов анатомии и поражений. Кроме того, она принимает клики в 3D и правит по ним свой ответ, а по кликам может выделить и структуру, которой не было в обучении.

объём КТпатч 128³энкодер SegResNetсвёрточный, общийпризнакикаждого вокселяномер классаодин из 127голова классоввложение класса · признакиголова точеккак декодер SAMклики+ и − в 3Dслияниеу кликов – клики
Один энкодер, две головы. Автоматическая ветка получает номер класса, интерактивная – клики; около кликов побеждает интерактивная.

Что внутри, по коду MONAI (monai/networks/nets/vista3d.py):

  • Энкодер свёрточный. Это SegResNetDS2, а не трансформер: «базовая» здесь значит «обучена на большом и разнообразном наборе», а не «построена на внимании». Всего 218,0 млн параметров, и почти все они в энкодере; головы весят меньше миллиона.
  • Голова классов. У каждого номера класса есть обучаемое вложение. Маска класса – скалярное произведение этого вложения с признаками каждого вокселя, а затем сигмоида. Классы не конкурируют через softmax, поэтому новый класс при дообучении – это новое вложение, а не новый выходной слой.
  • Голова точек. Устроена как декодер SAM: координаты кликов и их знак (+ или −) превращаются в токены, которые читают признаки объёма и дают бинарную маску объекта под кликами.
  • Слияние. Если заданы и класс, и клики, gaussian_combine около каждого клика заменяет автоматический ответ ответом головы точек, и вес этой замены падает с расстоянием по гауссиане.

Так модель закрывает рабочий цикл лекции 3: автоматика размечает когорту, а человек несколькими кликами правит её ошибки, не перерисовывая всё. Попробуйте на срезе фантома из лекции 1. Автоматический ответ здесь с двумя ошибками: печень вылезла за свой край, в жир и в желудок, а задняя часть селезёнки пропущена. Выберите класс, режим клика и щёлкните там, где ошибка.

Минус на жире у края печени убирает лишнее, плюс на задней части селезёнки добавляет пропущенное. Всё, что дальше радиуса, остаётся как было. Игрушка упрощает две вещи: голова точек здесь идеальна и возвращает ровно тот орган, на который нажали, а граница влияния резкая, тогда как VISTA-3D смешивает ответы плавно.

Как запустить. Модель распространяется бандлом MONAI vista3d с патчем 128³; при нехватке памяти README бандла советует уменьшить patch_size до 96³. Команды из README:

python -m monai.bundle download "vista3d" --bundle_dir "bundles/"
cd bundles/vista3d
# автоматически, один класс по его номеру
python -m monai.bundle run --config_file configs/inference.json --input_dict "{'image':'spleen_03.nii.gz','label_prompt':[3]}"
# по кликам: точки в вокселях, 1 – объект, 0 – фон
python -m monai.bundle run --config_file configs/inference.json --input_dict "{'image':'spleen_03.nii.gz','points':[[128,128,16],[100,100,16]],'point_labels':[1,0]}"

Номера классов – в configs/metadata.json бандла.

Где «сотни классов». У самой VISTA-3D их 127. Сотни классов – у её наследника NV-Segment-CTMR: он начинает с чекпоинта VISTA-3D, дообучен на более чем 30 тысячах КТ и МРТ и сегментирует свыше 300 классов, но только автоматически, без кликов.

Лицензии. Код – Apache 2.0. Для весов источники расходятся: README репозитория VISTA называет для VISTA-3D NVIDIA Open Model License, допускающую коммерческое использование, а README бандла в model zoo – лицензию NCLS v1. Веса NV-Segment-CTMR некоммерческие. Прежде чем строить на весах что-то, кроме исследования, проверьте лицензию именно того файла, который скачали.

Для проекта. VISTA-3D и TotalSegmentator – отправные точки для M4, предоперационной 3D-сегментации. Обе работают на КТ, а не на лапароскопическом видео. Объёмы пациентов, на которых их запускают, проходят деидентификацию и остаются там, где хранятся.

Обучение на нескольких GPU

Lightning в двух словах

Lightning отделяет то, что считает модель, от того, где и как она считается. Модель – это LightningModule с training_step, validation_step и configure_optimizers. Устройства, стратегию распределения и точность задают аргументы Trainer. Lightning сам запускает процессы, оборачивает модель, ставит DistributedSampler и собирает метрики со всех GPU.

import lightning as L
import torch
from monai.inferers import sliding_window_inference
from monai.losses import DiceCELoss
from monai.networks.nets import SwinUNETR


class Segmenter(L.LightningModule):
    def __init__(self):
        super().__init__()
        self.net = SwinUNETR(in_channels=1, out_channels=14, feature_size=48, use_checkpoint=True)
        self.loss = DiceCELoss(to_onehot_y=True, softmax=True)

    def training_step(self, batch, batch_idx):
        loss = self.loss(self.net(batch["image"]), batch["label"])
        self.log("train/loss", loss, sync_dist=True)
        return loss

    def validation_step(self, batch, batch_idx):
        logits = sliding_window_inference(batch["image"], roi_size=(96, 96, 96), sw_batch_size=4,
                                          predictor=self.net, overlap=0.5)
        self.log("val/loss", self.loss(logits, batch["label"]), sync_dist=True)

    def configure_optimizers(self):
        return torch.optim.AdamW(self.parameters(), lr=1e-4, weight_decay=1e-5)


trainer = L.Trainer(accelerator="gpu", devices=4, strategy="ddp", precision="bf16-mixed", max_epochs=300)
trainer.fit(Segmenter(), train_loader, val_loader)

Загрузчики – из лекции 6. Переход с одного GPU на четыре или с DDP на FSDP меняет одну строку Trainer, а не модель.

DDP: копия модели на каждом GPU

Distributed Data Parallel запускает по процессу на каждый GPU. У каждого процесса полная копия модели и своя часть батча. В обратном проходе градиенты усредняются по всем GPU операцией all-reduce, пачками, параллельно с вычислениями. После этого все копии делают одинаковый шаг и остаются одинаковыми.

DDPFSDPвся модель на каждом GPUвеса, градиенты, Adam: 16 байт на параметрпрямой и обратный проходна своей части батчаall-reduceсреднее градиентов по всем GPUодинаковый шаг Adamна каждом GPUу каждого GPU 1/N всеговеса, градиенты, Adam: 16/N байт на параметрall-gather перед каждым слоемвеса слоя целиком, на времяпрямой и обратный проходзатем полные веса освобождаютсяreduce-scatterкаждому GPU – его 1/N градиентовшаг Adamтолько по своему шарду
Один шаг обучения. Слева DDP, справа FSDP; пунктир – сбор и проход повторяются для каждого слоя.

Три следствия:

  • Эффективный батч – N · b: четыре GPU по два патча дают батч 8. Скорость обучения подбирают под эффективный батч.
  • BatchNorm на каждом GPU считает статистику по своим двум патчам. Сети MONAI для 3D по умолчанию используют instance norm, которой это не важно. Если в модели есть BatchNorm, у Trainer есть флаг sync_batchnorm=True.
  • Логи со всех GPU усредняются, только если передать sync_dist=True, как в примере выше.

FSDP: каждому GPU – доля всего

Fully Sharded Data Parallel делит между GPU не только данные, но и саму модель. Каждый GPU хранит 1/N весов, градиентов и состояния оптимизатора. Перед каждым слоем его веса собираются целиком (all-gather), используются и освобождаются, а градиенты расходятся по владельцам (reduce-scatter). Это идея ZeRO (Rajbhandari и соавт., 2020), реализованная в PyTorch (Zhao и соавт., 2023).

Сколько это экономит, если считать по Adam, Ψ параметров, N GPU, b патчей на GPU и A байт активаций на патч:

MDDP=16Ψ+b·A MFSDP≈16ΨN+b·A 16=4веса+4градиенты+8Adam VDDP=2·N−1N·4Ψ

Веса и градиенты в смешанной точности остаются в float32, по 4 байта, а у Adam два момента – ещё 8 байт. Последняя строка – сколько байт каждый GPU передаёт за шаг в DDP при кольцевом all-reduce.

В Lightning:

from lightning.pytorch.strategies import FSDPStrategy
from monai.networks.nets.swin_unetr import SwinTransformerBlock

strategy = FSDPStrategy(
    auto_wrap_policy={SwinTransformerBlock},               # единица сбора и освобождения
    activation_checkpointing_policy={SwinTransformerBlock},
    sharding_strategy="FULL_SHARD",                        # или SHARD_GRAD_OP, HYBRID_SHARD
)
trainer = L.Trainer(accelerator="gpu", devices=4, strategy=strategy, precision="bf16-mixed")

FULL_SHARD делит всё. SHARD_GRAD_OP держит веса целиком и делит градиенты и оптимизатор. HYBRID_SHARD делит внутри узла и копирует между узлами. Строка strategy="fsdp" даёт FULL_SHARD с настройками по умолчанию.

Главное для 3D: память съедают активации, а не веса. Мы измерили это в MONAI 1.6.1: по одному патчу 96³, считая тензоры, которые autograd сохраняет для обратного прохода, без самих весов.

Модель Параметров Веса, градиенты и Adam, 16Ψ Активации на патч, float32 Активации на патч, bf16-mixed
UNETR 92,8 млн 1,5 ГБ 1,06 ГБ 0,73 ГБ
SwinUNETR, feature_size=48 62,2 млн 1,0 ГБ 4,84 ГБ 3,98 ГБ
то же с use_checkpoint=True 62,2 млн 1,0 ГБ 2,75 ГБ 1,59 ГБ
энкодер VISTA-3D (автоматическая ветка) 218,0 млн 3,5 ГБ 2,51 ГБ 1,65 ГБ

Замер сделан на CPU, поэтому в нём нет рабочих буферов cuDNN и фрагментации памяти: на GPU реальное потребление выше. Соотношение от этого не меняется. У SwinUNETR активации одного патча в три-пять раз тяжелее весов, градиентов и Adam вместе. У UNETR с его 216 токенами они сравнимы с ними и обгоняют их уже при двух патчах на GPU. FSDP делит строку «16Ψ», а она для всех трёх моделей помещается в один GPU. Активации FSDP не делит: каждый GPU считает свои патчи сам. Поэтому для сегментационных сетей обычно хватает DDP, а память экономят иначе: патч поменьше, пересчёт активаций (use_checkpoint), bf16-mixed и один-два патча на GPU. FSDP нужен, когда 16Ψ не помещается – это модели от миллиарда параметров, не сегментационные сети этой лекции.

Проверьте сами. Полоса – память одного GPU, пунктиры – типичные объёмы карт.

Переключение с DDP на FULL_SHARD сжимает синюю, зелёную и фиолетовую части, но не оранжевую. Передача за шаг считается по настройкам Lightning: DDP усредняет градиенты в float32, а FSDP при bf16-mixed собирает веса в bfloat16 дважды (для прямого и обратного прохода) и раздаёт градиенты в bfloat16.

bf16-mixed: диапазон float32 в 16 битах

Число с плавающей точкой – это знак s, порядок e из нескольких бит со смещением b и мантисса m из k бит:

x=(−1)s·2e−b·(1+m2k)

Бит порядка задают диапазон, бит мантиссы – точность. float16 и bfloat16 занимают по 16 бит, но делят их по-разному:

Формат Бит порядка Бит мантиссы Наибольшее число Наименьшее нормальное Шаг после 1
float32 8 23 3,4 · 10³⁸ 1,2 · 10⁻³⁸ 1,2 · 10⁻⁷
float16 5 10 65 504 6,1 · 10⁻⁵ 9,8 · 10⁻⁴
bfloat16 8 7 3,4 · 10³⁸ 1,2 · 10⁻³⁸ 7,8 · 10⁻³

У float16 есть ещё денормализованные числа до 6,0 · 10⁻⁸, а всё, что меньше, становится нулём. У bfloat16 порядок как у float32, поэтому диапазон тот же, а точность – около двух-трёх значащих цифр.

Что значит «mixed». В режиме bf16-mixed Lightning включает torch.autocast: свёртки и матричные умножения идут в bfloat16 на тензорных ядрах, активации занимают меньше памяти, а веса, их обновление, нормализации, softmax и функции потерь остаются в float32. В режиме bf16-true в bfloat16 хранится всё, включая веса.

Почему это устойчивее float16. Глубокая сеть на большом объёме даёт крошечные градиенты, особенно от Dice маленьких структур, и в float16 они обнуляются. Большие значения, например логиты внимания, выше 65 504 превращаются в бесконечность, а за ней в NaN. Поэтому 16-mixed в Lightning создаёт GradScaler: он умножает функцию потерь на большой множитель, чтобы градиенты не обнулялись, и пропускает шаг, если появилась бесконечность. У bfloat16 диапазон float32, обнуления и переполнения нет, и bf16-mixed работает без масштабирования. Lightning даже выдаёт ошибку, если передать ему GradScaler вместе с bf16-mixed.

Попробуйте сами: число записывается во все три формата с округлением к ближайшему.

Градиент 2 · 10⁻⁸ во float16 обнуляется, а с множителем 2¹⁶ доживает. Логит 70 000 во float16 переполняется. Вес 1 + 10⁻³ во float16 сохраняется, а во bfloat16 становится ровно 1: маленькое обновление веса пропадает. Именно поэтому веса и их обновление остаются в float32, а bf16-true для обучения рискован.

Железо. Тензорные ядра bfloat16 есть начиная с архитектуры Ampere: A100, RTX 30xx, L4, H100 и новее. У T4 и V100 их нет, а T4 – это бесплатный GPU Colab: там берут precision="16-mixed" с GradScaler. Проверка torch.cuda.is_bf16_supported() по умолчанию возвращает True и при программной эмуляции, которая медленна. Аппаратную поддержку показывает torch.cuda.is_bf16_supported(including_emulation=False).

Где проект сейчас

В osv пока нет Lightning. M1 и M5 обучаются на чистом PyTorch на одном GPU: torch.amp.autocast, который на CUDA по умолчанию работает во float16, вместе с GradScaler (osv/train/m1.py, osv/train/desmoke.py). Функция get_default_trainer_config() объявляет точность bf16 и пересчёт активаций по умолчанию, но ни один цикл обучения её ещё не использует. Lightning, bf16-mixed и несколько GPU – цель четвёртой недели программы, а не сделанная работа. UNETR, SwinUNETR и VISTA-3D в проекте пока не обучались.

Чек-лист

  • Сравнивайте трансформер с nnU-Net или SegResNet при том же бюджете и публикуйте конфигурацию обоих.
  • Для UNETR вход фиксирован и кратен 16, для SwinUNETR – кратен 32 по каждой оси.
  • Прежде чем включать FSDP, измерьте, что занимает память. Для 3D это обычно активации: начинайте с use_checkpoint, меньшего патча и bf16-mixed.
  • Для сегментационных сетей берите DDP; FSDP – когда 16Ψ не помещается в один GPU.
  • bf16-mixed на Ampere и новее; на T4 и V100 – 16-mixed с GradScaler. bf16-true для обучения – только осознанно.
  • Подбирайте скорость обучения под эффективный батч N · b и логируйте с sync_dist=True.
  • У VISTA-3D проверьте лицензию скачанных весов и помните, что модель работает только на КТ.

Что почитать