Лекция 7 назвала задачи проекта. Эта лекция – о моделях, которые их решают, и о том, как их обучать, когда одного GPU мало. Это лекция 8 учебной программы, после лекции 7 о задачах M1–M5. Три темы:
- Трансформеры для объёмов: UNETR и SwinUNETR – что меняется, когда энкодер U-Net заменяют вниманием.
- VISTA-3D: одна модель для автоматической сегментации и правки по кликам.
- Масштабирование: DDP, FSDP и смешанная точность
bf16-mixedв Lightning.
Код сверен с MONAI 1.6.1 и Lightning 2.6.6. Основы 3D U-Net, размера патча и инференса скользящим окном – на странице об объёмах; здесь они считаются известными. Все изображения на этой странице нарисованы кодом.
Почему внимание, и сколько оно стоит
Свёртка 3 × 3 × 3 видит 27 соседних вокселей. Поле зрения растёт только с глубиной сети, и чтобы связать печень с селезёнкой на другой стороне живота, нужно много слоёв. Самовнимание связывает любые два токена уже в первом слое: каждый токен взвешивает все остальные.
Цена – число пар. Объём со стороной D, разрезанный на патчи со стороной p, даёт N токенов, и глобальное внимание оценивает N² пар в каждом слое и каждой голове. Внимание в окнах из M³ токенов оценивает только N · M³ пар. Числа ниже – для патча 96³, то есть D = 96:
Отсюда два решения, две архитектуры. UNETR берёт крупные патчи 16³, и токенов так мало, что глобальное внимание посильно. SwinUNETR берёт мелкие патчи 2³ и платит за это окнами: на 110 592 токенах глобальная матрица внимания одной головы в bf16 весила бы около 24 ГБ.
UNETR: ViT в роли энкодера
UNETR (Hatamizadeh и соавт., WACV 2022) берёт обычный vision transformer, ViT-B, и ставит его на место энкодера U-Net. Декодер остаётся свёрточным.
В MONAI:
from monai.networks.nets import UNETR
model = UNETR(
in_channels=1, out_channels=14, # BTCV: 13 органов и фон
img_size=(96, 96, 96), # кратно 16 по каждой оси
feature_size=16, hidden_size=768, mlp_dim=3072, num_heads=12,
proj_type="conv", norm_name="instance", res_block=True,
)
Что видно в коде и что из этого следует:
- Патч зашит. В
unetr.pyразмер патча – константа 16, аimg_sizeобязателен, потому что позиционные вложения обучаются ровно для 6 × 6 × 6 позиций. Модель привязана к своему размеру входа: инференс идёт скользящим окном того же размера, 96³. - Отводы. Декодер берёт
hidden_states_out[3],[6]и[9], то есть выходы 4-го, 7-го и 10-го блоков, если считать с единицы, и выход последнего слоя. В статье они названы z3, z6, z9 и z12; при сравнении с кодом это легко спутать. - Детали – от свёрток. Один токен покрывает 16 мм при шаге 1 мм. Тонкие края декодер берёт из свёрточной ветки, которая читает исходный объём в полном разрешении.
- Вес. 92,8 млн параметров (посчитано в MONAI 1.6.1) – в пять раз больше, чем у SegResNet с 32 начальными фильтрами (18,8 млн).
SwinUNETR: мелкие патчи, окна и сдвиг
SwinUNETR (Hatamizadeh и соавт., 2022) берёт энкодер Swin Transformer (Liu и соавт., ICCV 2021). Он устроен как свёрточный энкодер: четыре стадии, и каждая вдвое уменьшает сетку.
- Патчи 2³. Токенов много, и каждый мелкий: при шаге 1 мм это 2 мм.
- Окна 7³. Внимание считается только внутри окна из 343 токенов, поэтому стоимость растёт линейно с объёмом.
- Сдвиг. В каждом втором слое сетка окон сдвигается на половину окна,
7 // 2 = 3токена по каждой оси, и токены у границы окна оказываются в одном окне с соседями по другую её сторону. - Слияние патчей. Между стадиями 2 × 2 × 2 соседних токена сливаются в один, а число каналов удваивается: получается иерархия признаков, как у U-Net, и её выходы идут в свёрточный декодер через skip-соединения.
Сдвиг сделан хитро. Если просто сдвинуть окна, по краям объёма появятся неполные окна, и их станет больше. MONAI вместо этого циклически прокручивает сами токены, torch.roll на −3 по каждой оси, режет на прежнее число окон и накладывает маску внимания: токены, перескочившие с противоположной стороны, в одном окне друг друга не видят. После внимания токены прокручиваются обратно.
Зачем нужен сдвиг, видно на игрушке. Сетка 16 × 16 токенов с окнами 4 × 4 – так страница об объёмах рисует Swin в 2D. Нажмите на токен и посмотрите, до скольких токенов дойдёт его информация за L слоёв.
Без сдвига информация навсегда остаётся в своём окне из 16 токенов, сколько слоёв ни добавляй. Со сдвигом каждые два слоя расширяют охват, а слияние патчей между стадиями ускоряет рост ещё больше.
В MONAI 1.6.1:
from monai.networks.nets import SwinUNETR
model = SwinUNETR(
in_channels=1, out_channels=14,
feature_size=48, # по умолчанию 24; 48 – как у предобученных весов
use_checkpoint=True, # пересчитывать активации в обратном проходе
)
# patch_size=2, depths=(2, 2, 2, 2), num_heads=(3, 6, 12, 24), window_size=7 – значения по умолчанию
- Нет
img_size. Старые примеры передаютimg_size=(96, 96, 96); в текущем MONAI этого параметра нет. Вместо него проверка вforward: каждая сторона входа должна делиться наpatch_size ** 5, то есть на 32. Подходят 96 и 128. Кадр видео 854 × 480 для 2D-варианта (spatial_dims=2) придётся дополнить до 864 по ширине: 480 делится на 32, 854 – нет. - Вес. 62,2 млн параметров при
feature_size=48– меньше, чем у UNETR, но активаций в памяти гораздо больше: токенов в 512 раз больше на первой стадии. Цифры – в разделе о памяти ниже. use_v2=Trueдобавляет остаточный свёрточный блок в начало каждой стадии (SwinUNETR-V2).- Предобучение. Tang и соавт. (CVPR 2022) предобучили энкодер самообучением на 5050 открытых КТ, а затем дообучали на BTCV и Medical Segmentation Decathlon. Готовые веса и пример – в учебнике MONAI SwinUNETR на BTCV.
Стоит ли брать трансформер. Переоценка авторов nnU-Net (Isensee и соавт., MICCAI 2024) показала, что при равном бюджете хорошо настроенный свёрточный U-Net не уступает ни UNETR, ни SwinUNETR, а чаще выигрывает. Отправная точка для M4 – по-прежнему nnU-Net. Трансформер оправдан, когда есть предобученные веса под вашу модальность или данных столько, что предобучение окупится. Сравнение публикуется с baseline того же бюджета.
VISTA-3D: автоматика и клики в одной модели
VISTA-3D (He и соавт., 2024) – базовая модель для КТ. Она обучена на 11 454 объёмах и автоматически сегментирует 127 классов анатомии и поражений. Кроме того, она принимает клики в 3D и правит по ним свой ответ, а по кликам может выделить и структуру, которой не было в обучении.
Что внутри, по коду MONAI (monai/networks/nets/vista3d.py):
- Энкодер свёрточный. Это
SegResNetDS2, а не трансформер: «базовая» здесь значит «обучена на большом и разнообразном наборе», а не «построена на внимании». Всего 218,0 млн параметров, и почти все они в энкодере; головы весят меньше миллиона. - Голова классов. У каждого номера класса есть обучаемое вложение. Маска класса – скалярное произведение этого вложения с признаками каждого вокселя, а затем сигмоида. Классы не конкурируют через softmax, поэтому новый класс при дообучении – это новое вложение, а не новый выходной слой.
- Голова точек. Устроена как декодер SAM: координаты кликов и их знак (+ или −) превращаются в токены, которые читают признаки объёма и дают бинарную маску объекта под кликами.
- Слияние. Если заданы и класс, и клики,
gaussian_combineоколо каждого клика заменяет автоматический ответ ответом головы точек, и вес этой замены падает с расстоянием по гауссиане.
Так модель закрывает рабочий цикл лекции 3: автоматика размечает когорту, а человек несколькими кликами правит её ошибки, не перерисовывая всё. Попробуйте на срезе фантома из лекции 1. Автоматический ответ здесь с двумя ошибками: печень вылезла за свой край, в жир и в желудок, а задняя часть селезёнки пропущена. Выберите класс, режим клика и щёлкните там, где ошибка.
- Dice автоматики для класса
- –
- Dice после кликов
- –
Минус на жире у края печени убирает лишнее, плюс на задней части селезёнки добавляет пропущенное. Всё, что дальше радиуса, остаётся как было. Игрушка упрощает две вещи: голова точек здесь идеальна и возвращает ровно тот орган, на который нажали, а граница влияния резкая, тогда как VISTA-3D смешивает ответы плавно.
Как запустить. Модель распространяется бандлом MONAI vista3d с патчем 128³; при нехватке памяти README бандла советует уменьшить patch_size до 96³. Команды из README:
python -m monai.bundle download "vista3d" --bundle_dir "bundles/"
cd bundles/vista3d
# автоматически, один класс по его номеру
python -m monai.bundle run --config_file configs/inference.json --input_dict "{'image':'spleen_03.nii.gz','label_prompt':[3]}"
# по кликам: точки в вокселях, 1 – объект, 0 – фон
python -m monai.bundle run --config_file configs/inference.json --input_dict "{'image':'spleen_03.nii.gz','points':[[128,128,16],[100,100,16]],'point_labels':[1,0]}"
Номера классов – в configs/metadata.json бандла.
Где «сотни классов». У самой VISTA-3D их 127. Сотни классов – у её наследника NV-Segment-CTMR: он начинает с чекпоинта VISTA-3D, дообучен на более чем 30 тысячах КТ и МРТ и сегментирует свыше 300 классов, но только автоматически, без кликов.
Лицензии. Код – Apache 2.0. Для весов источники расходятся: README репозитория VISTA называет для VISTA-3D NVIDIA Open Model License, допускающую коммерческое использование, а README бандла в model zoo – лицензию NCLS v1. Веса NV-Segment-CTMR некоммерческие. Прежде чем строить на весах что-то, кроме исследования, проверьте лицензию именно того файла, который скачали.
Для проекта. VISTA-3D и TotalSegmentator – отправные точки для M4, предоперационной 3D-сегментации. Обе работают на КТ, а не на лапароскопическом видео. Объёмы пациентов, на которых их запускают, проходят деидентификацию и остаются там, где хранятся.
Обучение на нескольких GPU
Lightning в двух словах
Lightning отделяет то, что считает модель, от того, где и как она считается. Модель – это LightningModule с training_step, validation_step и configure_optimizers. Устройства, стратегию распределения и точность задают аргументы Trainer. Lightning сам запускает процессы, оборачивает модель, ставит DistributedSampler и собирает метрики со всех GPU.
import lightning as L
import torch
from monai.inferers import sliding_window_inference
from monai.losses import DiceCELoss
from monai.networks.nets import SwinUNETR
class Segmenter(L.LightningModule):
def __init__(self):
super().__init__()
self.net = SwinUNETR(in_channels=1, out_channels=14, feature_size=48, use_checkpoint=True)
self.loss = DiceCELoss(to_onehot_y=True, softmax=True)
def training_step(self, batch, batch_idx):
loss = self.loss(self.net(batch["image"]), batch["label"])
self.log("train/loss", loss, sync_dist=True)
return loss
def validation_step(self, batch, batch_idx):
logits = sliding_window_inference(batch["image"], roi_size=(96, 96, 96), sw_batch_size=4,
predictor=self.net, overlap=0.5)
self.log("val/loss", self.loss(logits, batch["label"]), sync_dist=True)
def configure_optimizers(self):
return torch.optim.AdamW(self.parameters(), lr=1e-4, weight_decay=1e-5)
trainer = L.Trainer(accelerator="gpu", devices=4, strategy="ddp", precision="bf16-mixed", max_epochs=300)
trainer.fit(Segmenter(), train_loader, val_loader)
Загрузчики – из лекции 6. Переход с одного GPU на четыре или с DDP на FSDP меняет одну строку Trainer, а не модель.
DDP: копия модели на каждом GPU
Distributed Data Parallel запускает по процессу на каждый GPU. У каждого процесса полная копия модели и своя часть батча. В обратном проходе градиенты усредняются по всем GPU операцией all-reduce, пачками, параллельно с вычислениями. После этого все копии делают одинаковый шаг и остаются одинаковыми.
Три следствия:
- Эффективный батч – N · b: четыре GPU по два патча дают батч 8. Скорость обучения подбирают под эффективный батч.
- BatchNorm на каждом GPU считает статистику по своим двум патчам. Сети MONAI для 3D по умолчанию используют instance norm, которой это не важно. Если в модели есть BatchNorm, у
Trainerесть флагsync_batchnorm=True. - Логи со всех GPU усредняются, только если передать
sync_dist=True, как в примере выше.
FSDP: каждому GPU – доля всего
Fully Sharded Data Parallel делит между GPU не только данные, но и саму модель. Каждый GPU хранит 1/N весов, градиентов и состояния оптимизатора. Перед каждым слоем его веса собираются целиком (all-gather), используются и освобождаются, а градиенты расходятся по владельцам (reduce-scatter). Это идея ZeRO (Rajbhandari и соавт., 2020), реализованная в PyTorch (Zhao и соавт., 2023).
Сколько это экономит, если считать по Adam, Ψ параметров, N GPU, b патчей на GPU и A байт активаций на патч:
Веса и градиенты в смешанной точности остаются в float32, по 4 байта, а у Adam два момента – ещё 8 байт. Последняя строка – сколько байт каждый GPU передаёт за шаг в DDP при кольцевом all-reduce.
В Lightning:
from lightning.pytorch.strategies import FSDPStrategy
from monai.networks.nets.swin_unetr import SwinTransformerBlock
strategy = FSDPStrategy(
auto_wrap_policy={SwinTransformerBlock}, # единица сбора и освобождения
activation_checkpointing_policy={SwinTransformerBlock},
sharding_strategy="FULL_SHARD", # или SHARD_GRAD_OP, HYBRID_SHARD
)
trainer = L.Trainer(accelerator="gpu", devices=4, strategy=strategy, precision="bf16-mixed")
FULL_SHARD делит всё. SHARD_GRAD_OP держит веса целиком и делит градиенты и оптимизатор. HYBRID_SHARD делит внутри узла и копирует между узлами. Строка strategy="fsdp" даёт FULL_SHARD с настройками по умолчанию.
Главное для 3D: память съедают активации, а не веса. Мы измерили это в MONAI 1.6.1: по одному патчу 96³, считая тензоры, которые autograd сохраняет для обратного прохода, без самих весов.
| Модель | Параметров | Веса, градиенты и Adam, 16Ψ | Активации на патч, float32 | Активации на патч, bf16-mixed |
|---|---|---|---|---|
| UNETR | 92,8 млн | 1,5 ГБ | 1,06 ГБ | 0,73 ГБ |
SwinUNETR, feature_size=48 |
62,2 млн | 1,0 ГБ | 4,84 ГБ | 3,98 ГБ |
то же с use_checkpoint=True |
62,2 млн | 1,0 ГБ | 2,75 ГБ | 1,59 ГБ |
| энкодер VISTA-3D (автоматическая ветка) | 218,0 млн | 3,5 ГБ | 2,51 ГБ | 1,65 ГБ |
Замер сделан на CPU, поэтому в нём нет рабочих буферов cuDNN и фрагментации памяти: на GPU реальное потребление выше. Соотношение от этого не меняется. У SwinUNETR активации одного патча в три-пять раз тяжелее весов, градиентов и Adam вместе. У UNETR с его 216 токенами они сравнимы с ними и обгоняют их уже при двух патчах на GPU. FSDP делит строку «16Ψ», а она для всех трёх моделей помещается в один GPU. Активации FSDP не делит: каждый GPU считает свои патчи сам. Поэтому для сегментационных сетей обычно хватает DDP, а память экономят иначе: патч поменьше, пересчёт активаций (use_checkpoint), bf16-mixed и один-два патча на GPU. FSDP нужен, когда 16Ψ не помещается – это модели от миллиарда параметров, не сегментационные сети этой лекции.
Проверьте сами. Полоса – память одного GPU, пунктиры – типичные объёмы карт.
- память одного GPU
- –
- из них веса, градиенты и Adam
- –
- эффективный батч
- –
- передача с GPU за шаг
- –
Переключение с DDP на FULL_SHARD сжимает синюю, зелёную и фиолетовую части, но не оранжевую. Передача за шаг считается по настройкам Lightning: DDP усредняет градиенты в float32, а FSDP при bf16-mixed собирает веса в bfloat16 дважды (для прямого и обратного прохода) и раздаёт градиенты в bfloat16.
bf16-mixed: диапазон float32 в 16 битах
Число с плавающей точкой – это знак s, порядок e из нескольких бит со смещением b и мантисса m из k бит:
Бит порядка задают диапазон, бит мантиссы – точность. float16 и bfloat16 занимают по 16 бит, но делят их по-разному:
| Формат | Бит порядка | Бит мантиссы | Наибольшее число | Наименьшее нормальное | Шаг после 1 |
|---|---|---|---|---|---|
| float32 | 8 | 23 | 3,4 · 10³⁸ | 1,2 · 10⁻³⁸ | 1,2 · 10⁻⁷ |
| float16 | 5 | 10 | 65 504 | 6,1 · 10⁻⁵ | 9,8 · 10⁻⁴ |
| bfloat16 | 8 | 7 | 3,4 · 10³⁸ | 1,2 · 10⁻³⁸ | 7,8 · 10⁻³ |
У float16 есть ещё денормализованные числа до 6,0 · 10⁻⁸, а всё, что меньше, становится нулём. У bfloat16 порядок как у float32, поэтому диапазон тот же, а точность – около двух-трёх значащих цифр.
Что значит «mixed». В режиме bf16-mixed Lightning включает torch.autocast: свёртки и матричные умножения идут в bfloat16 на тензорных ядрах, активации занимают меньше памяти, а веса, их обновление, нормализации, softmax и функции потерь остаются в float32. В режиме bf16-true в bfloat16 хранится всё, включая веса.
Почему это устойчивее float16. Глубокая сеть на большом объёме даёт крошечные градиенты, особенно от Dice маленьких структур, и в float16 они обнуляются. Большие значения, например логиты внимания, выше 65 504 превращаются в бесконечность, а за ней в NaN. Поэтому 16-mixed в Lightning создаёт GradScaler: он умножает функцию потерь на большой множитель, чтобы градиенты не обнулялись, и пропускает шаг, если появилась бесконечность. У bfloat16 диапазон float32, обнуления и переполнения нет, и bf16-mixed работает без масштабирования. Lightning даже выдаёт ошибку, если передать ему GradScaler вместе с bf16-mixed.
Попробуйте сами: число записывается во все три формата с округлением к ближайшему.
- float32
- –
- float16
- –
- bfloat16
- –
float32
float16
bfloat16
Градиент 2 · 10⁻⁸ во float16 обнуляется, а с множителем 2¹⁶ доживает. Логит 70 000 во float16 переполняется. Вес 1 + 10⁻³ во float16 сохраняется, а во bfloat16 становится ровно 1: маленькое обновление веса пропадает. Именно поэтому веса и их обновление остаются в float32, а bf16-true для обучения рискован.
Железо. Тензорные ядра bfloat16 есть начиная с архитектуры Ampere: A100, RTX 30xx, L4, H100 и новее. У T4 и V100 их нет, а T4 – это бесплатный GPU Colab: там берут precision="16-mixed" с GradScaler. Проверка torch.cuda.is_bf16_supported() по умолчанию возвращает True и при программной эмуляции, которая медленна. Аппаратную поддержку показывает torch.cuda.is_bf16_supported(including_emulation=False).
Где проект сейчас
В osv пока нет Lightning. M1 и M5 обучаются на чистом PyTorch на одном GPU: torch.amp.autocast, который на CUDA по умолчанию работает во float16, вместе с GradScaler (osv/train/m1.py, osv/train/desmoke.py). Функция get_default_trainer_config() объявляет точность bf16 и пересчёт активаций по умолчанию, но ни один цикл обучения её ещё не использует. Lightning, bf16-mixed и несколько GPU – цель четвёртой недели программы, а не сделанная работа. UNETR, SwinUNETR и VISTA-3D в проекте пока не обучались.
Чек-лист
- Сравнивайте трансформер с nnU-Net или SegResNet при том же бюджете и публикуйте конфигурацию обоих.
- Для UNETR вход фиксирован и кратен 16, для SwinUNETR – кратен 32 по каждой оси.
- Прежде чем включать FSDP, измерьте, что занимает память. Для 3D это обычно активации: начинайте с
use_checkpoint, меньшего патча иbf16-mixed. - Для сегментационных сетей берите DDP; FSDP – когда 16Ψ не помещается в один GPU.
bf16-mixedна Ampere и новее; на T4 и V100 –16-mixedсGradScaler.bf16-trueдля обучения – только осознанно.- Подбирайте скорость обучения под эффективный батч N · b и логируйте с
sync_dist=True. - У VISTA-3D проверьте лицензию скачанных весов и помните, что модель работает только на КТ.
Что почитать
- Hatamizadeh и соавт. UNETR: Transformers for 3D Medical Image Segmentation. WACV 2022.
- Hatamizadeh и соавт. Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images. 2022.
- Tang и соавт. Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis. CVPR 2022.
- Liu и соавт. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV 2021.
- He и соавт. VISTA3D: A Unified Segmentation Foundation Model For 3D Medical Imaging. 2024.
- Isensee и соавт. nnU-Net Revisited: A Call for Rigorous Validation in 3D Medical Image Segmentation. MICCAI 2024.
- Rajbhandari и соавт. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC 2020.
- Zhao и соавт. PyTorch FSDP: Experiences on Scaling Fully Sharded Data Parallel. VLDB 2023.
- Micikevicius и соавт. Mixed Precision Training. ICLR 2018.
- Kalamkar и соавт. A Study of BFLOAT16 for Deep Learning Training. 2019.
- Документация Lightning о точности и FSDP.