Две КТ одного и того же живота могут различаться всем, кроме анатомии. У одной пиксель 0,7 мм и срезы по 5 мм, записанные от левого бока пациента; у другой пиксель 0,9 мм и срезы по 1 мм, записанные от правого. Сеть видит только массивы чисел. Если не привести каждый объём к одной ориентации, одному размеру вокселя и одному диапазону значений, она выучит сканеры, а не органы. А если эта подготовка повторяется для каждого образца в каждой эпохе, GPU большую часть времени ждёт. Лекция разбирает обе половины на примере MONAI 1.6. Это лекция 6 учебной программы, после лекции 5 о датасетах и разбиении.
Все изображения на этой странице нарисованы кодом по фантому из лекции 1. Репозиторий osv пока не использует MONAI; лекция описывает стандартную практику MONAI, с которой начнётся 3D-конвейер проекта.
Цепочка
Трансформации MONAI бывают двух видов: Spacing работает с массивом, а Spacingd – со словарём вроде {"image": ..., "label": ...}, применяя одну и ту же операцию к перечисленным ключам. Словарная форма держит изображение и разметку согласованными на каждом шаге. LoadImaged читает NIfTI или DICOM вместе с аффинной матрицей из лекции 1, а EnsureChannelFirstd ставит ось каналов первой, как ждёт PyTorch.
Пространственные преобразования
Orientationd(keys=["image", "label"], axcodes="RAS") переставляет и отражает оси так, чтобы первая ось шла к правому боку пациента, вторая – вперёд, третья – к голове. LPS из DICOM и RAS из NIfTI разобраны в лекции 1. Ориентация ничего не интерполирует: она только переставляет массив и обновляет аффинную матрицу.
Spacingd(keys=["image", "label"], pixdim=(1.0, 1.0, 1.0), mode=("bilinear", "nearest")) пересчитывает объём к вокселю 1 мм по каждой оси. Число вокселей вдоль оси меняется пропорционально шагу:
КТ 512 × 512 × 80 вокселей с шагом 0,78 × 0,78 × 5 мм становится примерно 400 × 400 × 400. Изотропный воксель значит, что свёртка 3 × 3 × 3 покрывает одинаковое расстояние во всех направлениях, а модель, обученную на одной толщине среза, можно применить к другой. Цена – размер: 1 мм – выбор, а не закон. Учебный пример MONAI на BTCV использует 1,5 × 1,5 × 2,0 мм, где вокселей примерно в четыре с половиной раза меньше.
Режим интерполяции важнее, чем кажется. По умолчанию в MONAI билинейный – правильный для изображения и неправильный для разметки. Между вокселем с меткой 0 и вокселем с меткой 1 билинейная интерполяция даёт 0,5, которое не принадлежит ни одному классу, а между метками 3 и 5 – 4, то есть другой орган. Разметку всегда пересчитывают с "nearest".
Плоскость проходит через печень справа налево и от ног вверх с наклоном спереди назад, чтобы края органов шли по кривой; разметка – оранжевым. При толстых срезах записанный объём – лесенка. Ресэмплинг сглаживает изображение, но не возвращает деталей, которых толстые срезы не записали. При линейной интерполяции край разметки заполняется дробями.
CropForegroundd(keys=["image", "label"], source_key="image") обрезает объём до рамки вокруг переднего плана, по умолчанию – всех вокселей больше нуля. Воздух вокруг тела может занимать треть КТ, и обрезка экономит память и время на всех следующих шагах. Ставьте её после окна интенсивности: когда окно превратило всё ниже −175 HU в 0, «больше нуля» означает тело. На сырых единицах Хаунсфилда жир с −100 HU попал бы в фон. С MONAI 1.5 allow_smaller по умолчанию False, и отступ никогда не выходит за край изображения.
Нормализация интенсивности
КТ. Единицы Хаунсфилда идут от −1000 у воздуха до выше +1000 у кости, но органы живота лежат примерно между −100 и +200. ScaleIntensityRanged(keys=["image"], a_min=-175, a_max=250, b_min=0.0, b_max=1.0, clip=True) переводит это мягкотканное окно в 0…1; то же окно использует учебный пример MONAI по многим органам на BTCV.
clip по умолчанию выключен. Без него воздух становится −1,94, а кортикальная кость с 900 HU – 2,53, и сеть по-прежнему видит весь диапазон, только в другом масштабе. Попробуйте:
С выключенным clip значения ниже 0 показаны синим, выше 1 – оранжевым. Высота гистограммы – квадратный корень из числа вокселей, чтобы малые группы были видны рядом с большими; зелёная полоса – 0…1.
МРТ. У интенсивностей МРТ нет физической единицы. Одна и та же ткань даёт разные числа на разных сканерах, катушках и даже сеансах, поэтому фиксированное окно не подходит. Вместо этого каждый объём приводят к нулевому среднему и единичному стандартному отклонению с NormalizeIntensityd(keys=["image"], nonzero=True, channel_wise=True):
nonzero=True считает среднее и отклонение по ненулевым вокселям, исключая фон. Иначе объём, в котором почти всё – пустота, брал бы статистику у воздуха. channel_wise=True нормализует каждую последовательность (T1, T2, FLAIR) отдельно. В инструменте срез «как МРТ» – фантом с придуманными интенсивностями. Переключайте сканеры A и B: исходные числа меняются, нормализованное изображение нет.
Быстрая загрузка данных
Прочитать сжатый NIfTI, переориентировать, пересчитать десятки миллионов вокселей и обрезать – это секунды на объём на CPU. Шаг GPU на патче 96³ занимает долю этого. Если каждый образец в каждой эпохе проходит всю цепочку, GPU ждёт:
Здесь u – доля времени, когда GPU занят, W – число воркеров загрузчика, B – размер батча, tsample – время подготовки одного образца, tstep – время шага обучения. Больше воркеров помогает, пока не кончатся ядра CPU. Другой рычаг – перестать повторять работу, результат которой не меняется.
CacheDataset(data, transform, cache_rate=1.0, num_workers=8)один раз, до первой эпохи, прогоняет цепочку до первой случайной трансформации и держит результаты в памяти. Дальше каждый образец стоит только своих случайных трансформаций. Первая эпоха медленная, пока заполняется кэш;cache_rate=0.0отключает кэш при отладке. По умолчаниюcache_rateравен 1.0, то есть все данные.PersistentDataset(data, transform, cache_dir="/local/ssd/cache")делает то же, но пишет каждый результат файлом с тензором вcache_dir. Ему не нужна память под кэш, и он переживает перезапуск; прочитать тензор с быстрого локального диска намного дешевле, чем заново декодировать и пересчитывать оригинал. Имена файлов включают хэш трансформаций, но документация советует очищать каталог после их изменения.
Оба кэшируют только до первой случайной трансформации в Compose. Случайный шаг в начале, например отражение до Spacingd, останавливает кэширование, и всё после него выполняется каждый раз. Поэтому детерминированные трансформации идут первыми, случайные – последними.
Сколько памяти нужно полному кэшу?
N объёмов по K массивов (изображение и разметка), ni вокселей по каждой оси и b байт на воксель. Сто КТ живота с вокселем 1 мм, около 400³ вокселей каждая, в float32 вместе с разметкой – около 51 ГБ. Поэтому так важна обрезка, поэтому разметку можно хранить в uint8, и поэтому существуют PersistentDataset и cache_rate меньше 1.
Попробуйте загрузчик ниже. Обычный Dataset со значениями по умолчанию занимает GPU примерно треть времени; кэш приближает это к полному.
- время на образец
- –
- GPU занят
- –
- образцов в секунду
- –
Шкала показывает 16 шагов GPU с батчем 2. Времена – иллюстрация, а не измерения: прежде чем что-то настраивать, измерьте свои профилировщиком. ThreadDataLoader и ToDeviced в MONAI идут для кэшированных данных ещё дальше: случайные трансформации выполняются в потоках, а тензоры остаются на GPU.
Чек-лист
- Применяйте словарные трансформации к изображению и разметке вместе, с
mode=("bilinear", "nearest")вSpacingd. - Ориентируйте в RAS до ресэмплинга и обрезайте после окна интенсивности.
- Ставьте
clip=TrueвScaleIntensityRanged; для МРТ – z-нормализация сnonzero=True. - Ставьте все детерминированные трансформации перед первой случайной.
- Кэшируйте в памяти то, что помещается, остальное – на локальный SSD; очищайте кэш после изменения трансформаций.
- Держите цепочку валидации такой же, как обучающая, без случайных трансформаций.
Что почитать
- MONAI и его документация по трансформациям и датасетам.
- Учебные примеры MONAI: UNETR на BTCV с мягкотканным окном из этой лекции и быстрое обучение.
- Лекция 1 этой программы о системах координат и аффинной матрице и страница об объёмах об инференсе скользящим окном.