ЛЕКЦИЯ 6

Лекция 6. Предобработка, нормализация и быстрая загрузка данных в MONAI

Как объём КТ или МРТ становится тензором, на котором может учиться сеть: ориентация в RAS, ресэмплинг к вокселю 1 мм, обрезка по телу, мягкотканное окно от −175 до 250 HU, z-нормализация для МРТ, а также CacheDataset и PersistentDataset, чтобы GPU не простаивал. Со схемами, формулами, интерактивными примерами и 3D-анимациями.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Две КТ одного и того же живота могут различаться всем, кроме анатомии. У одной пиксель 0,7 мм и срезы по 5 мм, записанные от левого бока пациента; у другой пиксель 0,9 мм и срезы по 1 мм, записанные от правого. Сеть видит только массивы чисел. Если не привести каждый объём к одной ориентации, одному размеру вокселя и одному диапазону значений, она выучит сканеры, а не органы. А если эта подготовка повторяется для каждого образца в каждой эпохе, GPU большую часть времени ждёт. Лекция разбирает обе половины на примере MONAI 1.6. Это лекция 6 учебной программы, после лекции 5 о датасетах и разбиении.

Все изображения на этой странице нарисованы кодом по фантому из лекции 1. Репозиторий osv пока не использует MONAI; лекция описывает стандартную практику MONAI, с которой начнётся 3D-конвейер проекта.

Цепочка

детерминированные: считаются один раз и кэшируютсяLoadImagedNIfTI или DICOMEnsureChannelFirstdформа C × H × W × DOrientationdaxcodes = "RAS"Spacingd1,0 × 1,0 × 1,0 ммScaleIntensityRanged−175…250 HU → 0…1CropForegrounddтолько телослучайные: каждый образец, каждую эпохуRandCropByPosNegLabeldпатчи вокруг разметкиRandFlipd, RandRotate90dаугментацияв модельна GPU
Типичная цепочка для КТ живота. Детерминированная часть каждый раз даёт один и тот же результат, и её можно кэшировать; случайная часть – аугментация, её надо выполнять заново.

Трансформации MONAI бывают двух видов: Spacing работает с массивом, а Spacingd – со словарём вроде {"image": ..., "label": ...}, применяя одну и ту же операцию к перечисленным ключам. Словарная форма держит изображение и разметку согласованными на каждом шаге. LoadImaged читает NIfTI или DICOM вместе с аффинной матрицей из лекции 1, а EnsureChannelFirstd ставит ось каналов первой, как ждёт PyTorch.

Пространственные преобразования

Orientationd(keys=["image", "label"], axcodes="RAS") переставляет и отражает оси так, чтобы первая ось шла к правому боку пациента, вторая – вперёд, третья – к голове. LPS из DICOM и RAS из NIfTI разобраны в лекции 1. Ориентация ничего не интерполирует: она только переставляет массив и обновляет аффинную матрицу.

Spacingd(keys=["image", "label"], pixdim=(1.0, 1.0, 1.0), mode=("bilinear", "nearest")) пересчитывает объём к вокселю 1 мм по каждой оси. Число вокселей вдоль оси меняется пропорционально шагу:

ni′=round(ni·sisi′) 512·0,781≈400,80·51=400

КТ 512 × 512 × 80 вокселей с шагом 0,78 × 0,78 × 5 мм становится примерно 400 × 400 × 400. Изотропный воксель значит, что свёртка 3 × 3 × 3 покрывает одинаковое расстояние во всех направлениях, а модель, обученную на одной толщине среза, можно применить к другой. Цена – размер: 1 мм – выбор, а не закон. Учебный пример MONAI на BTCV использует 1,5 × 1,5 × 2,0 мм, где вокселей примерно в четыре с половиной раза меньше.

Режим интерполяции важнее, чем кажется. По умолчанию в MONAI билинейный – правильный для изображения и неправильный для разметки. Между вокселем с меткой 0 и вокселем с меткой 1 билинейная интерполяция даёт 0,5, которое не принадлежит ни одному классу, а между метками 3 и 5 – 4, то есть другой орган. Разметку всегда пересчитывают с "nearest".

Плоскость проходит через печень справа налево и от ног вверх с наклоном спереди назад, чтобы края органов шли по кривой; разметка – оранжевым. При толстых срезах записанный объём – лесенка. Ресэмплинг сглаживает изображение, но не возвращает деталей, которых толстые срезы не записали. При линейной интерполяции край разметки заполняется дробями.

CropForegroundd(keys=["image", "label"], source_key="image") обрезает объём до рамки вокруг переднего плана, по умолчанию – всех вокселей больше нуля. Воздух вокруг тела может занимать треть КТ, и обрезка экономит память и время на всех следующих шагах. Ставьте её после окна интенсивности: когда окно превратило всё ниже −175 HU в 0, «больше нуля» означает тело. На сырых единицах Хаунсфилда жир с −100 HU попал бы в фон. С MONAI 1.5 allow_smaller по умолчанию False, и отступ никогда не выходит за край изображения.

Нормализация интенсивности

КТ. Единицы Хаунсфилда идут от −1000 у воздуха до выше +1000 у кости, но органы живота лежат примерно между −100 и +200. ScaleIntensityRanged(keys=["image"], a_min=-175, a_max=250, b_min=0.0, b_max=1.0, clip=True) переводит это мягкотканное окно в 0…1; то же окно использует учебный пример MONAI по многим органам на BTCV.

y=clip(x−aminamax−amin·(bmax−bmin)+bmin,bmin,bmax) amin=−175,amax=250:x=40→y=215425≈0,506

clip по умолчанию выключен. Без него воздух становится −1,94, а кортикальная кость с 900 HU – 2,53, и сеть по-прежнему видит весь диапазон, только в другом масштабе. Попробуйте:

С выключенным clip значения ниже 0 показаны синим, выше 1 – оранжевым. Высота гистограммы – квадратный корень из числа вокселей, чтобы малые группы были видны рядом с большими; зелёная полоса – 0…1.

МРТ. У интенсивностей МРТ нет физической единицы. Одна и та же ткань даёт разные числа на разных сканерах, катушках и даже сеансах, поэтому фиксированное окно не подходит. Вместо этого каждый объём приводят к нулевому среднему и единичному стандартному отклонению с NormalizeIntensityd(keys=["image"], nonzero=True, channel_wise=True):

y=x−μσ,μ,σ:Ω={xj:xj≠0}

nonzero=True считает среднее и отклонение по ненулевым вокселям, исключая фон. Иначе объём, в котором почти всё – пустота, брал бы статистику у воздуха. channel_wise=True нормализует каждую последовательность (T1, T2, FLAIR) отдельно. В инструменте срез «как МРТ» – фантом с придуманными интенсивностями. Переключайте сканеры A и B: исходные числа меняются, нормализованное изображение нет.

Быстрая загрузка данных

Прочитать сжатый NIfTI, переориентировать, пересчитать десятки миллионов вокселей и обрезать – это секунды на объём на CPU. Шаг GPU на патче 96³ занимает долю этого. Если каждый образец в каждой эпохе проходит всю цепочку, GPU ждёт:

u=min(1,W·tstepB·tsample)

Здесь u – доля времени, когда GPU занят, W – число воркеров загрузчика, B – размер батча, tsample – время подготовки одного образца, tstep – время шага обучения. Больше воркеров помогает, пока не кончатся ядра CPU. Другой рычаг – перестать повторять работу, результат которой не меняется.

Datasetфайлыдетерминированныекаждую эпохуслучайныекаждую эпохуGPUCacheDatasetфайлыдетерминированныеодин раз → памятьслучайныекаждую эпохуGPUPersistentDatasetфайлыдетерминированныеодин раз → SSDслучайныекаждую эпохуGPU
Все три каждый раз выполняют случайные трансформации. Они различаются тем, где выполняется детерминированная часть и где лежит её результат.
  • CacheDataset(data, transform, cache_rate=1.0, num_workers=8) один раз, до первой эпохи, прогоняет цепочку до первой случайной трансформации и держит результаты в памяти. Дальше каждый образец стоит только своих случайных трансформаций. Первая эпоха медленная, пока заполняется кэш; cache_rate=0.0 отключает кэш при отладке. По умолчанию cache_rate равен 1.0, то есть все данные.
  • PersistentDataset(data, transform, cache_dir="/local/ssd/cache") делает то же, но пишет каждый результат файлом с тензором в cache_dir. Ему не нужна память под кэш, и он переживает перезапуск; прочитать тензор с быстрого локального диска намного дешевле, чем заново декодировать и пересчитывать оригинал. Имена файлов включают хэш трансформаций, но документация советует очищать каталог после их изменения.

Оба кэшируют только до первой случайной трансформации в Compose. Случайный шаг в начале, например отражение до Spacingd, останавливает кэширование, и всё после него выполняется каждый раз. Поэтому детерминированные трансформации идут первыми, случайные – последними.

Сколько памяти нужно полному кэшу?

M=N·K·∏ini·b 100·2·4003·4≈51ГБ

N объёмов по K массивов (изображение и разметка), ni вокселей по каждой оси и b байт на воксель. Сто КТ живота с вокселем 1 мм, около 400³ вокселей каждая, в float32 вместе с разметкой – около 51 ГБ. Поэтому так важна обрезка, поэтому разметку можно хранить в uint8, и поэтому существуют PersistentDataset и cache_rate меньше 1.

Попробуйте загрузчик ниже. Обычный Dataset со значениями по умолчанию занимает GPU примерно треть времени; кэш приближает это к полному.

Шкала показывает 16 шагов GPU с батчем 2. Времена – иллюстрация, а не измерения: прежде чем что-то настраивать, измерьте свои профилировщиком. ThreadDataLoader и ToDeviced в MONAI идут для кэшированных данных ещё дальше: случайные трансформации выполняются в потоках, а тензоры остаются на GPU.

Чек-лист

  • Применяйте словарные трансформации к изображению и разметке вместе, с mode=("bilinear", "nearest") в Spacingd.
  • Ориентируйте в RAS до ресэмплинга и обрезайте после окна интенсивности.
  • Ставьте clip=True в ScaleIntensityRanged; для МРТ – z-нормализация с nonzero=True.
  • Ставьте все детерминированные трансформации перед первой случайной.
  • Кэшируйте в памяти то, что помещается, остальное – на локальный SSD; очищайте кэш после изменения трансформаций.
  • Держите цепочку валидации такой же, как обучающая, без случайных трансформаций.

Что почитать