Из операционной и связанного с ней отделения лучевой диагностики приходят три вида изображений: двумерные кадры (PNG, JPEG), лапароскопическое видео (MP4 с H.264 или HEVC) и трёхмерные предоперационные сканы (DICOM, NIfTI). Они различаются тем, что хранят, как сжимают данные и как пиксель или воксель соотносится с местом в теле пациента. Ошибётесь в чём-то одном – и модель будет учиться на зеркальных, обесцвеченных или неверно масштабированных данных, не выдав ни одной ошибки. Это первая лекция учебной программы, модуль 1.
Все изображения на странице синтетические: кадры взяты из анимации проекта в Blender, срезы КТ – из фантома, нарисованного кодом. Данные пациентов не используются.
Три вида данных коротко
| Формат | Размерность | Откуда обычно | Что хранит один файл | Чем читать |
|---|---|---|---|---|
| PNG, JPEG | 2D, цвет | кадры из видео, скриншоты, маски | одно изображение, 8 бит на канал | Pillow, OpenCV |
| MP4 (H.264, HEVC) | 2D + время | лапароскопическая стойка, рекордер | сжатый поток кадров, часто со звуком | PyAV, OpenCV, ffmpeg |
| DICOM | 2D-срез, серии дают 3D | КТ, МРТ, УЗИ, рентген | одно изображение и его метаданные: пациент, исследование, геометрия, сканер | pydicom |
| NIfTI | 3D- или 4D-сетка | конвертация из DICOM, исследовательские пайплайны | весь объём и его геометрию | nibabel, SimpleITK |
2D-кадры: PNG и JPEG
- PNG сжимает без потерь: каждый пиксель возвращается точно таким, каким его сохранили. Хранит 8 или 16 бит на канал, с прозрачностью или без. Используйте его для масок: значения пикселей маски – номера классов, и они должны пережить сохранение нетронутыми.
- JPEG сжимает с потерями. Он переводит изображение в яркость и цветоразностные каналы, обычно вдвое снижает цветовое разрешение, режет картинку на блоки 8 × 8 и отбрасывает мелкие детали, которые глаз замечает меньше всего. На резких краях, например на границах инструментов, появляются блоки и ореолы. Никогда не сохраняйте маску в JPEG: класс 3 рядом с 0 превратится вдоль края в 1, 2 и 3.
- sRGB. Значения 0–255 обычного PNG или JPEG не пропорциональны свету. Они закодированы кривой sRGB, которая тратит больше кодов на тёмные тона; удвоение значения не удваивает яркость. Большинство моделей этого не замечает, но смешивание, размытие или физическое моделирование света нужно делать на линейных значениях.
Эндоскопическое видео
Контейнер и кодек
Файл .mp4 – это контейнер: в нём один или несколько потоков, временные метки и метаданные. Сами изображения сжаты кодеком, обычно H.264 (AVC) или H.265 (HEVC). HEVC при том же качестве требует примерно вдвое меньшего битрейта, но больше вычислений при декодировании. Прежде чем доверять файлу, проверьте, что в нём на самом деле: ffprobe показывает для каждого потока кодек, частоту кадров, pix_fmt, color_range и color_space.
Межкадровое сжатие
Соседние кадры видео почти одинаковы, поэтому кодек хранит большинство кадров как разницу.
- I-кадры (intra) сжимаются сами по себе, как JPEG. Декодирование может начаться только с I-кадра, поэтому перемотка прыгает к ближайшему из них перед нужным местом.
- P-кадры (predicted) хранят векторы движения и остаточную разницу с более ранним кадром.
- B-кадры (bi-directional) ссылаются на кадры до и после себя. Они самые маленькие, и из-за них порядок хранения кадров отличается от порядка показа.
- Переменный битрейт. Кодер тратит биты там, где изображение трудно предсказать: быстрое движение камеры, дым, вспышка, жидкость. Спокойная минута диссекции может занять десятую часть байтов минуты с густым дымом. Размер файла мало говорит о длительности или качестве.
Частота кадров и временные метки
Лапароскопическое видео идёт с частотой от 25 до 60 кадров в секунду: 25 или 50 в странах бывшего стандарта PAL, 30 или 60 в остальных; в Cholec80 – 25. Некоторые рекордеры пишут переменную частоту кадров, когда интервал между кадрами меняется. Тогда номер кадра – не его время: для выравнивания разметки, фаз и звука используйте временную метку показа каждого кадра (pts).
Сырой кадр 854 × 480 пикселей в YUV 4:2:0 занимает 1,5 байта на пиксель. Без сжатия секунда при 25 кадр/с заняла бы:
Это около 120 мегабит в секунду. Типичная запись H.264 такого размера занимает от одного до нескольких мегабит в секунду: кодек сжимает поток примерно в 30–100 раз.
YUV 4:2:0 против sRGB
Видеокодеки хранят не красный, зелёный и синий. Они хранят яркость (luma) Y и две цветоразностные составляющие: Cb (синий минус яркость) и Cr (красный минус яркость). Глаз различает яркость гораздо лучше, чем цвет, поэтому обычный формат пикселей yuv420p хранит Cb и Cr с половинной шириной и половинной высотой: 4:2:0. Перевод в RGB для модели идёт по матрице стандарта, здесь BT.709 для HD, со всеми значениями в шкале 0–1:
Большинство ошибок с цветом дают две детали:
- Матрица. Видео стандартной чёткости использует BT.601 с другими коэффициентами. Если декодировать HD-видео не той матрицей, ткани слегка позеленеют или станут пурпурными.
- Диапазон. В «ограниченном», или телевизионном, диапазоне яркость идёт от 16 до 235, а цвет от 16 до 240, а не 0–255. Если декодировать такое видео как полный диапазон, чёрный станет серым и картинка выцветет; в обратном случае тени провалятся.
Вспышки коагулятора
Электрохирургия даёт искры и яркий дым, а влажная ткань напрямую отражает источник света. На видео происходит три вещи. Пиксели упираются в верх диапазона и обрезаются: детали там исчезают, а поскольку у тканей первым обрезается красный канал, цвет обрезанной области сдвигается к жёлтому и белому. Автоматическая экспозиция и баланс белого камеры реагируют в следующих кадрах, и на мгновение вся картинка темнеет и меняет оттенок. А кодеру вдруг нужно гораздо больше битов, и качество падает именно в этих кадрах. Модели, обученные на спокойных кадрах, на них ошибаются; родственной задачей занимается эксперимент проекта по удалению дыма.
Попробуйте на синтетическом кадре: посмотрите плоскости по отдельности, увидьте, что теряет 4:2:0, и включите коагулятор.
DICOM
DICOM (Digital Imaging and Communications in Medicine) – одновременно формат файлов и сетевой протокол; на нём говорит каждый аппарат КТ, МРТ и рентгена. Файл DICOM хранит одно изображение, например срез КТ, вместе со всем, что о нём известно.
Информационные объекты
Стандарт описывает каждый вид изображения как информационный объект (Information Object Definition, IOD): CT Image, MR Image, Ultrasound Image, Segmentation и так далее. IOD – это список модулей, групп атрибутов, которые относятся друг к другу: Patient, General Study, General Series, Image Plane (положение, ориентация, размер пикселя), Image Pixel (строки, столбцы, разрядность, сами пиксели). Какие модули обязательны, зависит от IOD.
Пациент, исследование, серия, экземпляр
- Пациент – человек, определяется
PatientID. - Исследование – одно обследование, например КТ живота в один день, с глобально уникальным
StudyInstanceUID. - Серия – одно сканирование или одна реконструкция внутри исследования: аксиальные срезы 2,5 мм, тот же скан, пересчитанный с шагом 0,6 мм, или одна последовательность МРТ;
SeriesInstanceUID. Модели нужна ровно одна серия: смешав две, вы получите в одном объёме срезы разной толщины или контраста. - Экземпляр – одно изображение, обычно один файл;
SOPInstanceUID. Серия КТ из 300 срезов – это 300 файлов.
Внутри файла
После преамбулы в 128 байт и букв DICM идёт список элементов данных. У каждого есть тег – два шестнадцатеричных числа (группа, элемент); тип значения (value representation, VR), например DS для десятичной строки, UI для уникального идентификатора или OW для 16-битных слов; длина; и само значение. Часть 6 стандарта перечисляет все теги, часть 5 – типы значений, часть 10 – формат файла.
| Тег | Имя | Зачем нужен |
|---|---|---|
| (0020,000E) | SeriesInstanceUID | собрать файлы в один объём |
| (0020,0032) | ImagePositionPatient | положение первого пикселя среза, мм |
| (0020,0037) | ImageOrientationPatient | направления строк и столбцов среза |
| (0028,0030) | PixelSpacing | шаг между строками, затем между столбцами, мм |
| (0028,1052), (0028,1053) | RescaleIntercept, RescaleSlope | перевод хранимых значений в единицы Хаунсфилда |
| (7FE0,0010) | PixelData | сами хранимые значения |
Чтение метаданных через pydicom
import pydicom
from pydicom.pixels import apply_modality_lut
ds = pydicom.dcmread("slice_0001.dcm", stop_before_pixels=True) # только заголовки: быстро
print(ds.Modality, ds.SeriesInstanceUID)
print(ds.ImagePositionPatient, ds.ImageOrientationPatient, ds.PixelSpacing)
print(ds.RescaleSlope, ds.RescaleIntercept)
ds = pydicom.dcmread("slice_0001.dcm") # вместе с пикселями
hu = apply_modality_lut(ds.pixel_array, ds) # хранимое значение × slope + intercept
Код для pydicom 3; в pydicom 2 функция лежит в pydicom.pixel_data_handlers.util. Два правила при сборке объёма из серии:
- Сортируйте срезы по положению, а не по имени файла или
InstanceNumber. СпроецируйтеImagePositionPatientкаждого среза на нормаль к срезу – векторное произведение двух направлений изImageOrientationPatient– и сортируйте по этому числу. - Шаг между срезами берите из положений.
SliceThickness– толщина реконструированного среза, а не расстояние между срезами; у перекрывающихся реконструкций шаг меньше толщины.
В заголовках есть имена, даты рождения, названия больниц и даты исследований. Ничто не покидает клиническую среду до деидентификации – это тема лекции 2; результат проект проверяет своим гейтом osv.deid.
NIfTI: один файл, одна сетка
NIfTI (.nii или сжатый .nii.gz) хранит весь объём как одну непрерывную сетку вокселей с фиксированным шагом. Файл NIfTI-1 – это заголовок в 348 байт, за которым идут значения вокселей.
- Размерности: до семи, на практике 3D (КТ) или 4D (временной ряд МРТ или несколько значений на воксель).
- pixdim: размер вокселя вдоль каждой оси в миллиметрах, а для 4D – время между объёмами.
- qform и sform: два способа хранить переход от вокселей к пространству – поворот кватернионом плюс масштаб или полная аффинная матрица. Читатели вроде nibabel предпочитают sform, если он задан.
- scl_slope и scl_inter: как rescale в DICOM, применяются к хранимым значениям при чтении.
Конвертировать DICOM в NIfTI, обычно с помощью dcm2niix, значит один раз сделать всё из предыдущего раздела: выбрать серию, отсортировать срезы, проверить шаг, вычислить геометрию, записать один файл. После этого объём – один массив.
import nibabel as nib
img = nib.load("ct.nii.gz")
print(img.shape, img.header.get_zooms()) # (512, 512, 120) и размеры вокселя в мм
print(img.affine) # 4 × 4, см. ниже
print(nib.aff2axcodes(img.affine)) # например, ('L', 'P', 'S')
volume = img.get_fdata() # массив float, scl_slope и scl_inter уже применены
Геометрия объёма: аффинная матрица
У вокселя есть индекс – три целых числа (i, j, k), которые говорят, где он лежит в массиве. У пациента есть миллиметры. Их связывает аффинная матрица 4 × 4, которая превращает индекс в положение в системе координат пациента.
- R · D, блок 3 × 3: R – поворот, то есть направления осей вокселей; D – размеры вокселя. Каждый столбец блока – шаг на один воксель вдоль одной оси индекса, в миллиметрах.
- t, сдвиг: положение вокселя (0, 0, 0).
- Последняя строка всегда 0 0 0 1; она позволяет одним умножением и повернуть, и сдвинуть.
В примере, в координатах LPS из DICOM, воксель (100, 120, 40) лежит в точке (−175 + 100 × 0,7, −175 + 120 × 0,7, 100 + 40 × 2,5) = (−105, −91, 200) мм. Для серии DICOM та же матрица получается из заголовков: S – ImagePositionPatient первого среза, X и Y – два направления из ImageOrientationPatient, Δr и Δc – два значения PixelSpacing, Δs – шаг между срезами:
Двигайте воксель по сетке ниже и смотрите, как матрица переносит его из пространства индексов в миллиметры. Сетка маленькая, а воксели крупные, чтобы их было видно; ещё она наклонена, чтобы показать, что делает блок поворота.
- индекс (i, j, k)
- –
- положение, мм
- –
Ориентация: RAS и LPS
Миллиметрам нужны оси, и в ходу два соглашения. Оба называют направление, куда растёт каждая ось:
- RAS+: первая ось растёт вправо от пациента (Right), вторая – вперёд (Anterior), третья – к голове (Superior). Так устроены мировые координаты NIfTI, nibabel, FreeSurfer и 3D Slicer.
- LPS+: влево (Left), назад (Posterior) и к голове (Superior). Это система координат пациента в DICOM, ITK и SimpleITK.
Они различаются знаком первых двух осей:
Второй, отдельный вопрос – куда направлены оси вокселей. На него отвечает nib.aff2axcodes: для объёма в порядке вокселей DICOM он вернёт ('L', 'P', 'S') – с ростом i воксель сдвигается влево, j – назад, k – к голове, хотя мировые координаты по-прежнему RAS. Смешение соглашений зеркально меняет право и лево без всякой ошибки, и сегментация печени оказывается на стороне селезёнки. Проверяйте коды ориентации всякий раз, когда соединяете файлы из разных инструментов.
Единицы Хаунсфилда
Компьютерный томограф измеряет, насколько сильно каждый воксель ослабляет рентгеновское излучение, μ, и выражает это по шкале Хаунсфилда, где вода – 0, а воздух – −1000:
DICOM не хранит HU напрямую. Он хранит целые числа – хранимые значения SV, обычно 12–16 бит без знака, – а заголовок говорит, как их перевести: HU = SV × RescaleSlope + RescaleIntercept. Чаще всего slope равен 1, а intercept −1024, так что хранимое 1024 – это вода, но читайте оба значения из каждого файла: они могут отличаться между сканерами и даже между срезами одной серии. У интенсивностей МРТ такой шкалы нет; их нормируют для каждого исследования.
Экран показывает около 256 оттенков серого, а глаз различает меньше; диапазон HU – несколько тысяч. Окно – ширина W и уровень L в HU – выбирает нужный диапазон и растягивает его от чёрного до белого; всё, что ниже, – чёрное, всё, что выше, – белое:
Модели делают то же самое: модель КТ обучают на HU, обрезанных до диапазона и отмасштабированных, и при инференсе обрезать и масштабировать нужно точно так же. Попробуйте окна на синтетическом срезе; проведите над ним указателем, чтобы прочитать хранимые значения и HU.
Чек-лист
- Маски – в PNG, никогда в JPEG; кадры – в PNG или прямо из видео, без повторного кодирования.
- Для видео: кодек,
pix_fmt,color_range,color_spaceи частота кадров проверены черезffprobe; кадры выровнены по временным меткам. - Для DICOM: одна серия на объём, срезы отсортированы по положению, шаг взят из положений, rescale применён, заголовки деидентифицированы.
- Для NIfTI: аффинная матрица и
aff2axcodesпроверены; RAS и LPS никогда не смешиваются без перевода. - Для КТ: HU обрезаны и отмасштабированы одинаково при обучении и инференсе.
Что почитать
- Стандарт DICOM: информационные объекты, структуры данных, словарь данных, формат файла.
- NIfTI-1 и руководство nibabel по системам координат и аффинным матрицам.
- Документация pydicom; ffprobe.
- Рекомендации ITU: BT.709, H.264, H.265.