ЛЕКЦИЯ 4

Лекция 4. Синтез медицинских объёмов, масок и хирургических артефактов

Как генеративные модели восполняют нехватку редких патологий и анатомических вариантов: 3D латентная диффузия в MAISI, rectified flow в MAISI v2, геометрия тела по 19 условиям в NV-Generate-Body, КТ по своим маскам через ControlNet и физическая модель дыма в osv.augment. Со схемами, формулами, интерактивными примерами и 3D-анимациями.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Редких патологий и анатомических вариантов в размеченных данных мало. Модель, которая видела три печени с крупной опухолью, не узнала, как такая печень выглядит, а датасет не может просто ждать новых пациентов. Генеративные модели умеют делать новые примеры, и если сначала сгенерировать маску, каждое синтетическое изображение получает точную разметку. В лекции разберём, как работает 3D латентная диффузия, почему rectified flow сокращает сэмплирование с 1000 шагов примерно до 30, как задать размер органа или опухоли, как превратить свои маски в КТ и что проект симулирует на хирургическом видео сегодня. Это лекция 4 учебной программы, после лекции 3 о разметке.

Все изображения на этой странице синтетические или нарисованы кодом. MAISI сегодня не входит в конвейер OSV; лекция – основа для тех, кто захочет его подключить.

Что синтез может и чего не может

Синтетические данные помогают там, где реальных мало: редкие находки, необычная анатомия, опухоль заданного размера, недопредставленная группа пациентов. Синтетический объём, созданный вместе с маской, не требует времени на разметку, и за ним не стоит пациент, хотя генератор всё равно может запомнить обучающие данные (см. проверку синтетических данных).

Синтез не придумает того, чего не было в обучающих данных, а модель, обученная только на синтетике, может не работать на реальных данных. Проект это измерил. В RFC 0001 модель сегментации, обученная на синтетических инструментах, наложенных на реальные фоны, получила бинарный IoU 0,116 на реальном тестовом видео; та же модель на реальной разметке – 0,772. Синтетика дополняет реальные данные, а оценивается только на реальных.

3D латентная диффузия: MAISI

обучениегенерацияобъём КТ512 × 512 × 768энкодер VAE÷ 4 по каждой осилатент z₀4 × 128 × 128 × 192диффузионная U-Netучится убирать шумшумразмером с латентта же U-NetN шагов: 1000 или 30декодер VAE× 4 по каждой осисинтетическая КТ512 × 512 × 768обученные веса
Сверху обучение, снизу генерация. Диффузионная модель никогда не видит вокселей, только латентное представление.

Объём КТ 512 × 512 × 768 вокселей содержит 201 миллион значений. Диффузионная сеть прогоняет свой вход сотни раз, и при таком размере он не помещается в память GPU. Поэтому MAISI (Guo и соавт., WACV 2025) работает в две части:

  1. Вариационный автоэнкодер (VAE) обучается один раз сжимать объём в четыре раза по каждой оси до четырёх каналов: 4 × 128 × 128 × 192, то есть 12,6 миллиона чисел, в 16 раз меньше. Его декодер превращает такой латент обратно в воксели.
  2. Диффузионная U-Net учится генерировать латенты. Она получает и размер вокселя, поэтому одна модель делает объёмы разного размера и разрешения.

Первые модели MAISI использовали DDPM (Ho и соавт., 2020). При обучении чистый латент x0 смешивают с гауссовым шумом ε до уровня случайного шага t из 1000, а сеть учится определять, какой шум добавлен:

xt=α‾tx0+1−α‾tε,ε∼𝒩(0,I) L=‖ε−εθ(xt,t)‖2,t=1,…,1000

Генерация начинается с чистого шума и на каждом из 1000 шагов убирает часть предсказанного шума. Запускать диффузию в латентном пространстве автоэнкодера, а не на пикселях, – идея латентной диффузии (Rombach и соавт., 2022), на которой работает и Stable Diffusion; MAISI переносит её в три измерения.

Размер объёма важнее любой другой настройки. Модель видела только определённые поля зрения: размер объёма в вокселях, умноженный на размер вокселя в миллиметрах. Если попросить поле зрения вне этого диапазона, например куб КТ всего тела со стороной 128 мм, получатся бесполезные объёмы, хотя запрос формально корректен. Начинайте с рекомендованных размеров и шагов из репозитория модели.

Rectified flow: MAISI v2

Путь DDPM от данных к шуму изогнут, а чтобы пройти по кривой, нужно много мелких шагов. Rectified flow (Liu и соавт., 2022) соединяет точку данных и образец шума прямой и учит сеть предсказывать скорость вдоль неё, одинаковую в любой точке прямой:

xt=(1−t)x0+tε,t∈[0,1] L=‖(ε−x0)−vθ(xt,t)‖2

Здесь t = 0 – данные, t = 1 – шум; в статьях и коде это соглашение различается, поэтому проверяйте его, прежде чем читать планировщик. Генерация идёт назад от шума за N шагов простейшего решателя, метода Эйлера: сдвиг против предсказанной скорости на время 1/N.

xt−Δt=xt−Δt·vθ(xt,t),Δt=1N,N≈30шагов

MAISI v2 (Zhao и соавт., AAAI 2026) перешла на rectified flow и добавила контрастную функцию потерь по областям, с которой результат точнее следует условиям. Авторы сообщают о примерно 30 шагах сэмплирования вместо 1000 у DDPM, то есть ускорении латентной диффузии в 33 раза. На бенчмарке autoPET 2023, на котором ни одна из моделей не обучалась, репозиторий приводит FID 5,124 у rflow-ct против 6,083 у ddpm-ct; меньше – лучше.

Почему 30 шагов, а не один? Попробуйте: точки – образцы шума на пути к 64 точкам данных, кольцу и скоплению.

  • Изогнутый путь, каждая пара отдельно. Каждая точка шума знает свою точку данных и идёт к ней по четверти окружности. Каждый шаг Эйлера уходит по касательной и проскакивает изгиб, поэтому за несколько шагов точки не попадают в цель.
  • Прямой путь, каждая пара отдельно. На прямой скорость не меняется, и один шаг попадает точно. На это и рассчитан rectified flow.
  • Чему учится модель. Сеть не знает, с какой точкой данных был в паре образец шума. Прямые разных пар пересекаются, и в точке пересечения лучшее, что она может предсказать, – среднее их скоростей. Инструмент считает это среднее точно для этих 64 точек. Пути изгибаются там, где им нужно разойтись между кольцом и скоплением. За один шаг все точки попадают в среднее данных – размытое пятно; за 30 шагов – на данные. Liu и соавт. выпрямляют пути дальше, переобучая модель на её собственных парах; они называют это reflow.

Репозиторий NV-Generate-CTMR публикует пять наборов весов:

Веса Модальность Результат Шагов Наибольший объём Лицензия весов
rflow-ct КТ изображение или изображение с маской 30 512 × 512 × 768 NVIDIA Open Model
ddpm-ct КТ изображение или изображение с маской 1000 512 × 512 × 768 NVIDIA Open Model
rflow-mr МРТ: мозг, живот, молочная железа, простата только изображение 30 512 × 512 × 128 некоммерческая NVIDIA
rflow-mr-brain МРТ мозга: T1w, T2w, FLAIR, SWI только изображение 30 512 × 512 × 256 NVIDIA Open Model
rflow-mask маски КТ маска из 132 меток 100 256 × 256 × 256 NVIDIA Open Model

Маски есть только у КТ. Веса для МРТ дают изображения без разметки, а rflow-mr нельзя использовать коммерчески. Код под Apache 2.0; у весов свои лицензии.

Управляемая геометрия тела: NV-Generate-Body

1 · маска19 условийодин размер, демография1rflow-mask100 шагов, усиление s = 22маска 256³132 метки, с телом3или своя маскаперекодирована, + метка 2002 · изображениеControlNetчитает маску4U-Net rflow-ctиз шума, 30 шагов5декодер VAEобъём КТмаска – его разметка
Пары «изображение – маска» получаются в два этапа: сначала маска, потом КТ под неё. Маску можно сгенерировать или принести извне.

Чтобы получить печень с опухолью 4 см, она должна быть в маске. NV-Generate-Body (Zhao и соавт., 2026), веса rflow-mask, генерирует маску всего тела 256 × 256 × 256 вокселей со 132 метками по вектору из 19 чисел:

  • слоты 0–8: размеры 9 органов: печени, селезёнки, желудка, поджелудочной железы, толстой кишки, левой почки, правой почки, лёгкого и желчного пузыря;
  • слоты 9–13: размеры 5 видов опухолей: опухоли лёгкого, поджелудочной железы, печени, первичного рака толстой кишки и поражения кости;
  • слоты 14–18: возраст, пол, вес, ИМТ и рост.

Слот без значения содержит −1. Размеры относительные, от 0 до 1. Возраст делится на 120, вес – на 200 кг, ИМТ – на 75, рост – на 200 см; пол – 1 для мужского и 0 для женского. Модель обучена на 8571 маске из 26 когорт. Авторы сообщают о корреляции Спирмена 0,70–0,92 между запрошенным и полученным размером органа, полноте 85–100 % для опухолей лёгкого, поджелудочной железы, толстой кишки и поражений кости и корреляции 0,78 для ИМТ.

Код репозитория добавляет правила, о которых краткое изложение статьи молчит:

  • Один размер за раз. Запрос задаёт размер одного органа или одной опухоли, не нескольких.
  • Вес или ИМТ, не оба. Они взяты из разных обучающих датасетов и вместе встречаются меньше чем в 0,4 % случаев.
  • Рост ненадёжен. Он есть примерно в 0,4 % обучающих данных.
  • Избегайте слота опухоли печени. Документация предупреждает, что полнота у него низкая, а результат непредсказуем, и для проекта, сосредоточенного на печени и желчном пузыре, это важно.

Как вектор попадает в сеть? Через адаптивную групповую нормализацию (AdaGN). Каждый остаточный блок нормализует признаки, а затем масштабирует и сдвигает их на величины, предсказанные по условиям вместе с шагом времени; эта идея известна как FiLM (Perez и соавт., 2018). Когда так расширяют предобученную сеть, γ начинается с нуля, и сеть стартует без изменений. В NV-Generate-Body тот же вектор входит и через cross-attention.

h′=GroupNorm(h)·(1+γ)+β (γ,β)=MLP(et+E(y)),y∈ℝ19

На каждом шаге модель работает дважды: с условиями и со всеми 19 слотами, равными −1. Classifier-free guidance (Ho и Salimans, 2022) затем сдвигает результат дальше в сторону ответа с условиями, прочь от ответа без них. NV-Generate-Body использует s = 2.

v^=vθ(xt,t,∅)+s·(vθ(xt,t,y)−vθ(xt,t,∅)),s=2

Соберите запрос ниже. Вектор и конфигурация строятся так же, как в scripts/sample.py репозитория; 3D-тело – рисунок, показывающий, чего просят числа.

КТ по своим маскам: ControlNet

Второй этап рисует КТ под маску. ControlNet (Zhang и соавт., 2023) делает это без переобучения диффузионной модели. Обучаемая копия энкодера U-Net читает маску и добавляет свои признаки в замороженную U-Net через свёртки с нулевыми начальными весами, поэтому обучение начинается с неизменённой модели, а влияние маски растёт, только пока оно помогает.

ControlNet MAISI ждёт маску в собственном словаре из 132 меток, перечисленных в configs/label_dict.json, плюс контур тела, метку 200, которая показывает, где тело кончается. Несколько номеров:

Структура Метка Структура Метка
печень 1 желчный пузырь 10
селезёнка 3 желудок 12
поджелудочная железа 4 печёночные сосуды 25
правая почка 5 опухоль печени 26
аорта 6 толстая кишка 62
контур тела 200

Сделать такую маску из реальной КТ можно двумя способами:

  1. Сегментировать её моделью NVIDIA nv-segment-ct, метки которой уже следуют словарю MAISI, и добавить контур тела функцией scripts.utils.add_body_envelope; сегментатор метку 200 не выдаёт.
  2. Сегментировать другой моделью, например TotalSegmentator, перекодировать её метки в номера MAISI и добавить контур тела.

Затем запустить:

python -m scripts.infer_image_from_mask \
  -t ./configs/config_network_rflow.json \
  -i ./configs/config_infer.json \
  -e ./configs/environment_rflow-ct.json \
  --mask /path/to/your_mask.nii.gz

Маска реального пациента получена из данных пациента. Она проходит ту же деидентификацию и хранится там же, где КТ, из которой получена.

Проверка синтетических данных

Синтетический набор – такой же датасет, как любой другой, и прежде чем на нём обучать, нужны доказательства:

  • Реалистичность. FID сравнивает статистику синтетических и реальных изображений; для КТ репозиторий считает его по срезам 2.5D. Низкий FID не доказывает правильную анатомию.
  • Согласие с маской. Сегментируйте синтетический объём независимой моделью и сравните с маской, по которой он нарисован, через Dice со страницы метрик. Отбрасывайте расходящиеся объёмы и сообщайте, сколько отброшено.
  • Клиническое правдоподобие. Клиницист просматривает выборку. Определения классов и каталог анатомических вариантов – зона клинического руководителя (правило R-14).
  • Запоминание. 3D латентные диффузионные модели способны почти точно воспроизводить обучающие объёмы (Dar и соавт., 2023). Прежде чем называть синтетический набор приватным, сравните каждый синтетический объём с ближайшим обучающим.
  • Польза. Обучите с синтетикой и без неё и проверьте обе модели на одном реальном тестовом наборе. Синтетика никогда не попадает в валидацию и тест.
  • Происхождение. Записывайте веса, их версию, конфигурацию, seed и лицензию, как для любого датасета проекта (правила R-22 и R-23).

Хирургические артефакты в osv.augment

На хирургическом видео проект не использует генеративную модель. Он физически моделирует один артефакт, дым, и накладывает его на реальные кадры. Вот что сейчас есть в коде:

Эффект В репозитории osv
Хирургический дым реализован в osv/augment/smoke.py; пары для обучения модели удаления дыма M5
Синтетические инструменты на реальных фонах реализованы в osv/augment/instruments.py; эксперимент RFC 0001
Кровь на объективе указана в osv.robustness как стресс-тест; не реализована, не оценивалась
Блики на металлических браншах указаны в osv.robustness как стресс-тест; не реализованы, не оценивались
рендер BlenderRGBA, 919 кадровгеометрияотражение,масштаб, сдвигплотность, светg, лампа L,оттенок τналожениеJ′(1 − a) + C·aпаравход с дымом,цель чистаячистый кадрCholecT50маска поля mдым не на виньетке
Отрендеренный слой дыма накладывается на чистый кадр; чистый кадр остаётся целью, и пара учит модель убирать дым.

Слои дыма – собственные рендеры проекта: 36 последовательностей, 919 кадров 1280 × 720, смоделированные в Mantaflow из Blender и отрендеренные в RGBA с прямой альфой под CC BY 4.0. Наложение следует модели однократного рассеяния, на которой обучаются методы удаления дыма:

a=(1−(1−α)g)·m I=J′(1−a)+Ca,C=csmoke·b·L·τ
  • α – непрозрачность рендера в пикселе. Усиление g возводит пропускание 1 − α в степень. Удвоение g удваивает оптическую толщину дыма, а не обрезает непрозрачность на 1.
  • m – маска поля зрения. Чёрная виньетка эндоскопа находится как тёмные пиксели, связанные с краем кадра, и дыма на ней нет: он в брюшной полости, а не на корпусе оптики.
  • C – цвет дыма, умноженный на яркость b, собственный уровень лампы кадра L (99-й процентиль яркости) и небольшой оттенок τ. Белый рендер, вставленный на полной яркости в тёмный кадр, модель замечает первым делом.
  • J′ – чистый кадр, размытый там, где дым плотный: рассеяние вперёд смягчает края за дымом, а не только приглушает их.

Каждый параметр берётся из генератора с отдельным seed на пару: масштаб от 0,8 до 1,4, сдвиг до четверти кадра, усиление от 0,6 до 2,5, яркость от 0,75 до 1,05, оттенок ±4 %, размытие до 2,5 пикселя при ширине 854 пикселя. Поэтому пары валидации и теста воспроизводятся побитово. Дым не меняет разметку: ткань за ним никуда не делась. Пары наследуют лицензию чистых кадров, CC BY-NC-SA 4.0 датасета CholecT50. На 518 синтетических парах валидации остаточная U-Net, обученная на них, подняла PSNR с 28,99 дБ у входа с дымом до 33,08 дБ. На реальном дыме она пока не оценивалась (карточка модели M5).

Попробуйте ту же модель на синтетическом кадре. Слой дыма здесь – шум, которому код придал форму шлейфа, а не рендер Blender; всё дальше следует composite().

У двух недостающих эффектов своя физика, которую реализация должна учитывать:

  • Блик. Лампа стоит на оси эндоскопа, поэтому полированные металлические бранши отражают её почти прямо в камеру. Блик насыщает сенсор, срезается в белый, расплывается вокруг и движется с углом инструмента. Физическая версия рендерила бы инструменты с металлической поверхностью, как рендеры RFC 0001, а не рисовала бы яркие пятна.
  • Кровь на объективе. Капля лежит на переднем стекле, далеко за пределами глубины резкости, поэтому видна мягким красным диском, который увеличивает и окрашивает то, что за ним. Она остаётся от кадра к кадру, пока объектив не очистят.

Сохраняют ли пиксели, скрытые кровью или бликом, свою разметку, решают руководство по разметке и клинический руководитель. Эскизы в инструменте выше рисуют только внешний вид.

Чек-лист

  • Сначала генерируйте маску и храните её как разметку; проверяйте изображение по ней.
  • Держите поле зрения в диапазоне, на котором обучалась модель.
  • Не пускайте синтетику в валидацию и тест и сообщайте результаты на реальных данных.
  • Записывайте веса, версию, конфигурацию, seed и лицензию каждого синтетического набора; помните о некоммерческих условиях.
  • Проверяйте запоминание, прежде чем называть синтетические данные приватными.
  • В osv.augment реализован только дым; не заявляйте аугментацию кровью или бликами.

Что почитать