Редких патологий и анатомических вариантов в размеченных данных мало. Модель, которая видела три печени с крупной опухолью, не узнала, как такая печень выглядит, а датасет не может просто ждать новых пациентов. Генеративные модели умеют делать новые примеры, и если сначала сгенерировать маску, каждое синтетическое изображение получает точную разметку. В лекции разберём, как работает 3D латентная диффузия, почему rectified flow сокращает сэмплирование с 1000 шагов примерно до 30, как задать размер органа или опухоли, как превратить свои маски в КТ и что проект симулирует на хирургическом видео сегодня. Это лекция 4 учебной программы, после лекции 3 о разметке.
Все изображения на этой странице синтетические или нарисованы кодом. MAISI сегодня не входит в конвейер OSV; лекция – основа для тех, кто захочет его подключить.
Что синтез может и чего не может
Синтетические данные помогают там, где реальных мало: редкие находки, необычная анатомия, опухоль заданного размера, недопредставленная группа пациентов. Синтетический объём, созданный вместе с маской, не требует времени на разметку, и за ним не стоит пациент, хотя генератор всё равно может запомнить обучающие данные (см. проверку синтетических данных).
Синтез не придумает того, чего не было в обучающих данных, а модель, обученная только на синтетике, может не работать на реальных данных. Проект это измерил. В RFC 0001 модель сегментации, обученная на синтетических инструментах, наложенных на реальные фоны, получила бинарный IoU 0,116 на реальном тестовом видео; та же модель на реальной разметке – 0,772. Синтетика дополняет реальные данные, а оценивается только на реальных.
3D латентная диффузия: MAISI
Объём КТ 512 × 512 × 768 вокселей содержит 201 миллион значений. Диффузионная сеть прогоняет свой вход сотни раз, и при таком размере он не помещается в память GPU. Поэтому MAISI (Guo и соавт., WACV 2025) работает в две части:
- Вариационный автоэнкодер (VAE) обучается один раз сжимать объём в четыре раза по каждой оси до четырёх каналов: 4 × 128 × 128 × 192, то есть 12,6 миллиона чисел, в 16 раз меньше. Его декодер превращает такой латент обратно в воксели.
- Диффузионная U-Net учится генерировать латенты. Она получает и размер вокселя, поэтому одна модель делает объёмы разного размера и разрешения.
Первые модели MAISI использовали DDPM (Ho и соавт., 2020). При обучении чистый латент x0 смешивают с гауссовым шумом ε до уровня случайного шага t из 1000, а сеть учится определять, какой шум добавлен:
Генерация начинается с чистого шума и на каждом из 1000 шагов убирает часть предсказанного шума. Запускать диффузию в латентном пространстве автоэнкодера, а не на пикселях, – идея латентной диффузии (Rombach и соавт., 2022), на которой работает и Stable Diffusion; MAISI переносит её в три измерения.
Размер объёма важнее любой другой настройки. Модель видела только определённые поля зрения: размер объёма в вокселях, умноженный на размер вокселя в миллиметрах. Если попросить поле зрения вне этого диапазона, например куб КТ всего тела со стороной 128 мм, получатся бесполезные объёмы, хотя запрос формально корректен. Начинайте с рекомендованных размеров и шагов из репозитория модели.
Rectified flow: MAISI v2
Путь DDPM от данных к шуму изогнут, а чтобы пройти по кривой, нужно много мелких шагов. Rectified flow (Liu и соавт., 2022) соединяет точку данных и образец шума прямой и учит сеть предсказывать скорость вдоль неё, одинаковую в любой точке прямой:
Здесь t = 0 – данные, t = 1 – шум; в статьях и коде это соглашение различается, поэтому проверяйте его, прежде чем читать планировщик. Генерация идёт назад от шума за N шагов простейшего решателя, метода Эйлера: сдвиг против предсказанной скорости на время 1/N.
MAISI v2 (Zhao и соавт., AAAI 2026) перешла на rectified flow и добавила контрастную функцию потерь по областям, с которой результат точнее следует условиям. Авторы сообщают о примерно 30 шагах сэмплирования вместо 1000 у DDPM, то есть ускорении латентной диффузии в 33 раза. На бенчмарке autoPET 2023, на котором ни одна из моделей не обучалась, репозиторий приводит FID 5,124 у rflow-ct против 6,083 у ddpm-ct; меньше – лучше.
Почему 30 шагов, а не один? Попробуйте: точки – образцы шума на пути к 64 точкам данных, кольцу и скоплению.
- Изогнутый путь, каждая пара отдельно. Каждая точка шума знает свою точку данных и идёт к ней по четверти окружности. Каждый шаг Эйлера уходит по касательной и проскакивает изгиб, поэтому за несколько шагов точки не попадают в цель.
- Прямой путь, каждая пара отдельно. На прямой скорость не меняется, и один шаг попадает точно. На это и рассчитан rectified flow.
- Чему учится модель. Сеть не знает, с какой точкой данных был в паре образец шума. Прямые разных пар пересекаются, и в точке пересечения лучшее, что она может предсказать, – среднее их скоростей. Инструмент считает это среднее точно для этих 64 точек. Пути изгибаются там, где им нужно разойтись между кольцом и скоплением. За один шаг все точки попадают в среднее данных – размытое пятно; за 30 шагов – на данные. Liu и соавт. выпрямляют пути дальше, переобучая модель на её собственных парах; они называют это reflow.
Репозиторий NV-Generate-CTMR публикует пять наборов весов:
| Веса | Модальность | Результат | Шагов | Наибольший объём | Лицензия весов |
|---|---|---|---|---|---|
rflow-ct |
КТ | изображение или изображение с маской | 30 | 512 × 512 × 768 | NVIDIA Open Model |
ddpm-ct |
КТ | изображение или изображение с маской | 1000 | 512 × 512 × 768 | NVIDIA Open Model |
rflow-mr |
МРТ: мозг, живот, молочная железа, простата | только изображение | 30 | 512 × 512 × 128 | некоммерческая NVIDIA |
rflow-mr-brain |
МРТ мозга: T1w, T2w, FLAIR, SWI | только изображение | 30 | 512 × 512 × 256 | NVIDIA Open Model |
rflow-mask |
маски КТ | маска из 132 меток | 100 | 256 × 256 × 256 | NVIDIA Open Model |
Маски есть только у КТ. Веса для МРТ дают изображения без разметки, а rflow-mr нельзя использовать коммерчески. Код под Apache 2.0; у весов свои лицензии.
Управляемая геометрия тела: NV-Generate-Body
Чтобы получить печень с опухолью 4 см, она должна быть в маске. NV-Generate-Body (Zhao и соавт., 2026), веса rflow-mask, генерирует маску всего тела 256 × 256 × 256 вокселей со 132 метками по вектору из 19 чисел:
- слоты 0–8: размеры 9 органов: печени, селезёнки, желудка, поджелудочной железы, толстой кишки, левой почки, правой почки, лёгкого и желчного пузыря;
- слоты 9–13: размеры 5 видов опухолей: опухоли лёгкого, поджелудочной железы, печени, первичного рака толстой кишки и поражения кости;
- слоты 14–18: возраст, пол, вес, ИМТ и рост.
Слот без значения содержит −1. Размеры относительные, от 0 до 1. Возраст делится на 120, вес – на 200 кг, ИМТ – на 75, рост – на 200 см; пол – 1 для мужского и 0 для женского. Модель обучена на 8571 маске из 26 когорт. Авторы сообщают о корреляции Спирмена 0,70–0,92 между запрошенным и полученным размером органа, полноте 85–100 % для опухолей лёгкого, поджелудочной железы, толстой кишки и поражений кости и корреляции 0,78 для ИМТ.
Код репозитория добавляет правила, о которых краткое изложение статьи молчит:
- Один размер за раз. Запрос задаёт размер одного органа или одной опухоли, не нескольких.
- Вес или ИМТ, не оба. Они взяты из разных обучающих датасетов и вместе встречаются меньше чем в 0,4 % случаев.
- Рост ненадёжен. Он есть примерно в 0,4 % обучающих данных.
- Избегайте слота опухоли печени. Документация предупреждает, что полнота у него низкая, а результат непредсказуем, и для проекта, сосредоточенного на печени и желчном пузыре, это важно.
Как вектор попадает в сеть? Через адаптивную групповую нормализацию (AdaGN). Каждый остаточный блок нормализует признаки, а затем масштабирует и сдвигает их на величины, предсказанные по условиям вместе с шагом времени; эта идея известна как FiLM (Perez и соавт., 2018). Когда так расширяют предобученную сеть, γ начинается с нуля, и сеть стартует без изменений. В NV-Generate-Body тот же вектор входит и через cross-attention.
На каждом шаге модель работает дважды: с условиями и со всеми 19 слотами, равными −1. Classifier-free guidance (Ho и Salimans, 2022) затем сдвигает результат дальше в сторону ответа с условиями, прочь от ответа без них. NV-Generate-Body использует s = 2.
Соберите запрос ниже. Вектор и конфигурация строятся так же, как в scripts/sample.py репозитория; 3D-тело – рисунок, показывающий, чего просят числа.
NVIDIA предупреждает: условие на опухоль печени даёт низкую полноту и непредсказуемый результат.
19 значений, которые получает модель:
Тот же запрос в файле конфигурации:
КТ по своим маскам: ControlNet
Второй этап рисует КТ под маску. ControlNet (Zhang и соавт., 2023) делает это без переобучения диффузионной модели. Обучаемая копия энкодера U-Net читает маску и добавляет свои признаки в замороженную U-Net через свёртки с нулевыми начальными весами, поэтому обучение начинается с неизменённой модели, а влияние маски растёт, только пока оно помогает.
ControlNet MAISI ждёт маску в собственном словаре из 132 меток, перечисленных в configs/label_dict.json, плюс контур тела, метку 200, которая показывает, где тело кончается. Несколько номеров:
| Структура | Метка | Структура | Метка |
|---|---|---|---|
| печень | 1 | желчный пузырь | 10 |
| селезёнка | 3 | желудок | 12 |
| поджелудочная железа | 4 | печёночные сосуды | 25 |
| правая почка | 5 | опухоль печени | 26 |
| аорта | 6 | толстая кишка | 62 |
| контур тела | 200 |
Сделать такую маску из реальной КТ можно двумя способами:
- Сегментировать её моделью NVIDIA
nv-segment-ct, метки которой уже следуют словарю MAISI, и добавить контур тела функциейscripts.utils.add_body_envelope; сегментатор метку 200 не выдаёт. - Сегментировать другой моделью, например TotalSegmentator, перекодировать её метки в номера MAISI и добавить контур тела.
Затем запустить:
python -m scripts.infer_image_from_mask \
-t ./configs/config_network_rflow.json \
-i ./configs/config_infer.json \
-e ./configs/environment_rflow-ct.json \
--mask /path/to/your_mask.nii.gz
Маска реального пациента получена из данных пациента. Она проходит ту же деидентификацию и хранится там же, где КТ, из которой получена.
Проверка синтетических данных
Синтетический набор – такой же датасет, как любой другой, и прежде чем на нём обучать, нужны доказательства:
- Реалистичность. FID сравнивает статистику синтетических и реальных изображений; для КТ репозиторий считает его по срезам 2.5D. Низкий FID не доказывает правильную анатомию.
- Согласие с маской. Сегментируйте синтетический объём независимой моделью и сравните с маской, по которой он нарисован, через Dice со страницы метрик. Отбрасывайте расходящиеся объёмы и сообщайте, сколько отброшено.
- Клиническое правдоподобие. Клиницист просматривает выборку. Определения классов и каталог анатомических вариантов – зона клинического руководителя (правило R-14).
- Запоминание. 3D латентные диффузионные модели способны почти точно воспроизводить обучающие объёмы (Dar и соавт., 2023). Прежде чем называть синтетический набор приватным, сравните каждый синтетический объём с ближайшим обучающим.
- Польза. Обучите с синтетикой и без неё и проверьте обе модели на одном реальном тестовом наборе. Синтетика никогда не попадает в валидацию и тест.
- Происхождение. Записывайте веса, их версию, конфигурацию, seed и лицензию, как для любого датасета проекта (правила R-22 и R-23).
Хирургические артефакты в osv.augment
На хирургическом видео проект не использует генеративную модель. Он физически моделирует один артефакт, дым, и накладывает его на реальные кадры. Вот что сейчас есть в коде:
| Эффект | В репозитории osv |
|---|---|
| Хирургический дым | реализован в osv/augment/smoke.py; пары для обучения модели удаления дыма M5 |
| Синтетические инструменты на реальных фонах | реализованы в osv/augment/instruments.py; эксперимент RFC 0001 |
| Кровь на объективе | указана в osv.robustness как стресс-тест; не реализована, не оценивалась |
| Блики на металлических браншах | указаны в osv.robustness как стресс-тест; не реализованы, не оценивались |
Слои дыма – собственные рендеры проекта: 36 последовательностей, 919 кадров 1280 × 720, смоделированные в Mantaflow из Blender и отрендеренные в RGBA с прямой альфой под CC BY 4.0. Наложение следует модели однократного рассеяния, на которой обучаются методы удаления дыма:
- α – непрозрачность рендера в пикселе. Усиление g возводит пропускание 1 − α в степень. Удвоение g удваивает оптическую толщину дыма, а не обрезает непрозрачность на 1.
- m – маска поля зрения. Чёрная виньетка эндоскопа находится как тёмные пиксели, связанные с краем кадра, и дыма на ней нет: он в брюшной полости, а не на корпусе оптики.
- C – цвет дыма, умноженный на яркость b, собственный уровень лампы кадра L (99-й процентиль яркости) и небольшой оттенок τ. Белый рендер, вставленный на полной яркости в тёмный кадр, модель замечает первым делом.
- J′ – чистый кадр, размытый там, где дым плотный: рассеяние вперёд смягчает края за дымом, а не только приглушает их.
Каждый параметр берётся из генератора с отдельным seed на пару: масштаб от 0,8 до 1,4, сдвиг до четверти кадра, усиление от 0,6 до 2,5, яркость от 0,75 до 1,05, оттенок ±4 %, размытие до 2,5 пикселя при ширине 854 пикселя. Поэтому пары валидации и теста воспроизводятся побитово. Дым не меняет разметку: ткань за ним никуда не делась. Пары наследуют лицензию чистых кадров, CC BY-NC-SA 4.0 датасета CholecT50. На 518 синтетических парах валидации остаточная U-Net, обученная на них, подняла PSNR с 28,99 дБ у входа с дымом до 33,08 дБ. На реальном дыме она пока не оценивалась (карточка модели M5).
Попробуйте ту же модель на синтетическом кадре. Слой дыма здесь – шум, которому код придал форму шлейфа, а не рендер Blender; всё дальше следует composite().
У двух недостающих эффектов своя физика, которую реализация должна учитывать:
- Блик. Лампа стоит на оси эндоскопа, поэтому полированные металлические бранши отражают её почти прямо в камеру. Блик насыщает сенсор, срезается в белый, расплывается вокруг и движется с углом инструмента. Физическая версия рендерила бы инструменты с металлической поверхностью, как рендеры RFC 0001, а не рисовала бы яркие пятна.
- Кровь на объективе. Капля лежит на переднем стекле, далеко за пределами глубины резкости, поэтому видна мягким красным диском, который увеличивает и окрашивает то, что за ним. Она остаётся от кадра к кадру, пока объектив не очистят.
Сохраняют ли пиксели, скрытые кровью или бликом, свою разметку, решают руководство по разметке и клинический руководитель. Эскизы в инструменте выше рисуют только внешний вид.
Чек-лист
- Сначала генерируйте маску и храните её как разметку; проверяйте изображение по ней.
- Держите поле зрения в диапазоне, на котором обучалась модель.
- Не пускайте синтетику в валидацию и тест и сообщайте результаты на реальных данных.
- Записывайте веса, версию, конфигурацию, seed и лицензию каждого синтетического набора; помните о некоммерческих условиях.
- Проверяйте запоминание, прежде чем называть синтетические данные приватными.
- В
osv.augmentреализован только дым; не заявляйте аугментацию кровью или бликами.
Что почитать
- Guo и соавт. MAISI: Medical AI for Synthetic Imaging. WACV 2025.
- Zhao и соавт. MAISI-v2: Accelerated 3D High-Resolution Medical Image Synthesis with Rectified Flow and Region-specific Contrastive Loss. AAAI 2026.
- Zhao и соавт. NV-Generate-Body: 3D Latent Diffusion Model for Controllable Anatomy, Tumor, and Demographic Body Mask Synthesis. 2026.
- Репозиторий NV-Generate-CTMR, его веса и лицензии.
- Ho и соавт. Denoising Diffusion Probabilistic Models. 2020. Rombach и соавт. High-Resolution Image Synthesis with Latent Diffusion Models. 2022.
- Liu и соавт. Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow. 2022.
- Perez и соавт. FiLM: Visual Reasoning with a General Conditioning Layer. 2018. Ho и Salimans. Classifier-Free Diffusion Guidance. 2022. Zhang и соавт. Adding Conditional Control to Text-to-Image Diffusion Models. 2023.
- Dar и соавт. Investigating Data Memorization in 3D Latent Diffusion Models for Medical Image Synthesis. 2023.
- В репозитории osv:
osv/augment/smoke.py, карточка модели M5 и RFC 0001.