Что это за программа
Учебный план для контрибьюторов, инженеров машинного обучения и исследователей, которые приходят в OpenSurgicalVision. Он ведёт от устройства медицинских форматов данных до быстрого инференса в хирургической робототехнике: девять модулей, восемнадцать лекций. Через весь курс проходят две идеи: каждый результат воспроизводим от начала до конца, а люди и ИИ-агенты работают над кодом вместе.
RESEARCH USE ONLY — NOT FOR CLINICAL USE. Программное обеспечение, модели, веса, аугментации и датасеты OpenSurgicalVision предназначены для исследований, бенчмарков и обучения. Проект не является медицинским изделием, не проходил сертификацию FDA 510(k)/PMA и EU MDR 2017/745, и его нельзя использовать для диагностики, принятия решений во время операции или оказания медицинской помощи.
Как читать программу
Это черновик, он ждёт рецензии.
- Не всё описанное уже сделано.
osv.deid,osv.augment,osv.datasets,osv.evalиosv.trainсуществуют и работают. Вosv.annotate,osv.serve,osv.robustnessиosv.deployпока есть только интерфейс и описание; лекции, где они упоминаются, описывают планируемое устройство. - Часть инструментов — внешние. MAISI, VISTA-3D, каталог медицинских навыков NVIDIA, MONAI Deploy, Mercure, Triton и ClearML — инструменты отрасли, которые изучаются в курсе. OpenSurgicalVision их пока не использует.
- Критерии прохождения — ориентиры для практических заданий, а не пороги приёмки в проекте.
Чтобы сразу перейти к практике, начните с экспериментов в Colab: десять ноутбуков на синтетических данных охватывают разбиение по пациентам, модели сегментации и метрики из модулей 3, 4 и 8.
Модуль 1. Форматы медицинских данных, геометрия объёмов и деидентификация
Лекция 1. Хирургические и диагностические форматы данных
В операционной возникают двумерные кадры (PNG, JPG), лапароскопическое видео (MP4 с H.264/HEVC) и трёхмерные предоперационные сканы (DICOM, NIfTI). Что хранит каждый формат и как он устроен:
- Эндоскопическое видео: межкадровое сжатие, переменный битрейт, 25–60 кадров в секунду, YUV420p против sRGB и влияние вспышек коагулятора на цвет.
- DICOM: информационные объекты (IOD), иерархия «пациент → исследование → серия → экземпляр», чтение метаданных через
pydicom. - NIfTI (
.nii,.nii.gz): от разрозненных срезов DICOM к непрерывной 3D/4D-сетке вокселей с фиксированным шагом. - Геометрия объёма: аффинная матрица 4×4, которая переводит индекс вокселя в сетке в миллиметровые координаты пространства пациента: блок поворота и масштаба 3×3 плюс сдвиг.
- Ориентация и единицы Хаунсфилда: системы координат RAS и LPS; пересчёт хранимых значений КТ в единицы Хаунсфилда через Rescale Slope и Rescale Intercept,
HU = SV × slope + intercept.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Лекция 2. Деидентификация в четыре уровня
Публичные репозитории и бенчмарки не должны допускать утечки защищённой медицинской информации (PHI). osv.deid защищает данные на четырёх уровнях:
- Метаданные DICOM (PS3.15): удаление и псевдонимизация прямых и косвенных идентификаторов по профилю Basic Application Level Confidentiality: теги пациента, адреса учреждений, даты процедур, серийные номера сканеров.
- Частные теги: удаление приватных блоков производителей, где часто остаются недокументированные данные пациентов.
- Вшитый текст: OCR кадров и ультразвуковых изображений на впечатанные фамилии, номера историй болезни и названия клиник с необратимым маскированием.
- Дефейсинг: изменение поверхности лица на предоперационных КТ и МРТ, чтобы лицо нельзя было восстановить в 3D-рендере.
Сегодня osv.deid – это гейт, который проверяет эти четыре уровня и не пропускает pull request, где ещё есть PHI; само удаление делается заранее специальными инструментами. Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимацией.
Модуль 2. Разметка, активное обучение и генеративный синтез
Лекция 3. Полуавтоматическая разметка и согласие разметчиков
Ручная разметка плотного видео медленная, дорогая и субъективная. Лекция разбирает современные среды аннотации:
- Платформы разметки: коннекторы
osv.annotate(планируется) к CVAT и Label Studio с полигонами, бинарными масками и семантическими тегами. - Пре-разметка базовыми моделями: Segment Anything 2 (SAM 2) для трекинга и сегментации инструментов во времени по положительным и отрицательным кликам или рамкам.
- Активное обучение с MONAI Label: клиент-серверная связка 3D Slicer или OHIF с обучающим сервером, которая выбирает неразмеченные случаи с наибольшей неуверенностью модели.
- Согласие разметчиков: каппа Коэна и каппа Флейса для категориальных меток,
κ = (Po − Pe) / (1 − Pe), где Po — наблюдаемое согласие, Pe — согласие, ожидаемое случайно; Dice и IoU для попиксельного сравнения масок.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Лекция 4. Синтез медицинских объёмов, масок и хирургических артефактов
Редких патологий и анатомических вариантов в размеченных данных мало. Восполнить их помогают трёхмерные генеративные модели:
- MAISI и 3D латентная диффузия: 3D VAE сжимает объём КТ или МРТ в компактное латентное пространство, где обучается диффузионная модель.
- Rectified flow (MAISI v2): веса
rflow-ct,rflow-mrиrflow-mr-brain. Пары «синтетический объём + 132-классовая маска сегментации» даёт толькоrflow-ct; веса для МРТ дают одни изображения. Авторы сообщают о примерно 30 шагах сэмплирования вместо 1000 у DDPM, то есть ускорении около 33 раз, при лучшем FID. - Управляемая геометрия тела (
rflow-mask, NV-Generate-Body): вектор из 19 значений через адаптивную групповую нормализацию задаёт размер одного из 9 органов или 5 видов опухолей и демографию: возраст, пол, вес или ИМТ и рост. - КТ по своим маскам через ControlNet: условие в 132-классовом словаре MAISI, обязательно с контуром тела (метка 200).
- Хирургические артефакты в
osv.augment: физическая модель хирургического дыма, накладываемого на кадры CholecT50. Кровь на объективе и блики на металлических браншах указаны как тесты устойчивости, но пока не реализованы.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Модуль 3. Датасеты и конвейеры предобработки
Лекция 5. Хирургические датасеты и разбиение по пациентам
- Датасеты: Cholec80 (80 видео холецистэктомии с разметкой фаз и инструментов), CholecSeg8k (покадровая сегментация 13 классов), EndoVis (соревнования MICCAI по инструментам) и КТ-датасет TotalSegmentator.
- Утечка данных: соседние кадры одной операции почти одинаковы. Если кадры одного пациента попадают и в обучение, и в тест, оценка завышается: модель запоминает анатомию этого пациента.
- Разбиение по пациентам в
osv.datasets:train,valиtestделятся по пациентам, и одна анатомия не встречается в двух выборках.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Лекция 6. Предобработка, нормализация и быстрая загрузка данных в MONAI
- Пространственные преобразования: ресэмплинг к изотропному вокселю 1,0 × 1,0 × 1,0 мм (
Spacingd), ориентация в RAS (Orientationd), обрезка по информативной области (CropForegroundd). - Нормализация интенсивности: окно Хаунсфилда для мягких тканей (
ScaleIntensityRanged, от −175 до +250 HU) и стандартизация интенсивности МРТ к нулевому среднему и единичной дисперсии. - Быстрый ввод данных:
CacheDatasetдержит детерминированные преобразования в памяти,PersistentDatasetсохраняет готовые тензоры на быстрый локальный диск, и GPU не простаивает.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Модуль 4. Архитектуры нейросетей для классификации и сегментации
Лекция 7. Задачи проекта M1–M5
- M1, сегментация инструментов: бранши, стержни и шарниры зажимов, диссекторов и ножниц.
- M2, сегментация анатомии: желчный пузырь, печень, гепатодуоденальная связка и критические структуры — пузырная артерия и пузырный проток.
- M3, распознавание фаз: этапы операции (диссекция, клипирование, пересечение, извлечение).
- M4, предоперационная 3D-сегментация: органы и сосуды на КТ и МРТ.
- M5, удаление дыма и восстановление изображения: восстановление видимости при плотном задымлении.
Читать лекцию – со схемами, формулой, интерактивными примерами и 3D-анимациями.
Лекция 8. Архитектуры в MONAI Core и Lightning
- От U-Net к трансформерам: UNETR (ViT-энкодер с деконволюционным декодером) и SwinUNETR (иерархические сдвинутые окна с локальным вниманием).
- VISTA-3D: базовая модель, обученная на больших медицинских когортах, совмещает автоматическую сегментацию сотен классов с интерактивной сегментацией по кликам.
- Масштабирование обучения: Distributed Data Parallel и Fully Sharded Data Parallel на нескольких GPU; смешанная точность
bf16-mixedдля устойчивых градиентов на 3D-объёмах высокого разрешения.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Модуль 5. Роботические системы и компьютерно-ассистированные вмешательства
Лекция 9. Компьютерно-ассистированные вмешательства и трекинг инструментов
- Computer-assisted intervention (CAI): компьютерное зрение как сенсорный слой интеллектуальных манипуляторов и хирургических роботов.
- Трекинг в пространстве и времени: оценка позы инструментов с шестью степенями свободы (6-DoF) относительно анатомических ориентиров.
- Непрерывное видео: подавление мерцания и сглаживание масок во времени фильтрами Калмана и рекуррентными слоями.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Лекция 10. Потоковый инференс при жёстком бюджете задержки
- Потоковая обработка в
osv.serve(планируется): асинхронный сервер на FastAPI с WebSockets или gRPC, который накладывает маски на живое видео без лишних копирований памяти. - Бюджет задержки: p95 ≤ 50 мс при ≥ 30 кадрах в секунду, как задано в
osv.deploy. - Профилирование задержки: разбиение конвейера на захват кадра, цветовое преобразование, передачу на GPU, прямой проход сети, постобработку маски и вывод на монитор.
Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.
Модуль 6. ИИ-агенты, Model Context Protocol и медицинские навыки
Лекция 11. AI-first разработка и MCP
- ИИ-агенты как контрибьюторы: общий контекст проекта хранится в
.ai/context.md, шаблоны промптов — в.ai/prompts/. - Одни правила для всех агентов:
make setup-aiсоздаёт настройки для Claude Code, Cursor, GitHub Copilot и Aider,make check-aiпроверяет их согласованность. - Model Context Protocol: в
.ai/mcp/servers.jsonнастроено 13 MCP-серверов. Они дают агентам контролируемый доступ к датасетам, серверу экспериментов MLflow, разметке в CVAT и научной литературе, не затрагивая исходные данные.
Лекция 12. Каталог проверяемых навыков
Каталог медицинских навыков NVIDIA (внешний, проект его пока не использует) показывает, как стандартизировать работу агентов:
- Спецификация навыка (
SKILL.md) и манифест (skill_manifest.yaml): входы, ограничения окружения, зависимости и побочные эффекты. - Типовые задачи: предобработка DICOM (
dicom-series-to-volume), универсальная сегментация (nv-segment-ct), синтез КТ и МРТ (nv-generate-ct-rflow,nv-generate-mr-brain). - Пакеты доказательств и парные верификаторы: автоматический аудиторский след (хэши входов и выходов, логи видеопамяти, отсутствие PHI в выводе) и проверки физической правдоподобности результата (
ct_synthesis_quality_v1,dicom_volume_quality_v1).
Модуль 7. Дообучение и управление экспериментами
Лекция 13. Дообучение и непрерывное обучение
- MONAI bundles: самодостаточные пакеты моделей из MONAI Model Zoo, которые меняют через
config.json, не трогая код архитектуры. - Дообучение моделей генерации и сегментации: например, VISTA-3D и латентных диффузионных моделей на локальных данных (
nv-segment-ct-finetune,nv-generate-mr-brain-finetune). - Непрерывное обучение: борьба с катастрофическим забыванием при смене инструментов или источников света с помощью контрастивных функций потерь и заморозки энкодера.
Лекция 14. Воспроизводимость, версии данных и трекинг экспериментов
- Версии больших данных: DVC связывает коммиты Git с контрольными суммами данных в
dvc.lock. - Трекинг экспериментов: MLflow (сервер проекта), Aim или ClearML для метрик, кривых потерь, карт внимания и гиперпараметров; экспорт моделей с метаданными для Hugging Face Hub.
Модуль 8. Метрики качества и тестирование устойчивости
Лекция 15. Метрики медицинского компьютерного зрения
- Перекрытие: коэффициент Дайса — удвоенная площадь пересечения предсказания и разметки, делённая на сумму их площадей, — и индекс Жаккара (IoU) — пересечение, делённое на объединение.
- Расстояния до границ: 95-й процентиль расстояния Хаусдорфа (HD95) и среднее поверхностное расстояние (ASD), которые ловят выбросы и локальные ошибки границ.
- Качество синтетических данных: реализм по Fréchet Inception Distance (FID), разнообразие по SSIM и многомасштабному SSIM.
Формулы с рисунками и интерактивным примером – на странице о метриках.
Лекция 16. Стресс-тестирование устойчивости
- Оптические аномалии: сильное кровотечение, внезапная расфокусировка и ореолы обратного рассеяния света, с каталогом возмущений из
osv.robustness(полный набор тестов планируется). - Автоматизационное смещение: поиск скрытых систематических ошибок при сдвиге демографических или анатомических характеристик пациентов.
Модуль 9. Экспорт моделей, оптимизация инференса и развёртывание
Лекция 17. Оптимизация под железо: ONNX и TensorRT
- Экспорт в ONNX: фиксация графа PyTorch и проверка поддержки 3D-операций, например
GridSampleи 3D-свёрток. - TensorRT: слияние слоёв (свёртка, смещение и активация в одном ядре CUDA) и калибровка квантования FP16 и INT8 с падением Dice меньше 0,005.
Лекция 18. Контейнеры и оркестрация в ИТ клиники
- MONAI Application Package (MAP): упаковка конвейера через MONAI Deploy App SDK, от чтения DICOM до записи DICOM SEG и DICOM SR.
- Инференс в масштабе: Triton Inference Server с динамическим батчингом и BentoML.
- Маршрутизация клинических данных: открытый оркестратор Mercure принимает серии с томографов, запускает контейнеры MAP и возвращает маски в PACS или 3D Slicer.
Матрица навыков
Каждый модуль завершается практическим заданием. Критерии прохождения — ориентиры для задания, а не пороги проекта.
| Модуль | Основные инструменты | Вход | Результат | Критерий прохождения |
|---|---|---|---|---|
| 1 (лекции 1–2) | pydicom, nibabel, osv.deid |
Сырые серии DICOM КТ/МРТ, видео MP4 | Объёмы NIfTI, деидентифицированные кадры | Все файлы проходят предварительную проверку DICOM; тегов PHI не осталось |
| 2 (лекции 3–4) | SAM 2, MONAI Label, rflow-ct, ControlNet | Неразмеченное хирургическое видео, маски КТ | Полигональные маски, пары «синтетическая КТ + маска» | Каппа Флейса ≥ 0,75; синтетическая КТ с FID ≤ 6,0 на тестовой выборке |
| 3 (лекции 5–6) | osv.datasets, преобразования MONAI |
Cholec80, CholecSeg8k, TotalSegmentator | Разбиения по пациентам, кэш тензоров | Ни один пациент не попал в две выборки; загрузка данных быстрее не менее чем в 3 раза |
| 4 (лекции 7–8) | PyTorch, MONAI Core, Lightning | Нормализованные кадры и 3D-объёмы | Чекпоинты M1–M5 | Устойчивое обучение в bf16-mixed; Dice ≥ 0,82 на валидации |
| 5 (лекции 9–10) | osv.serve, FastAPI, WebSockets |
Поток эндоскопических кадров | Потоковые маски инструментов | p95 ≤ 50 мс при ≥ 30 кадрах в секунду |
| 6 (лекции 11–12) | MCP-серверы, Claude Code, медицинские навыки | Спецификации SKILL.md, манифесты |
Пакеты доказательств | Проверка парным верификатором пройдена |
| 7 (лекции 13–14) | MONAI bundles, DVC, MLflow, ClearML | Чекпоинты VISTA-3D, целевые датасеты | Дообученные веса, зафиксированные в dvc.lock |
Конвейер воспроизводится по хэшу коммита; соседние классы не деградируют |
| 8 (лекции 15–16) | osv.eval, osv.robustness, SciPy |
Предсказания моделей, стресс-тесты | Матрицы ошибок, профили деградации | Рассчитан HD95; Dice при задымлении падает не больше чем на 15% |
| 9 (лекции 17–18) | TensorRT, ONNX, MONAI Deploy SDK | Чекпоинты PyTorch .pt, папки DICOM |
Оптимизированный .engine, контейнер MAP |
Инференс быстрее PyTorch не менее чем в 2,5 раза; валидный DICOM SEG |
Что дальше
- Эксперименты в Colab: практика к модулям 3, 4 и 8 на синтетических данных, без медицинских данных.
- Студентам IT-специальностей: что даёт проект и как начать.
- Темы исследований: курсовые, дипломы и доклады.
- Как устроено участие: правила сообщества и первый pull request.