УЧЕБНАЯ ПРОГРАММА

Учебная программа: компьютерное зрение и ИИ в хирургии

Девять модулей и восемнадцать лекций для контрибьюторов OpenSurgicalVision: от DICOM и деидентификации до датасетов, моделей, инференса в реальном времени, ИИ-агентов, оценки качества и развёртывания.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Что это за программа

Учебный план для контрибьюторов, инженеров машинного обучения и исследователей, которые приходят в OpenSurgicalVision. Он ведёт от устройства медицинских форматов данных до быстрого инференса в хирургической робототехнике: девять модулей, восемнадцать лекций. Через весь курс проходят две идеи: каждый результат воспроизводим от начала до конца, а люди и ИИ-агенты работают над кодом вместе.

RESEARCH USE ONLY — NOT FOR CLINICAL USE. Программное обеспечение, модели, веса, аугментации и датасеты OpenSurgicalVision предназначены для исследований, бенчмарков и обучения. Проект не является медицинским изделием, не проходил сертификацию FDA 510(k)/PMA и EU MDR 2017/745, и его нельзя использовать для диагностики, принятия решений во время операции или оказания медицинской помощи.

Как читать программу

Это черновик, он ждёт рецензии.

  • Не всё описанное уже сделано. osv.deid, osv.augment, osv.datasets, osv.eval и osv.train существуют и работают. В osv.annotate, osv.serve, osv.robustness и osv.deploy пока есть только интерфейс и описание; лекции, где они упоминаются, описывают планируемое устройство.
  • Часть инструментов — внешние. MAISI, VISTA-3D, каталог медицинских навыков NVIDIA, MONAI Deploy, Mercure, Triton и ClearML — инструменты отрасли, которые изучаются в курсе. OpenSurgicalVision их пока не использует.
  • Критерии прохождения — ориентиры для практических заданий, а не пороги приёмки в проекте.

Чтобы сразу перейти к практике, начните с экспериментов в Colab: десять ноутбуков на синтетических данных охватывают разбиение по пациентам, модели сегментации и метрики из модулей 3, 4 и 8.

Модуль 1. Форматы медицинских данных, геометрия объёмов и деидентификация

Лекция 1. Хирургические и диагностические форматы данных

В операционной возникают двумерные кадры (PNG, JPG), лапароскопическое видео (MP4 с H.264/HEVC) и трёхмерные предоперационные сканы (DICOM, NIfTI). Что хранит каждый формат и как он устроен:

  • Эндоскопическое видео: межкадровое сжатие, переменный битрейт, 25–60 кадров в секунду, YUV420p против sRGB и влияние вспышек коагулятора на цвет.
  • DICOM: информационные объекты (IOD), иерархия «пациент → исследование → серия → экземпляр», чтение метаданных через pydicom.
  • NIfTI (.nii, .nii.gz): от разрозненных срезов DICOM к непрерывной 3D/4D-сетке вокселей с фиксированным шагом.
  • Геометрия объёма: аффинная матрица 4×4, которая переводит индекс вокселя в сетке в миллиметровые координаты пространства пациента: блок поворота и масштаба 3×3 плюс сдвиг.
  • Ориентация и единицы Хаунсфилда: системы координат RAS и LPS; пересчёт хранимых значений КТ в единицы Хаунсфилда через Rescale Slope и Rescale Intercept, HU = SV × slope + intercept.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Лекция 2. Деидентификация в четыре уровня

Публичные репозитории и бенчмарки не должны допускать утечки защищённой медицинской информации (PHI). osv.deid защищает данные на четырёх уровнях:

  1. Метаданные DICOM (PS3.15): удаление и псевдонимизация прямых и косвенных идентификаторов по профилю Basic Application Level Confidentiality: теги пациента, адреса учреждений, даты процедур, серийные номера сканеров.
  2. Частные теги: удаление приватных блоков производителей, где часто остаются недокументированные данные пациентов.
  3. Вшитый текст: OCR кадров и ультразвуковых изображений на впечатанные фамилии, номера историй болезни и названия клиник с необратимым маскированием.
  4. Дефейсинг: изменение поверхности лица на предоперационных КТ и МРТ, чтобы лицо нельзя было восстановить в 3D-рендере.

Сегодня osv.deid – это гейт, который проверяет эти четыре уровня и не пропускает pull request, где ещё есть PHI; само удаление делается заранее специальными инструментами. Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимацией.

Модуль 2. Разметка, активное обучение и генеративный синтез

Лекция 3. Полуавтоматическая разметка и согласие разметчиков

Ручная разметка плотного видео медленная, дорогая и субъективная. Лекция разбирает современные среды аннотации:

  • Платформы разметки: коннекторы osv.annotate (планируется) к CVAT и Label Studio с полигонами, бинарными масками и семантическими тегами.
  • Пре-разметка базовыми моделями: Segment Anything 2 (SAM 2) для трекинга и сегментации инструментов во времени по положительным и отрицательным кликам или рамкам.
  • Активное обучение с MONAI Label: клиент-серверная связка 3D Slicer или OHIF с обучающим сервером, которая выбирает неразмеченные случаи с наибольшей неуверенностью модели.
  • Согласие разметчиков: каппа Коэна и каппа Флейса для категориальных меток, κ = (Po − Pe) / (1 − Pe), где Po — наблюдаемое согласие, Pe — согласие, ожидаемое случайно; Dice и IoU для попиксельного сравнения масок.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Лекция 4. Синтез медицинских объёмов, масок и хирургических артефактов

Редких патологий и анатомических вариантов в размеченных данных мало. Восполнить их помогают трёхмерные генеративные модели:

  • MAISI и 3D латентная диффузия: 3D VAE сжимает объём КТ или МРТ в компактное латентное пространство, где обучается диффузионная модель.
  • Rectified flow (MAISI v2): веса rflow-ct, rflow-mr и rflow-mr-brain. Пары «синтетический объём + 132-классовая маска сегментации» даёт только rflow-ct; веса для МРТ дают одни изображения. Авторы сообщают о примерно 30 шагах сэмплирования вместо 1000 у DDPM, то есть ускорении около 33 раз, при лучшем FID.
  • Управляемая геометрия тела (rflow-mask, NV-Generate-Body): вектор из 19 значений через адаптивную групповую нормализацию задаёт размер одного из 9 органов или 5 видов опухолей и демографию: возраст, пол, вес или ИМТ и рост.
  • КТ по своим маскам через ControlNet: условие в 132-классовом словаре MAISI, обязательно с контуром тела (метка 200).
  • Хирургические артефакты в osv.augment: физическая модель хирургического дыма, накладываемого на кадры CholecT50. Кровь на объективе и блики на металлических браншах указаны как тесты устойчивости, но пока не реализованы.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Модуль 3. Датасеты и конвейеры предобработки

Лекция 5. Хирургические датасеты и разбиение по пациентам

  • Датасеты: Cholec80 (80 видео холецистэктомии с разметкой фаз и инструментов), CholecSeg8k (покадровая сегментация 13 классов), EndoVis (соревнования MICCAI по инструментам) и КТ-датасет TotalSegmentator.
  • Утечка данных: соседние кадры одной операции почти одинаковы. Если кадры одного пациента попадают и в обучение, и в тест, оценка завышается: модель запоминает анатомию этого пациента.
  • Разбиение по пациентам в osv.datasets: train, val и test делятся по пациентам, и одна анатомия не встречается в двух выборках.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Лекция 6. Предобработка, нормализация и быстрая загрузка данных в MONAI

  • Пространственные преобразования: ресэмплинг к изотропному вокселю 1,0 × 1,0 × 1,0 мм (Spacingd), ориентация в RAS (Orientationd), обрезка по информативной области (CropForegroundd).
  • Нормализация интенсивности: окно Хаунсфилда для мягких тканей (ScaleIntensityRanged, от −175 до +250 HU) и стандартизация интенсивности МРТ к нулевому среднему и единичной дисперсии.
  • Быстрый ввод данных: CacheDataset держит детерминированные преобразования в памяти, PersistentDataset сохраняет готовые тензоры на быстрый локальный диск, и GPU не простаивает.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Модуль 4. Архитектуры нейросетей для классификации и сегментации

Лекция 7. Задачи проекта M1–M5

  • M1, сегментация инструментов: бранши, стержни и шарниры зажимов, диссекторов и ножниц.
  • M2, сегментация анатомии: желчный пузырь, печень, гепатодуоденальная связка и критические структуры — пузырная артерия и пузырный проток.
  • M3, распознавание фаз: этапы операции (диссекция, клипирование, пересечение, извлечение).
  • M4, предоперационная 3D-сегментация: органы и сосуды на КТ и МРТ.
  • M5, удаление дыма и восстановление изображения: восстановление видимости при плотном задымлении.

Читать лекцию – со схемами, формулой, интерактивными примерами и 3D-анимациями.

Лекция 8. Архитектуры в MONAI Core и Lightning

  • От U-Net к трансформерам: UNETR (ViT-энкодер с деконволюционным декодером) и SwinUNETR (иерархические сдвинутые окна с локальным вниманием).
  • VISTA-3D: базовая модель, обученная на больших медицинских когортах, совмещает автоматическую сегментацию сотен классов с интерактивной сегментацией по кликам.
  • Масштабирование обучения: Distributed Data Parallel и Fully Sharded Data Parallel на нескольких GPU; смешанная точность bf16-mixed для устойчивых градиентов на 3D-объёмах высокого разрешения.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Модуль 5. Роботические системы и компьютерно-ассистированные вмешательства

Лекция 9. Компьютерно-ассистированные вмешательства и трекинг инструментов

  • Computer-assisted intervention (CAI): компьютерное зрение как сенсорный слой интеллектуальных манипуляторов и хирургических роботов.
  • Трекинг в пространстве и времени: оценка позы инструментов с шестью степенями свободы (6-DoF) относительно анатомических ориентиров.
  • Непрерывное видео: подавление мерцания и сглаживание масок во времени фильтрами Калмана и рекуррентными слоями.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Лекция 10. Потоковый инференс при жёстком бюджете задержки

  • Потоковая обработка в osv.serve (планируется): асинхронный сервер на FastAPI с WebSockets или gRPC, который накладывает маски на живое видео без лишних копирований памяти.
  • Бюджет задержки: p95 ≤ 50 мс при ≥ 30 кадрах в секунду, как задано в osv.deploy.
  • Профилирование задержки: разбиение конвейера на захват кадра, цветовое преобразование, передачу на GPU, прямой проход сети, постобработку маски и вывод на монитор.

Читать лекцию – со схемами, формулами, интерактивными примерами и 3D-анимациями.

Модуль 6. ИИ-агенты, Model Context Protocol и медицинские навыки

Лекция 11. AI-first разработка и MCP

  • ИИ-агенты как контрибьюторы: общий контекст проекта хранится в .ai/context.md, шаблоны промптов — в .ai/prompts/.
  • Одни правила для всех агентов: make setup-ai создаёт настройки для Claude Code, Cursor, GitHub Copilot и Aider, make check-ai проверяет их согласованность.
  • Model Context Protocol: в .ai/mcp/servers.json настроено 13 MCP-серверов. Они дают агентам контролируемый доступ к датасетам, серверу экспериментов MLflow, разметке в CVAT и научной литературе, не затрагивая исходные данные.

Лекция 12. Каталог проверяемых навыков

Каталог медицинских навыков NVIDIA (внешний, проект его пока не использует) показывает, как стандартизировать работу агентов:

  • Спецификация навыка (SKILL.md) и манифест (skill_manifest.yaml): входы, ограничения окружения, зависимости и побочные эффекты.
  • Типовые задачи: предобработка DICOM (dicom-series-to-volume), универсальная сегментация (nv-segment-ct), синтез КТ и МРТ (nv-generate-ct-rflow, nv-generate-mr-brain).
  • Пакеты доказательств и парные верификаторы: автоматический аудиторский след (хэши входов и выходов, логи видеопамяти, отсутствие PHI в выводе) и проверки физической правдоподобности результата (ct_synthesis_quality_v1, dicom_volume_quality_v1).

Модуль 7. Дообучение и управление экспериментами

Лекция 13. Дообучение и непрерывное обучение

  • MONAI bundles: самодостаточные пакеты моделей из MONAI Model Zoo, которые меняют через config.json, не трогая код архитектуры.
  • Дообучение моделей генерации и сегментации: например, VISTA-3D и латентных диффузионных моделей на локальных данных (nv-segment-ct-finetune, nv-generate-mr-brain-finetune).
  • Непрерывное обучение: борьба с катастрофическим забыванием при смене инструментов или источников света с помощью контрастивных функций потерь и заморозки энкодера.

Лекция 14. Воспроизводимость, версии данных и трекинг экспериментов

  • Версии больших данных: DVC связывает коммиты Git с контрольными суммами данных в dvc.lock.
  • Трекинг экспериментов: MLflow (сервер проекта), Aim или ClearML для метрик, кривых потерь, карт внимания и гиперпараметров; экспорт моделей с метаданными для Hugging Face Hub.

Модуль 8. Метрики качества и тестирование устойчивости

Лекция 15. Метрики медицинского компьютерного зрения

  • Перекрытие: коэффициент Дайса — удвоенная площадь пересечения предсказания и разметки, делённая на сумму их площадей, — и индекс Жаккара (IoU) — пересечение, делённое на объединение.
  • Расстояния до границ: 95-й процентиль расстояния Хаусдорфа (HD95) и среднее поверхностное расстояние (ASD), которые ловят выбросы и локальные ошибки границ.
  • Качество синтетических данных: реализм по Fréchet Inception Distance (FID), разнообразие по SSIM и многомасштабному SSIM.

Формулы с рисунками и интерактивным примером – на странице о метриках.

Лекция 16. Стресс-тестирование устойчивости

  • Оптические аномалии: сильное кровотечение, внезапная расфокусировка и ореолы обратного рассеяния света, с каталогом возмущений из osv.robustness (полный набор тестов планируется).
  • Автоматизационное смещение: поиск скрытых систематических ошибок при сдвиге демографических или анатомических характеристик пациентов.

Модуль 9. Экспорт моделей, оптимизация инференса и развёртывание

Лекция 17. Оптимизация под железо: ONNX и TensorRT

  • Экспорт в ONNX: фиксация графа PyTorch и проверка поддержки 3D-операций, например GridSample и 3D-свёрток.
  • TensorRT: слияние слоёв (свёртка, смещение и активация в одном ядре CUDA) и калибровка квантования FP16 и INT8 с падением Dice меньше 0,005.

Лекция 18. Контейнеры и оркестрация в ИТ клиники

  • MONAI Application Package (MAP): упаковка конвейера через MONAI Deploy App SDK, от чтения DICOM до записи DICOM SEG и DICOM SR.
  • Инференс в масштабе: Triton Inference Server с динамическим батчингом и BentoML.
  • Маршрутизация клинических данных: открытый оркестратор Mercure принимает серии с томографов, запускает контейнеры MAP и возвращает маски в PACS или 3D Slicer.

Матрица навыков

Каждый модуль завершается практическим заданием. Критерии прохождения — ориентиры для задания, а не пороги проекта.

Модуль Основные инструменты Вход Результат Критерий прохождения
1 (лекции 1–2) pydicom, nibabel, osv.deid Сырые серии DICOM КТ/МРТ, видео MP4 Объёмы NIfTI, деидентифицированные кадры Все файлы проходят предварительную проверку DICOM; тегов PHI не осталось
2 (лекции 3–4) SAM 2, MONAI Label, rflow-ct, ControlNet Неразмеченное хирургическое видео, маски КТ Полигональные маски, пары «синтетическая КТ + маска» Каппа Флейса ≥ 0,75; синтетическая КТ с FID ≤ 6,0 на тестовой выборке
3 (лекции 5–6) osv.datasets, преобразования MONAI Cholec80, CholecSeg8k, TotalSegmentator Разбиения по пациентам, кэш тензоров Ни один пациент не попал в две выборки; загрузка данных быстрее не менее чем в 3 раза
4 (лекции 7–8) PyTorch, MONAI Core, Lightning Нормализованные кадры и 3D-объёмы Чекпоинты M1–M5 Устойчивое обучение в bf16-mixed; Dice ≥ 0,82 на валидации
5 (лекции 9–10) osv.serve, FastAPI, WebSockets Поток эндоскопических кадров Потоковые маски инструментов p95 ≤ 50 мс при ≥ 30 кадрах в секунду
6 (лекции 11–12) MCP-серверы, Claude Code, медицинские навыки Спецификации SKILL.md, манифесты Пакеты доказательств Проверка парным верификатором пройдена
7 (лекции 13–14) MONAI bundles, DVC, MLflow, ClearML Чекпоинты VISTA-3D, целевые датасеты Дообученные веса, зафиксированные в dvc.lock Конвейер воспроизводится по хэшу коммита; соседние классы не деградируют
8 (лекции 15–16) osv.eval, osv.robustness, SciPy Предсказания моделей, стресс-тесты Матрицы ошибок, профили деградации Рассчитан HD95; Dice при задымлении падает не больше чем на 15%
9 (лекции 17–18) TensorRT, ONNX, MONAI Deploy SDK Чекпоинты PyTorch .pt, папки DICOM Оптимизированный .engine, контейнер MAP Инференс быстрее PyTorch не менее чем в 2,5 раза; валидный DICOM SEG

Что дальше

Все треки участия