Что это за трек
Трек для тех, кто хочет обучить модель сегментации хирургической сцены без своего GPU и без доступа к медицинским данным. Всё работает в браузере. Google Colab даёт бесплатный GPU T4. Датасет и ноутбуки лежат в открытой папке Google Диска. Чекпоинты сохраняются на ваш собственный Диск.
Все кадры синтетические: их рендерит OSV AI Engine из анатомии, построенной по открытым КТ-исследованиям. Кадров реальных операций и данных пациентов в датасете нет. Поэтому метрики на нём ничего не говорят о качестве на реальном лапароскопическом видео. Проект измеряет это отдельно, на реальных кадрах и вне Colab.
RESEARCH USE ONLY — NOT FOR CLINICAL USE. Модели из этих ноутбуков не предназначены для клинического применения.
Что понадобится
- Аккаунт Google и браузер.
- Среда Colab с GPU: Среда выполнения → Сменить среду выполнения → T4 GPU. На CPU обучение идёт в десятки раз медленнее.
- Место на Google Диске для чекпоинтов. Запуск на ResNet-34 хранит
last.ptиbest.pt, это около 0,4 ГБ; в ноутбуке обычно 3–4 запуска.
Начать за пять минут
- Откройте папку osv_open на Google Диске.
- Нажмите «Добавить ярлык на Диск» и выберите «Мой диск», не переименовывая ярлык. Ноутбуки берут модуль
osv_learn.pyи архив датасета изMyDrive/osv_open/. С ярлыком архив не нужно скачивать в каждой новой сессии. - Откройте ноутбук 01 по ссылке из таблицы ниже и сохраните копию: Файл → Сохранить копию на Диске. Тогда ваши правки останутся у вас.
- Включите T4 GPU и выполните ячейки по порядку. Первая ячейка подключает Диск (Colab спросит разрешение) и сверяет SHA-256 архива. Затем она проверяет каждый кадр и маску и один раз за сессию собирает быстрый локальный кэш.
Если сессия оборвалась
Бесплатный Colab отключает неактивные сессии и ограничивает время работы. Модуль osv_learn рассчитан на это:
- После каждой эпохи чекпоинт
last.ptзаписывается на ваш Диск, вMyDrive/osv_experiments/<ноутбук>/<запуск>/. Запись атомарная, рядом лежит файл с SHA-256. - Повторный запуск той же ячейки продолжает обучение с последней сохранённой эпохи. Восстанавливаются веса, оптимизатор и состояние генераторов случайных чисел.
- Запуск, у которого уже есть
results.json, повторно не обучается. Чтобы обучить заново, удалите папку запуска или дайте ему другое имя. - Чекпоинт с несовпадающей SHA-256 не загружается, и обучение начинается сначала.
Датасет osv_synth_v1
| Параметр | Значение |
|---|---|
| Файл | osv_synth_v1.tar, 3,8 ГБ (3 781 273 600 байт) |
| SHA-256 | a4814fe99eaad9945290a9dd53a58d047b1c6cd16b4ff7bc44f8461973b34223 |
| Кадр | 854×480, PNG; маска — номер класса в каждом пикселе |
| Классы | 13 классов CholecSeg8k |
| Лицензия | CC BY-NC-SA 4.0, только некоммерческое использование |
Выборки разделены по КТ-субъектам. Ни один субъект не попадает в две выборки сразу; osv_learn проверяет это при каждом запуске.
| Выборка | Кадров | КТ-субъектов | Назначение |
|---|---|---|---|
train |
7 520 | 20 | обучение |
val |
942 | 2 (s0193, s0733) |
выбор эпохи и сравнение настроек |
test |
707 | 2 (s0495, s1131) |
одна итоговая оценка выбранной модели |
Классы: 0 фон, 1 брюшная стенка, 2 печень, 3 ЖКТ, 4 жир, 5 граспер, 6 соединительная ткань, 7 кровь, 8 пузырный проток, 9 L-крючок, 10 желчный пузырь, 11 печёночная вена, 12 связка печени. Печёночная вена в этой версии датасета не встречается; классы без пикселей в tissue mIoU не входят. Самые редкие из присутствующих — кровь и пузырный проток: меньше 1% пикселей вместе.
Сравнивайте варианты по val. Если выбирать лучший вариант по test, тест перестаёт быть независимой проверкой. На test смотрят один раз, в конце: в ноутбуке 10.
Десять ноутбуков
Проходите их по порядку: каждый следующий опирается на предыдущий.
| # | Ноутбук | Чему учит |
|---|---|---|
| 01 | Быстрый старт: U-Net | Семантическая сегментация, 13 классов, базовый U-Net на ResNet-18, визуализация предсказаний |
| 02 | Функции потерь | Cross-Entropy, Dice и их сумма; почему одна CE теряет мелкие структуры |
| 03 | Аугментации | Пресеты none, basic, color, strong: дым, блики, поворот эндоскопа; переобучение |
| 04 | Битва архитектур | U-Net, DeepLabV3+, FPN и U-Net++ на одном энкодере ResNet-34; скорость и качество |
| 05 | Выбор энкодера | ResNet-18, ResNet-34, EfficientNet-B0; предобучение на ImageNet против обучения с нуля |
| 06 | Скорость обучения и расписания | Постоянный LR, StepLR, cosine, OneCycle |
| 07 | Дисбаланс классов | Взвешенная CE и Focal Loss для редких структур: пузырного протока и крови |
| 08 | Transfer learning | Заморозка энкодера и разный learning rate для энкодера и декодера |
| 09 | Подбор гиперпараметров (Optuna) | Байесовский поиск LR, weight decay, аугментаций и функции потерь по val |
| 10 | Ансамбль и TTA | Test-Time Augmentation, усреднение моделей и итоговая оценка на test |
Как поделиться результатом
Выполните ol.submit_summary("имя_запуска"). Функция печатает короткую сводку: модель и настройки, seed, GPU, время обучения, tissue mIoU на val. Если вы дошли до ноутбука 10, допишите вручную его единственную оценку на test. Опубликуйте её в Discussions репозитория и укажите номер ноутбука и что вы меняли.
Отрицательный результат тоже результат: «Focal Loss не помог» полезнее, чем отсутствие записи. Не прикладывайте к сообщению ничего, кроме синтетических кадров и своих метрик.
Все ссылки
- Папка osv_open: ноутбуки, датасет и модуль.
- Архив osv_synth_v1.tar: 3,8 ГБ.
- Модуль osv_learn.py: общий код ноутбуков, включая загрузку, проверку данных, обучение и графики.
- Как устроен вклад в проект: DCO, нормы сообщества, первый pull request.