ЭКСПЕРИМЕНТЫ В COLAB

Обучите модель в Google Colab на синтетических данных

Десять учебных ноутбуков, открытый синтетический датасет osv_synth_v1 и бесплатный GPU Colab: от первой модели сегментации до ансамбля, без доступа к медицинским данным.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Что это за трек

Трек для тех, кто хочет обучить модель сегментации хирургической сцены без своего GPU и без доступа к медицинским данным. Всё работает в браузере. Google Colab даёт бесплатный GPU T4. Датасет и ноутбуки лежат в открытой папке Google Диска. Чекпоинты сохраняются на ваш собственный Диск.

Все кадры синтетические: их рендерит OSV AI Engine из анатомии, построенной по открытым КТ-исследованиям. Кадров реальных операций и данных пациентов в датасете нет. Поэтому метрики на нём ничего не говорят о качестве на реальном лапароскопическом видео. Проект измеряет это отдельно, на реальных кадрах и вне Colab.

RESEARCH USE ONLY — NOT FOR CLINICAL USE. Модели из этих ноутбуков не предназначены для клинического применения.

Что понадобится

  • Аккаунт Google и браузер.
  • Среда Colab с GPU: Среда выполнения → Сменить среду выполнения → T4 GPU. На CPU обучение идёт в десятки раз медленнее.
  • Место на Google Диске для чекпоинтов. Запуск на ResNet-34 хранит last.pt и best.pt, это около 0,4 ГБ; в ноутбуке обычно 3–4 запуска.

Начать за пять минут

  1. Откройте папку osv_open на Google Диске.
  2. Нажмите «Добавить ярлык на Диск» и выберите «Мой диск», не переименовывая ярлык. Ноутбуки берут модуль osv_learn.py и архив датасета из MyDrive/osv_open/. С ярлыком архив не нужно скачивать в каждой новой сессии.
  3. Откройте ноутбук 01 по ссылке из таблицы ниже и сохраните копию: Файл → Сохранить копию на Диске. Тогда ваши правки останутся у вас.
  4. Включите T4 GPU и выполните ячейки по порядку. Первая ячейка подключает Диск (Colab спросит разрешение) и сверяет SHA-256 архива. Затем она проверяет каждый кадр и маску и один раз за сессию собирает быстрый локальный кэш.

Если сессия оборвалась

Бесплатный Colab отключает неактивные сессии и ограничивает время работы. Модуль osv_learn рассчитан на это:

  • После каждой эпохи чекпоинт last.pt записывается на ваш Диск, в MyDrive/osv_experiments/<ноутбук>/<запуск>/. Запись атомарная, рядом лежит файл с SHA-256.
  • Повторный запуск той же ячейки продолжает обучение с последней сохранённой эпохи. Восстанавливаются веса, оптимизатор и состояние генераторов случайных чисел.
  • Запуск, у которого уже есть results.json, повторно не обучается. Чтобы обучить заново, удалите папку запуска или дайте ему другое имя.
  • Чекпоинт с несовпадающей SHA-256 не загружается, и обучение начинается сначала.

Датасет osv_synth_v1

Параметр Значение
Файл osv_synth_v1.tar, 3,8 ГБ (3 781 273 600 байт)
SHA-256 a4814fe99eaad9945290a9dd53a58d047b1c6cd16b4ff7bc44f8461973b34223
Кадр 854×480, PNG; маска — номер класса в каждом пикселе
Классы 13 классов CholecSeg8k
Лицензия CC BY-NC-SA 4.0, только некоммерческое использование

Выборки разделены по КТ-субъектам. Ни один субъект не попадает в две выборки сразу; osv_learn проверяет это при каждом запуске.

Выборка Кадров КТ-субъектов Назначение
train 7 520 20 обучение
val 942 2 (s0193, s0733) выбор эпохи и сравнение настроек
test 707 2 (s0495, s1131) одна итоговая оценка выбранной модели

Классы: 0 фон, 1 брюшная стенка, 2 печень, 3 ЖКТ, 4 жир, 5 граспер, 6 соединительная ткань, 7 кровь, 8 пузырный проток, 9 L-крючок, 10 желчный пузырь, 11 печёночная вена, 12 связка печени. Печёночная вена в этой версии датасета не встречается; классы без пикселей в tissue mIoU не входят. Самые редкие из присутствующих — кровь и пузырный проток: меньше 1% пикселей вместе.

Сравнивайте варианты по val. Если выбирать лучший вариант по test, тест перестаёт быть независимой проверкой. На test смотрят один раз, в конце: в ноутбуке 10.

Десять ноутбуков

Проходите их по порядку: каждый следующий опирается на предыдущий.

# Ноутбук Чему учит
01 Быстрый старт: U-Net Семантическая сегментация, 13 классов, базовый U-Net на ResNet-18, визуализация предсказаний
02 Функции потерь Cross-Entropy, Dice и их сумма; почему одна CE теряет мелкие структуры
03 Аугментации Пресеты none, basic, color, strong: дым, блики, поворот эндоскопа; переобучение
04 Битва архитектур U-Net, DeepLabV3+, FPN и U-Net++ на одном энкодере ResNet-34; скорость и качество
05 Выбор энкодера ResNet-18, ResNet-34, EfficientNet-B0; предобучение на ImageNet против обучения с нуля
06 Скорость обучения и расписания Постоянный LR, StepLR, cosine, OneCycle
07 Дисбаланс классов Взвешенная CE и Focal Loss для редких структур: пузырного протока и крови
08 Transfer learning Заморозка энкодера и разный learning rate для энкодера и декодера
09 Подбор гиперпараметров (Optuna) Байесовский поиск LR, weight decay, аугментаций и функции потерь по val
10 Ансамбль и TTA Test-Time Augmentation, усреднение моделей и итоговая оценка на test

Как поделиться результатом

Выполните ol.submit_summary("имя_запуска"). Функция печатает короткую сводку: модель и настройки, seed, GPU, время обучения, tissue mIoU на val. Если вы дошли до ноутбука 10, допишите вручную его единственную оценку на test. Опубликуйте её в Discussions репозитория и укажите номер ноутбука и что вы меняли.

Отрицательный результат тоже результат: «Focal Loss не помог» полезнее, чем отсутствие записи. Не прикладывайте к сообщению ничего, кроме синтетических кадров и своих метрик.

Все ссылки

Все треки участия