ЛЕКЦИЯ 5

Лекция 5. Хирургические датасеты и разбиение по пациентам

На чём обучается область: Cholec80, CholecSeg8k, CholecT50, EndoVis и TotalSegmentator – и почему их кадры надо делить по пациентам: соседние кадры почти одинаковы, и модель, проверенная на пациенте из обучения, получает высокую оценку, ничему не научившись. Со схемами, формулами, интерактивными примерами и 3D-анимациями.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Модель, которая видела кадры операции, узнает остальные кадры этой операции, как вы узнаёте фильм по нескольким кадрам. Это память, а не умение. На кадрах тех же пациентов, что были в обучении, модель получает высокую оценку, а на следующем пациенте ошибается. В лекции разберём публичные датасеты, с которыми работает проект, как данные утекают из обучения в тест и как osv.datasets делит данные по пациентам, чтобы утечка была невозможна. Это лекция 5 учебной программы, после лекции 4 о синтезе.

Все изображения на этой странице синтетические или нарисованы кодом; ни одного кадра из перечисленных ниже датасетов здесь нет.

Пять датасетов

Датасет Что внутри Разметка Делить по Лицензия
Cholec80 80 видео холецистэктомии, 13 хирургов, Страсбург, 25 кадров в секунду 7 фаз на каждом кадре; наличие 7 инструментов раз в секунду операции CC BY-NC-SA 4.0
CholecSeg8k 8080 кадров из 17 видео Cholec80 попиксельные маски 13 классов видео Cholec80 CC BY-NC-SA 4.0
CholecT50 50 видео, 1 кадр в секунду; у 45 номера Cholec80 100 классов триплетов ⟨инструмент, действие, цель⟩, фазы видео; официальное разбиение 35 / 5 / 10 CC BY-NC-SA 4.0
EndoVis 2017 10 роботических последовательностей по 300 кадров, свиньи, da Vinci Xi маски инструментов: бинарные, части, тип последовательности условия соревнования
TotalSegmentator КТ: 1939 изображений в версии 3.0.0 открытого датасета 3D-маски 117 структур пациенту CC BY 4.0

Cholec80 (Twinanda и соавт., IEEE TMI 2017) – эталон видео холецистэктомии. Каждый кадр отнесён к одной из семи фаз, разобранных на странице о холецистэктомии: подготовка, диссекция треугольника Кало, клипирование и пересечение, выделение желчного пузыря, упаковка желчного пузыря, промывание и коагуляция, извлечение желчного пузыря. Раз в секунду отмечено, какой из семи инструментов в кадре: зажим, биполяр, крючок, ножницы, клипатор, ирригатор, контейнер для препарата. Инструмент считается присутствующим, если видно хотя бы половину его кончика. Все 80 операций из одной больницы.

CholecSeg8k (Hong и соавт., 2020) добавляет попиксельные маски к 8080 кадрам 17 видео Cholec80 в 13 классах: чёрный фон, брюшная стенка, печень, желудочно-кишечный тракт, жир, зажим, соединительная ткань, кровь, пузырный проток, L-крючок, желчный пузырь, печёночная вена и связка печени. Классы очень неравны. Печень есть на всех 8080 кадрах, пузырный проток – на 241, связка печени – на 240, и все они из одного видео. В карточке датасета проекта записано, как сопоставлены цвета классов и кто это сопоставление утвердил.

CholecT50 (Nwoye и соавт., Medical Image Analysis 2022) размечает 50 видео раз в секунду триплетами вроде ⟨крючок, рассекает, желчный пузырь⟩. Авторы публикуют официальное разбиение по видео (Nwoye и Padoy, 2022), и проект использует его как есть. У CholecSeg8k и CholecT50 общий источник:

Cholec8080 видео, 13 хирурговCholecSeg8k17 видео, 8080 кадровCholecT5050 видео, 1 кадр/с№ в Cholec80сплит OSVCholecT5001обуч.обуч.09вал.–12обуч.вал.17тест–18тестобуч.20обуч.–24вал.–25обуч.обуч.26обуч.обуч.27обуч.обуч.28обуч.–35обуч.обуч.37обуч.–43обуч.обуч.48обуч.обуч.52тестобуч.55обуч.–есть и в CholecT50: 10 видеотолько в CholecSeg8k: 7 видео
Оба датасета сохраняют номера видео Cholec80, поэтому пересечение читается по спискам: десять из 17 видео CholecSeg8k есть и в CholecT50.

Посмотрите на выделенные ячейки. Два из трёх тестовых видео CholecSeg8k, 18 и 52, входят в обучающую выборку CholecT50. Модель, предобученная на CholecT50 и проверенная на CholecSeg8k, эти две операции уже видела. Поэтому RFC 0001, бравший фоны из CholecT50, тестировал только на семи видео, которых там нет, – 2960 кадрах.

EndoVis – серия соревнований по эндоскопическому зрению на MICCAI; её подсоревнование по роботическим инструментам началось в 2015 году. Соревнование 2017 года по сегментации роботических инструментов (Allan и соавт., 2019) использовало 10 последовательностей операций на свиньях с частотой один кадр в секунду. Организаторы выдали для обучения первые 225 кадров 8 последовательностей, а последние 75 кадров тех же последовательностей оставили для теста, плюс 2 последовательности целиком. Обучающие и тестовые кадры были из одних и тех же процедур, поэтому командам пришлось оценивать каждую из 8 тестовых частей моделью, не видевшей эту последовательность, – не меньше 9 моделей на команду. Организаторы написали, что в следующих соревнованиях выдадут полностью раздельные обучающие и тестовые наборы. Соревнование 2018 года (Allan и соавт., 2020) добавило анатомию вокруг инструментов.

TotalSegmentator (Wasserthal и соавт., Radiology: AI 2023) – датасет КТ и обученная на нём модель. В статье было 1204 КТ-исследования и 104 структуры; открытый датасет на Zenodo, сейчас в версии 3.0.0, содержит 1939 изображений КТ со 117 структурами под CC BY 4.0. У одного пациента может быть несколько исследований, и они должны попасть в одну выборку. В osv.datasets он пока не подключён.

Почему кадры утекают

При 25 кадрах в секунду соседние кадры разделяют 40 мс. Даже при одном кадре в секунду на них та же печень, тот же жир, тот же свет и те же инструменты. Модель, которую спрашивают о тестовом кадре, может найти среди обучающих его почти точную копию и повторить ответ. Тест она пройдёт хорошо, не выучив ничего, что пригодится на новом пациенте.

видео 1видео 2видео 3видео 4разбиение по кадрамвремя →разбиение по видеовремя →обучениевалидациятест
При разбиении по кадрам каждое видео есть во всех трёх выборках. При разбиении по видео каждое видео – в одной.

Насколько вероятна такая копия? Разделим кадры случайно, отправив в обучение долю p, и посмотрим на k кадров в каждую сторону от тестового. Вероятность, что хотя бы один из этих 2k соседей окажется обучающим:

Pleak=1−(1−p)2k p=0,7,k=1:Pleak=1−0,32=0,91

При обычных 70 % в обучении у 91 % тестовых кадров обучающий кадр стоит прямо рядом. Насколько это завышает оценку, измерено на МРТ. Yagis и соавт. (2021) разделили снимки мозга по срезам, а не по пациентам, и точность на тесте выросла на 29–55 % в зависимости от датасета. При случайных метках разбиение по срезам всё равно давало около 96 % точности, а разбиение по пациентам – 50 %, как и положено случайности.

Попробуйте на игрушке: 12 видео по 60 кадров, три фазы по 20 кадров. Признаки кадра – в основном собственная подпись пациента, слабый сигнал фазы и медленный дрейф. Классификатор ближайшего соседа называет фазу каждого тестового кадра по ближайшему обучающему.

При разбиении по кадрам классификатор прав почти на каждом тестовом кадре: ближайший обучающий кадр – следующая секунда той же операции. При разбиении по видео ему приходится опираться на слабый сигнал фазы, и точность падает до половины – трёх четвертей в зависимости от разбиения, а случайное угадывание дало бы треть. О новом пациенте говорит только второе число.

То же самое в пространстве признаков модели: кадры одной операции лежат вдоль короткого пути в месте, которое принадлежит этому пациенту.

Утечь может не только пациент:

  • Одна операция в двух датасетах. У CholecSeg8k и CholecT50 десять общих видео, и предобучение на одном с тестом на другом может поставить одну операцию по обе стороны.
  • Тот же хирург, больница или аппарат. Весь Cholec80 – одна больница и 13 хирургов. Тест на Cholec80 мало говорит о камерах и привычках другой больницы. Для внешнего теста нужны данные из другого места.
  • Одна процедура, разрезанная по времени. EndoVis 2017 делил последовательности на начало для обучения и конец для теста и вынужден был это обходить.
  • Один пациент, несколько снимков. В КТ два исследования одного пациента – это один пациент.
  • Сам тест. Выбор модели, порога или нормализации по результатам теста – тоже утечка. Для этого есть валидация.

Разбиение по пациентам в osv.datasets

Правило проекта R-08: выборки делятся по пациенту, операции или сеансу; случайное разбиение по кадрам – критическая ошибка. В CholecSeg8k ключ – видео Cholec80, videoNN, одна операция одного пациента. osv.datasets.cholecseg8k.build_patient_split распределяет видео целиком и никогда их не режет:

  1. Цель каждой выборки – её доля всех кадров: 70, 15 и 15 %.
  2. Видео берутся от самого большого к самому маленькому; равные по размеру идут по номеру, поэтому результат всегда один и тот же.
  3. Каждое видео уходит в выборку, которая дальше всех от своей цели, в долях этой цели.
Ts=rs∑vnv s*=argmaxsTs−LsTs

Здесь nv – число кадров в видео v, rs – целевая доля, Ls – кадры, уже отданные выборке s. Опубликованное разбиение, osv/datasets/splits/cholecseg8k.json:

12800196024800527204364012560284803740027320173202532026240092403524048240551601816020обучение: 12 видео, 5600 (69,3 %)валидация: 2 видео, 1200 (14,9 %)тест: 3 видео, 1280 (15,8 %)
17 видео от большого к маленькому, окрашенные по выборке, в которую они попали; столбцы и итоги считают кадры. Целые видео дают доли лишь примерно 70, 15 и 15 %.

Запустите тот же алгоритм с другими долями. Число кадров – опубликованное; доли должны давать в сумме 100.

Раз видео никогда не режется, утечка по кадрам невозможна по построению, а не просто проверена тестом. Проверяется она всё равно. assert_no_patient_leakage падает, если видео оказалось в двух выборках; tests/test_cholecseg8k_split.py::test_no_patient_leakage запускает её в CI, а команда /split-check после любого изменения разбиения отвечает SPLIT: CLEAN или LEAKAGE (n). CholecT50 использует официальное разбиение; official_split проверяет, что каждое видео ровно в одной части, а видео, которого нет в таблице, – ошибка, а не кадр, который можно выбросить.

У разбиения целыми видео есть цена. Редкие классы живут в немногих видео и оказываются там, куда попали эти видео:

Класс Обучение Валидация Тест Следствие
Пузырный проток 242 0 2 оценка по 2 объектам ничего не значит
Печёночная вена 385 0 0 оценить невозможно
Связка печени 0 248 0 в обучении не встречается; нельзя ни выучить, ни проверить

Числа – это объекты. Связка печени есть только в одном видео, 09, поэтому никакое разбиение по видео не положит её одновременно в обучение и тест. Эти три класса отмечаются как N/A, никогда не как 0 и никогда не внутри макросреднего. Если они важны, ответ – больше данных или задокументированный протокол «по одному видео на тест», а не тихая правка разбиения. Опубликованное разбиение заморожено: изменить его задним числом значит сделать прежние числа несравнимыми.

Наконец, тестовый набор держат вне досягаемости. По правилу R-25 отложенный тест лежит в отдельном треке DVC и отдельном бакете, а токен CI, который запускает эксперименты, не может его читать. Улучшение засчитывается только на трёх и более завершённых seed с непересекающимися доверительными интервалами.

Чек-лист

  • Делите по пациенту, операции или сеансу, никогда по кадрам; записывайте ключ разбиения.
  • Прежде чем предобучать на одном датасете и тестировать на другом, проверьте, нет ли у них общих пациентов.
  • Не меняйте опубликованное разбиение; классы, которые разбиение не позволяет оценить, отмечайте N/A.
  • Настраивайте на валидации, никогда на тесте.
  • После любого изменения разбиения запускайте /split-check.

Что почитать