Модель, которая видела кадры операции, узнает остальные кадры этой операции, как вы узнаёте фильм по нескольким кадрам. Это память, а не умение. На кадрах тех же пациентов, что были в обучении, модель получает высокую оценку, а на следующем пациенте ошибается. В лекции разберём публичные датасеты, с которыми работает проект, как данные утекают из обучения в тест и как osv.datasets делит данные по пациентам, чтобы утечка была невозможна. Это лекция 5 учебной программы, после лекции 4 о синтезе.
Все изображения на этой странице синтетические или нарисованы кодом; ни одного кадра из перечисленных ниже датасетов здесь нет.
Пять датасетов
| Датасет | Что внутри | Разметка | Делить по | Лицензия |
|---|---|---|---|---|
| Cholec80 | 80 видео холецистэктомии, 13 хирургов, Страсбург, 25 кадров в секунду | 7 фаз на каждом кадре; наличие 7 инструментов раз в секунду | операции | CC BY-NC-SA 4.0 |
| CholecSeg8k | 8080 кадров из 17 видео Cholec80 | попиксельные маски 13 классов | видео Cholec80 | CC BY-NC-SA 4.0 |
| CholecT50 | 50 видео, 1 кадр в секунду; у 45 номера Cholec80 | 100 классов триплетов ⟨инструмент, действие, цель⟩, фазы | видео; официальное разбиение 35 / 5 / 10 | CC BY-NC-SA 4.0 |
| EndoVis 2017 | 10 роботических последовательностей по 300 кадров, свиньи, da Vinci Xi | маски инструментов: бинарные, части, тип | последовательности | условия соревнования |
| TotalSegmentator | КТ: 1939 изображений в версии 3.0.0 открытого датасета | 3D-маски 117 структур | пациенту | CC BY 4.0 |
Cholec80 (Twinanda и соавт., IEEE TMI 2017) – эталон видео холецистэктомии. Каждый кадр отнесён к одной из семи фаз, разобранных на странице о холецистэктомии: подготовка, диссекция треугольника Кало, клипирование и пересечение, выделение желчного пузыря, упаковка желчного пузыря, промывание и коагуляция, извлечение желчного пузыря. Раз в секунду отмечено, какой из семи инструментов в кадре: зажим, биполяр, крючок, ножницы, клипатор, ирригатор, контейнер для препарата. Инструмент считается присутствующим, если видно хотя бы половину его кончика. Все 80 операций из одной больницы.
CholecSeg8k (Hong и соавт., 2020) добавляет попиксельные маски к 8080 кадрам 17 видео Cholec80 в 13 классах: чёрный фон, брюшная стенка, печень, желудочно-кишечный тракт, жир, зажим, соединительная ткань, кровь, пузырный проток, L-крючок, желчный пузырь, печёночная вена и связка печени. Классы очень неравны. Печень есть на всех 8080 кадрах, пузырный проток – на 241, связка печени – на 240, и все они из одного видео. В карточке датасета проекта записано, как сопоставлены цвета классов и кто это сопоставление утвердил.
CholecT50 (Nwoye и соавт., Medical Image Analysis 2022) размечает 50 видео раз в секунду триплетами вроде ⟨крючок, рассекает, желчный пузырь⟩. Авторы публикуют официальное разбиение по видео (Nwoye и Padoy, 2022), и проект использует его как есть. У CholecSeg8k и CholecT50 общий источник:
Посмотрите на выделенные ячейки. Два из трёх тестовых видео CholecSeg8k, 18 и 52, входят в обучающую выборку CholecT50. Модель, предобученная на CholecT50 и проверенная на CholecSeg8k, эти две операции уже видела. Поэтому RFC 0001, бравший фоны из CholecT50, тестировал только на семи видео, которых там нет, – 2960 кадрах.
EndoVis – серия соревнований по эндоскопическому зрению на MICCAI; её подсоревнование по роботическим инструментам началось в 2015 году. Соревнование 2017 года по сегментации роботических инструментов (Allan и соавт., 2019) использовало 10 последовательностей операций на свиньях с частотой один кадр в секунду. Организаторы выдали для обучения первые 225 кадров 8 последовательностей, а последние 75 кадров тех же последовательностей оставили для теста, плюс 2 последовательности целиком. Обучающие и тестовые кадры были из одних и тех же процедур, поэтому командам пришлось оценивать каждую из 8 тестовых частей моделью, не видевшей эту последовательность, – не меньше 9 моделей на команду. Организаторы написали, что в следующих соревнованиях выдадут полностью раздельные обучающие и тестовые наборы. Соревнование 2018 года (Allan и соавт., 2020) добавило анатомию вокруг инструментов.
TotalSegmentator (Wasserthal и соавт., Radiology: AI 2023) – датасет КТ и обученная на нём модель. В статье было 1204 КТ-исследования и 104 структуры; открытый датасет на Zenodo, сейчас в версии 3.0.0, содержит 1939 изображений КТ со 117 структурами под CC BY 4.0. У одного пациента может быть несколько исследований, и они должны попасть в одну выборку. В osv.datasets он пока не подключён.
Почему кадры утекают
При 25 кадрах в секунду соседние кадры разделяют 40 мс. Даже при одном кадре в секунду на них та же печень, тот же жир, тот же свет и те же инструменты. Модель, которую спрашивают о тестовом кадре, может найти среди обучающих его почти точную копию и повторить ответ. Тест она пройдёт хорошо, не выучив ничего, что пригодится на новом пациенте.
Насколько вероятна такая копия? Разделим кадры случайно, отправив в обучение долю p, и посмотрим на k кадров в каждую сторону от тестового. Вероятность, что хотя бы один из этих 2k соседей окажется обучающим:
При обычных 70 % в обучении у 91 % тестовых кадров обучающий кадр стоит прямо рядом. Насколько это завышает оценку, измерено на МРТ. Yagis и соавт. (2021) разделили снимки мозга по срезам, а не по пациентам, и точность на тесте выросла на 29–55 % в зависимости от датасета. При случайных метках разбиение по срезам всё равно давало около 96 % точности, а разбиение по пациентам – 50 %, как и положено случайности.
Попробуйте на игрушке: 12 видео по 60 кадров, три фазы по 20 кадров. Признаки кадра – в основном собственная подпись пациента, слабый сигнал фазы и медленный дрейф. Классификатор ближайшего соседа называет фазу каждого тестового кадра по ближайшему обучающему.
- тестовых кадров с обучающим в секунде от них
- –
- видео и в обучении, и в тесте
- –
- точность ближайшего соседа на тесте
- –
При разбиении по кадрам классификатор прав почти на каждом тестовом кадре: ближайший обучающий кадр – следующая секунда той же операции. При разбиении по видео ему приходится опираться на слабый сигнал фазы, и точность падает до половины – трёх четвертей в зависимости от разбиения, а случайное угадывание дало бы треть. О новом пациенте говорит только второе число.
То же самое в пространстве признаков модели: кадры одной операции лежат вдоль короткого пути в месте, которое принадлежит этому пациенту.
- среднее расстояние до ближайшего обучающего кадра
- –
Утечь может не только пациент:
- Одна операция в двух датасетах. У CholecSeg8k и CholecT50 десять общих видео, и предобучение на одном с тестом на другом может поставить одну операцию по обе стороны.
- Тот же хирург, больница или аппарат. Весь Cholec80 – одна больница и 13 хирургов. Тест на Cholec80 мало говорит о камерах и привычках другой больницы. Для внешнего теста нужны данные из другого места.
- Одна процедура, разрезанная по времени. EndoVis 2017 делил последовательности на начало для обучения и конец для теста и вынужден был это обходить.
- Один пациент, несколько снимков. В КТ два исследования одного пациента – это один пациент.
- Сам тест. Выбор модели, порога или нормализации по результатам теста – тоже утечка. Для этого есть валидация.
Разбиение по пациентам в osv.datasets
Правило проекта R-08: выборки делятся по пациенту, операции или сеансу; случайное разбиение по кадрам – критическая ошибка. В CholecSeg8k ключ – видео Cholec80, videoNN, одна операция одного пациента. osv.datasets.cholecseg8k.build_patient_split распределяет видео целиком и никогда их не режет:
- Цель каждой выборки – её доля всех кадров: 70, 15 и 15 %.
- Видео берутся от самого большого к самому маленькому; равные по размеру идут по номеру, поэтому результат всегда один и тот же.
- Каждое видео уходит в выборку, которая дальше всех от своей цели, в долях этой цели.
Здесь nv – число кадров в видео v, rs – целевая доля, Ls – кадры, уже отданные выборке s. Опубликованное разбиение, osv/datasets/splits/cholecseg8k.json:
Запустите тот же алгоритм с другими долями. Число кадров – опубликованное; доли должны давать в сумме 100.
Раз видео никогда не режется, утечка по кадрам невозможна по построению, а не просто проверена тестом. Проверяется она всё равно. assert_no_patient_leakage падает, если видео оказалось в двух выборках; tests/test_cholecseg8k_split.py::test_no_patient_leakage запускает её в CI, а команда /split-check после любого изменения разбиения отвечает SPLIT: CLEAN или LEAKAGE (n). CholecT50 использует официальное разбиение; official_split проверяет, что каждое видео ровно в одной части, а видео, которого нет в таблице, – ошибка, а не кадр, который можно выбросить.
У разбиения целыми видео есть цена. Редкие классы живут в немногих видео и оказываются там, куда попали эти видео:
| Класс | Обучение | Валидация | Тест | Следствие |
|---|---|---|---|---|
| Пузырный проток | 242 | 0 | 2 | оценка по 2 объектам ничего не значит |
| Печёночная вена | 385 | 0 | 0 | оценить невозможно |
| Связка печени | 0 | 248 | 0 | в обучении не встречается; нельзя ни выучить, ни проверить |
Числа – это объекты. Связка печени есть только в одном видео, 09, поэтому никакое разбиение по видео не положит её одновременно в обучение и тест. Эти три класса отмечаются как N/A, никогда не как 0 и никогда не внутри макросреднего. Если они важны, ответ – больше данных или задокументированный протокол «по одному видео на тест», а не тихая правка разбиения. Опубликованное разбиение заморожено: изменить его задним числом значит сделать прежние числа несравнимыми.
Наконец, тестовый набор держат вне досягаемости. По правилу R-25 отложенный тест лежит в отдельном треке DVC и отдельном бакете, а токен CI, который запускает эксперименты, не может его читать. Улучшение засчитывается только на трёх и более завершённых seed с непересекающимися доверительными интервалами.
Чек-лист
- Делите по пациенту, операции или сеансу, никогда по кадрам; записывайте ключ разбиения.
- Прежде чем предобучать на одном датасете и тестировать на другом, проверьте, нет ли у них общих пациентов.
- Не меняйте опубликованное разбиение; классы, которые разбиение не позволяет оценить, отмечайте
N/A. - Настраивайте на валидации, никогда на тесте.
- После любого изменения разбиения запускайте
/split-check.
Что почитать
- Twinanda и соавт. EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos. IEEE TMI, 2017. Датасет Cholec80.
- Hong и соавт. CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80. 2020.
- Nwoye и соавт. Rendezvous: Attention Mechanisms for the Recognition of Surgical Action Triplets in Endoscopic Videos. Medical Image Analysis, 2022. Nwoye и Padoy. Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets. 2022.
- Allan и соавт. 2017 Robotic Instrument Segmentation Challenge. 2019. Allan и соавт. 2018 Robotic Scene Segmentation Challenge. 2020.
- Wasserthal и соавт. TotalSegmentator: Robust Segmentation of 104 Anatomic Structures in CT Images. Radiology: Artificial Intelligence, 2023.
- Yagis и соавт. Effect of data leakage in brain MRI classification using 2D convolutional neural networks. Scientific Reports, 2021.
- В репозитории osv: карточка датасета CholecSeg8k,
osv/datasets/cholecseg8k.pyи опубликованное разбиение.