Час лапароскопического видео при 25 кадрах в секунду – это 90 000 кадров. Обвести вручную каждый инструмент и орган невозможно: в CholecSeg8k, одном из главных датасетов области, попиксельная разметка есть для 8080 кадров из 17 операций. Ручная разметка к тому же субъективна: где кончается желчный пузырь и начинается жир – вопрос суждения. Эта лекция – об инструментах, которые ускоряют разметку, о защите, которая не даёт подсказкам модели незаметно стать истиной, и о том, как измерить, согласны ли два человека. Это лекция 3 учебной программы, после лекции 2 о деидентификации.
Все кадры на этой странице синтетические.
Цикл
- Кадры берутся из деидентифицированного видео.
- Предразметка: модель – SAM 2 или обученная на прошлых раундах – предлагает маски.
- Разметчик принимает, исправляет несколькими кликами или перерисовывает.
- Рецензия проверяет разметку и согласие между разметчиками.
- Контрольные кадры – каждый десятый – размечаются с нуля, без предразметки, чтобы измерить, насколько подсказки влияют на людей.
Платформы разметки
- CVAT – платформа проекта, в закрытом рабочем пространстве для приглашённых разметчиков. Фигуры: полигоны, маски, нарисованные кистью, прямоугольники, точки и скелеты; теги размечают кадр целиком, например его фазу или «есть дым»; треки ведут объект через видео и интерполируют между ключевыми кадрами. ИИ-инструменты подключаются как интеракторы, превращающие клики в маску, детекторы и трекеры; бесплатная редакция может запускать исходный Segment Anything как интерактор, а трекер SAM 2, переносящий полигоны и маски по кадрам, есть в редакции Enterprise или в виде ИИ-агента для CVAT Online и Enterprise.
- Label Studio собирает интерфейс из XML-конфигурации и подключает модели через ML-бэкенд. Его примеры с SAM 2 покрывают изображения – с масками – и видео, где бэкенд пока ведёт один объект рамками.
osv.annotate– коннектор проекта к обеим платформам – запланирован. Сейчас в нём только конфигурация пайплайна предразметки: SAM 2 как предразметчик, 10 % контрольных кадров и порог delta-contour 0,90 (см. защиту ниже).
Предразметка с SAM 2
SAM 2 сегментирует объект по промпту: положительный клик на объекте, отрицательный – на том, что объектом не является, рамка или грубая маска. В видео модель хранит память о прошлых кадрах и промптах и переносит маску вперёд. Когда маска уезжает – например, на печень за зажимом, – разметчик добавляет клик на кадре, где она ошиблась, и исправление распространяется оттуда. Как устроена память, рассказано на странице о видео.
Чтобы почувствовать работу кликами, попробуйте игрушку ниже. Это не SAM 2: она наращивает область похожего цвета от каждого клика – метод на десятилетия старше и гораздо слабее. Положительный клик добавляет область, отрицательный – убирает.
Автоматическое доверие
Подсказка на экране убедительна. Уставшие разметчики принимают маски, которые нарисовали бы иначе, и датасет постепенно перенимает ошибки модели; обученная на нём модель потом повторяет их с большей уверенностью. Руководство проекта по разметке и правило R-20 задают защиту:
- Контрольные кадры. 10 % очереди показываются без предразметки и без пометки, так что разметчик не знает, какой кадр контрольный. Эта доля никогда не отключается.
- Delta-contour Dice сравнивает маски одних и тех же кадров, нарисованные с предразметкой и без неё; он должен быть не ниже 0,90.
- Доля принятых масок SAM 2 без единой правки должна оставаться ниже 60 %.
- Время на кадр намного ниже медианы, меньше 40 % от неё, – тревожный знак, а систематический сдвиг площади больше 5 % для класса исключает этот класс из предразметки.
- Предразметку отключают по классам, а не целиком: у инструментов чёткие края, и SAM 2 справляется с ними хорошо; протоки и плоскости диссекции – там, где он уезжает.
Активное обучение с MONAI Label
Не каждый кадр стоит одинаковых усилий. Десять тысяч кадров спокойной диссекции научат модель меньшему, чем пятьдесят кадров ситуаций, в которых она ошибается. Активное обучение позволяет модели выбирать, что размечать дальше.
MONAI Label – сервер между просмотрщиком и моделью: 3D Slicer или OHIF для КТ и МРТ, CVAT для видео. Его приложение для эндоскопии содержит модель трекинга инструментов, интерактивную модель DeepEdit и классификатор «внутри тела / снаружи» и может использовать CVAT как хранилище. Сервер делает предразметку, обучается на новой разметке и с помощью стратегии выбирает следующее изображение:
- random или first – базовый вариант.
- epistemic – изображение, в котором модель меньше всего уверена. Модель прогоняют T раз с включённым dropout; где прогоны расходятся, усреднённое предсказание размазано по классам, и его энтропия высока.
Здесь p̄ – предсказание, усреднённое по T прогонам с dropout, для пикселя i и класса c, а H – энтропия, просуммированная по пикселям: ноль там, где все прогоны согласны на одном классе, и большая там, где они разбегаются. Первыми идут изображения с наибольшим H.
- размечено точек
- –
- доля верных на всех точках
- –
Неуверенность – ещё не всё. Она тянется к выбросам и к почти одинаковым копиям одного трудного кадра и ненадёжна, пока модель почти ничего не видела. Оставляйте долю случайного выбора, начинайте с небольшой случайной выборки и держите валидационную выборку случайной и неизменной.
Согласие разметчиков
У разметки нет эталона, с которым её можно сравнить. Измерить можно другое: дают ли двое или больше компетентных людей с одними и теми же кадрами и одним руководством одну и ту же разметку. Низкое согласие значит, что доработки требуют определение класса, руководство или обучение разметчиков, и оно ограничивает, насколько хорошей может выглядеть любая модель.
Каппа Коэна: два разметчика
Po – наблюдаемое согласие, доля кадров, на которых оба выбрали один класс. Pe – согласие, ожидаемое случайно: для каждого класса доля кадров, отнесённых к нему разметчиком A, умноженная на долю у разметчика B, и всё это сложено по классам. Каппа (Cohen, 1960) показывает, насколько наблюдаемое согласие выше случайного, в долях пути от случайного до полного: 1 – полное согласие, 0 – не лучше случая, меньше 0 – хуже.
Почему не просто Po? Потому что редкий класс делает согласие дешёвым. Если на 95 % кадров дыма нет, двое разметчиков, почти никогда не отмечающих дым, согласны на большинстве кадров, ни разу не согласившись насчёт дыма. Попробуйте примеры:
- наблюдаемое согласие Po
- –
- случайное согласие Pe
- –
- каппа Коэна
- –
- по Landis и Koch
- –
Landis и Koch (1977) назвали интервалы, которые цитируют до сих пор: ниже 0 – плохое согласие, до 0,20 – незначительное, до 0,40 – слабое, до 0,60 – умеренное, до 0,80 – существенное, выше – почти полное. Это соглашение, а не закон; что достаточно хорошо, зависит от задачи.
Каппа Флейса: много разметчиков
Каппа Флейса (1971) переносит ту же идею на r разметчиков на объект. Для каждого из N объектов nic разметчиков выбрали класс c; Pi – доля пар разметчиков, согласных на объекте i, P̄ – её среднее по объектам, а P̄e – случайное согласие по общей доле pc каждого класса. Руководство проекта требует каппу Флейса не ниже 0,70 для категориальной разметки.
Маски: Dice между разметчиками
Для масок вопрос в том, насколько перекрываются два рисунка одной структуры. Dice и IoU работают так же, как для модели против эталона (см. страницу о метриках); при числе разметчиков больше двух берут среднее по всем парам:
Руководство требует среднего попарного Dice не ниже 0,80. Если разметчики раз за разом расходятся – например, на границах воспалённого желчного пузыря, – кадр помечают needs-clinician, и решение принимает клинический руководитель. Несколько масок можно и объединить в одну согласованную оценку, взвешивая каждого разметчика по тому, насколько надёжным он выглядит, – так делает STAPLE (Warfield и соавт., 2004).
Чек-лист
- Размечайте в CVAT, внутри закрытого рабочего пространства; никогда не выгружайте кадры в личные инструменты.
- Используйте предразметку как черновик и исправляйте её так, будто рисовали сами.
- Не трогайте контрольные кадры и никогда не скрывайте телеметрию доли принятых подсказок.
- Предпочитайте размечать то, в чём модель не уверена, оставляя долю случайного выбора.
- Публикуйте согласие: каппу Коэна или Флейса для категорий, попарный Dice для масок, с числом объектов.
Что почитать
- Руководство проекта по разметке.
- Документация CVAT, ML-бэкенды Label Studio, MONAI Label.
- Ravi и соавт. SAM 2: Segment Anything in Images and Videos. 2024.
- Cohen, J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 1960.
- Fleiss, J. L. Measuring nominal scale agreement among many raters. Psychological Bulletin, 1971.
- Landis и Koch. The Measurement of Observer Agreement for Categorical Data. Biometrics, 1977.
- Warfield и соавт. STAPLE. IEEE TMI, 2004.