ЛЕКЦИЯ 3

Лекция 3. Полуавтоматическая разметка и согласие разметчиков

Как размечать хирургическое видео быстрее и не хуже: платформы разметки, предразметка с SAM 2, активное обучение с MONAI Label, защита от автоматического доверия и измерение согласия каппой Коэна и Флейса и Dice. Со схемами, формулами, интерактивными примерами и 3D-анимациями.

Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.

Час лапароскопического видео при 25 кадрах в секунду – это 90 000 кадров. Обвести вручную каждый инструмент и орган невозможно: в CholecSeg8k, одном из главных датасетов области, попиксельная разметка есть для 8080 кадров из 17 операций. Ручная разметка к тому же субъективна: где кончается желчный пузырь и начинается жир – вопрос суждения. Эта лекция – об инструментах, которые ускоряют разметку, о защите, которая не даёт подсказкам модели незаметно стать истиной, и о том, как измерить, согласны ли два человека. Это лекция 3 учебной программы, после лекции 2 о деидентификации.

Все кадры на этой странице синтетические.

Цикл

кадры видео1предразметкаSAM 2 или модель2разметчикисправляет кликами3рецензияпроверка согласия4датасетобучениелучшая модельконтрольные кадры, 10 %без предразметки5
Полуавтоматическая разметка – это цикл: каждый раунд разметки обучает модель, которая предразмечает следующий.
  1. Кадры берутся из деидентифицированного видео.
  2. Предразметка: модель – SAM 2 или обученная на прошлых раундах – предлагает маски.
  3. Разметчик принимает, исправляет несколькими кликами или перерисовывает.
  4. Рецензия проверяет разметку и согласие между разметчиками.
  5. Контрольные кадры – каждый десятый – размечаются с нуля, без предразметки, чтобы измерить, насколько подсказки влияют на людей.

Платформы разметки

  • CVAT – платформа проекта, в закрытом рабочем пространстве для приглашённых разметчиков. Фигуры: полигоны, маски, нарисованные кистью, прямоугольники, точки и скелеты; теги размечают кадр целиком, например его фазу или «есть дым»; треки ведут объект через видео и интерполируют между ключевыми кадрами. ИИ-инструменты подключаются как интеракторы, превращающие клики в маску, детекторы и трекеры; бесплатная редакция может запускать исходный Segment Anything как интерактор, а трекер SAM 2, переносящий полигоны и маски по кадрам, есть в редакции Enterprise или в виде ИИ-агента для CVAT Online и Enterprise.
  • Label Studio собирает интерфейс из XML-конфигурации и подключает модели через ML-бэкенд. Его примеры с SAM 2 покрывают изображения – с масками – и видео, где бэкенд пока ведёт один объект рамками.
  • osv.annotate – коннектор проекта к обеим платформам – запланирован. Сейчас в нём только конфигурация пайплайна предразметки: SAM 2 как предразметчик, 10 % контрольных кадров и порог delta-contour 0,90 (см. защиту ниже).

Предразметка с SAM 2

рамка+−положительный кликотрицательный кликпромпты на одном кадремаскаперенесена на следующие кадры
Один положительный клик, один отрицательный и рамка на одном кадре дают маску, которую SAM 2 переносит дальше.

SAM 2 сегментирует объект по промпту: положительный клик на объекте, отрицательный – на том, что объектом не является, рамка или грубая маска. В видео модель хранит память о прошлых кадрах и промптах и переносит маску вперёд. Когда маска уезжает – например, на печень за зажимом, – разметчик добавляет клик на кадре, где она ошиблась, и исправление распространяется оттуда. Как устроена память, рассказано на странице о видео.

Чтобы почувствовать работу кликами, попробуйте игрушку ниже. Это не SAM 2: она наращивает область похожего цвета от каждого клика – метод на десятилетия старше и гораздо слабее. Положительный клик добавляет область, отрицательный – убирает.

Автоматическое доверие

Подсказка на экране убедительна. Уставшие разметчики принимают маски, которые нарисовали бы иначе, и датасет постепенно перенимает ошибки модели; обученная на нём модель потом повторяет их с большей уверенностью. Руководство проекта по разметке и правило R-20 задают защиту:

  • Контрольные кадры. 10 % очереди показываются без предразметки и без пометки, так что разметчик не знает, какой кадр контрольный. Эта доля никогда не отключается.
  • Delta-contour Dice сравнивает маски одних и тех же кадров, нарисованные с предразметкой и без неё; он должен быть не ниже 0,90.
  • Доля принятых масок SAM 2 без единой правки должна оставаться ниже 60 %.
  • Время на кадр намного ниже медианы, меньше 40 % от неё, – тревожный знак, а систематический сдвиг площади больше 5 % для класса исключает этот класс из предразметки.
  • Предразметку отключают по классам, а не целиком: у инструментов чёткие края, и SAM 2 справляется с ними хорошо; протоки и плоскости диссекции – там, где он уезжает.

Активное обучение с MONAI Label

3D SlicerOHIFCVATREST APIсервер MONAI Labelинференс: предразметкаобучение на новой разметкестратегия: следующий случайоценка: энтропия с dropoutхранилищеизображения и разметка
Просмотрщик запрашивает у сервера следующее изображение, получает предразметку и отправляет исправленную разметку обратно; в промежутках сервер дообучается.

Не каждый кадр стоит одинаковых усилий. Десять тысяч кадров спокойной диссекции научат модель меньшему, чем пятьдесят кадров ситуаций, в которых она ошибается. Активное обучение позволяет модели выбирать, что размечать дальше.

MONAI Label – сервер между просмотрщиком и моделью: 3D Slicer или OHIF для КТ и МРТ, CVAT для видео. Его приложение для эндоскопии содержит модель трекинга инструментов, интерактивную модель DeepEdit и классификатор «внутри тела / снаружи» и может использовать CVAT как хранилище. Сервер делает предразметку, обучается на новой разметке и с помощью стратегии выбирает следующее изображение:

  1. random или first – базовый вариант.
  2. epistemic – изображение, в котором модель меньше всего уверена. Модель прогоняют T раз с включённым dropout; где прогоны расходятся, усреднённое предсказание размазано по классам, и его энтропия высока.
p‾i,c=1T∑tpi,c(t) H=∑i(−∑cp‾i,clogp‾i,c)

Здесь p̄ – предсказание, усреднённое по T прогонам с dropout, для пикселя i и класса c, а H – энтропия, просуммированная по пикселям: ноль там, где все прогоны согласны на одном классе, и большая там, где они разбегаются. Первыми идут изображения с наибольшим H.

Неуверенность – ещё не всё. Она тянется к выбросам и к почти одинаковым копиям одного трудного кадра и ненадёжна, пока модель почти ничего не видела. Оставляйте долю случайного выбора, начинайте с небольшой случайной выборки и держите валидационную выборку случайной и неизменной.

Согласие разметчиков

У разметки нет эталона, с которым её можно сравнить. Измерить можно другое: дают ли двое или больше компетентных людей с одними и теми же кадрами и одним руководством одну и ту же разметку. Низкое согласие значит, что доработки требуют определение класса, руководство или обучение разметчиков, и оно ограничивает, насколько хорошей может выглядеть любая модель.

Каппа Коэна: два разметчика

разметчик Bразметчик Aдымнет дымавсегодым20525нет дыма106575всего3070100Po = (20 + 65) / 100 = 0,85Pe = 0,25 · 0,30 + 0,75 · 0,70 = 0,60κ = (0,85 − 0,60) / (1 − 0,60) = 0,625
Два разметчика, 100 кадров, один вопрос: есть ли дым?
κ=Po−Pe1−Pe Po=∑cnccN,Pe=∑cnc·N·n·cN

Po – наблюдаемое согласие, доля кадров, на которых оба выбрали один класс. Pe – согласие, ожидаемое случайно: для каждого класса доля кадров, отнесённых к нему разметчиком A, умноженная на долю у разметчика B, и всё это сложено по классам. Каппа (Cohen, 1960) показывает, насколько наблюдаемое согласие выше случайного, в долях пути от случайного до полного: 1 – полное согласие, 0 – не лучше случая, меньше 0 – хуже.

Почему не просто Po? Потому что редкий класс делает согласие дешёвым. Если на 95 % кадров дыма нет, двое разметчиков, почти никогда не отмечающих дым, согласны на большинстве кадров, ни разу не согласившись насчёт дыма. Попробуйте примеры:

Landis и Koch (1977) назвали интервалы, которые цитируют до сих пор: ниже 0 – плохое согласие, до 0,20 – незначительное, до 0,40 – слабое, до 0,60 – умеренное, до 0,80 – существенное, выше – почти полное. Это соглашение, а не закон; что достаточно хорошо, зависит от задачи.

Каппа Флейса: много разметчиков

Pi=1r(r−1)∑cnic(nic−1),pc=1Nr∑inic κ=P‾−P‾e1−P‾e,P‾=1N∑iPi,P‾e=∑cpc2

Каппа Флейса (1971) переносит ту же идею на r разметчиков на объект. Для каждого из N объектов nic разметчиков выбрали класс c; Pi – доля пар разметчиков, согласных на объекте i, P̄ – её среднее по объектам, а P̄e – случайное согласие по общей доле pc каждого класса. Руководство проекта требует каппу Флейса не ниже 0,70 для категориальной разметки.

Маски: Dice между разметчиками

Для масок вопрос в том, насколько перекрываются два рисунка одной структуры. Dice и IoU работают так же, как для модели против эталона (см. страницу о метриках); при числе разметчиков больше двух берут среднее по всем парам:

Dicepairs=2R(R−1)∑a<bDice(Ma,Mb)

Руководство требует среднего попарного Dice не ниже 0,80. Если разметчики раз за разом расходятся – например, на границах воспалённого желчного пузыря, – кадр помечают needs-clinician, и решение принимает клинический руководитель. Несколько масок можно и объединить в одну согласованную оценку, взвешивая каждого разметчика по тому, насколько надёжным он выглядит, – так делает STAPLE (Warfield и соавт., 2004).

Чек-лист

  • Размечайте в CVAT, внутри закрытого рабочего пространства; никогда не выгружайте кадры в личные инструменты.
  • Используйте предразметку как черновик и исправляйте её так, будто рисовали сами.
  • Не трогайте контрольные кадры и никогда не скрывайте телеметрию доли принятых подсказок.
  • Предпочитайте размечать то, в чём модель не уверена, оставляя долю случайного выбора.
  • Публикуйте согласие: каппу Коэна или Флейса для категорий, попарный Dice для масок, с числом объектов.

Что почитать