МЕТРИКИ

Метрики сегментационных моделей простыми словами

Для инженеров, которые только начинают работать с медицинскими изображениями: что измеряют доля верных пикселей, точность, полнота, IoU, Dice, расстояние Хаусдорфа, поверхностный Dice, функции потерь, PSNR и SSIM – с формулами, рисунками и интерактивным примером.

Модель учится, уменьшая функцию потерь, а оценивают её по метрикам. И то и другое – формулы по пикселям или вокселям, и каждая отвечает на свой вопрос: какую часть объекта модель нашла, сколько выдумала, насколько ошиблась в границе. Здесь разобраны метрики, которые встретятся вам в проекте и в статьях, начиная с подсчёта пикселей. Код, который считает их для бенчмарка проекта, – osv/eval/metrics.py; обзор моделей – в сравнении объёмов и видео.

Обозначения

  • P – множество пикселей, которые модель отнесла к классу, G – разметка, то есть пиксели, отмеченные разметчиком. Для объёма вместо «пикселей» читайте «воксели».
  • p – предсказанная моделью вероятность для пикселя, g – его истинная метка, 1 или 0. Индекс i пробегает пиксели, c – классы, n – изображения.
  • |P| – число пикселей в P, ∂P – его граница.

Считаем пиксели: матрица ошибок

Для данного класса каждый пиксель попадает в одну из четырёх групп: предсказан и верен (истинно положительный, TP), предсказан, но неверен (ложноположительный, FP), верен, но пропущен (ложноотрицательный, FN), и ни то ни другое (истинно отрицательный, TN).

  • TP · истинно положительный
  • FP · ложноположительный
  • FN · ложноотрицательный
  • TN · истинно отрицательный
G · разметкаP · предсказаниепредсказаниеинструментфонразметкаинструментфонTP12FN12FP12TN60
Изображение 12 × 8 с истинным инструментом 6 × 4 и предсказанием 6 × 4, сдвинутым на два столбца и одну строку. Все числа на этой странице – для этого примера.
TPc=|{i:pi=c,gi=c}| FPc=|{i:pi=c,gi≠c}| FNc=|{i:pi≠c,gi=c}|

Читается так: TP для класса c – число пикселей i, у которых и предсказание, и разметка равны c. Когда классов больше двух, подсчёты образуют таблицу C × C: строки – разметка, столбцы – предсказание. Проект накапливает эту таблицу по всем пикселям выборки и выводит из неё все метрики ниже. Пиксели с меткой 255, «игнорировать», в таблицу не попадают.

Доля верных пикселей и почему она обманывает

доля верных=∑cTPcN доля верных=TP+TNTP+TN+FP+FN

Доля пикселей, получивших верный класс (pixel accuracy); N – число пикселей. В примере это (12 + 60) / 96 = 0,75. Звучит как естественная оценка, но в хирургических кадрах преобладает фон. Если инструменты занимают 2 % кадра, модель, которая вообще не находит инструментов, получит 0,98. Приводите её, если вообще приводите, только рядом с метриками ниже.

Точность и полнота

точность=TPTP+FP полнота=TPTP+FN специфичность=TNTN+FP
  • Точность (precision) – доля предсказания, которая верна: сколько модель выдумывает. В примере 12 / 24 = 0,5.
  • Полнота (recall), она же чувствительность, – доля разметки, которую нашли: сколько модель пропускает. В примере 12 / 24 = 0,5.
  • Специфичность – доля фона, оставшегося фоном. Когда объект мал, она близка к 1 почти у любой модели – по той же причине, что и доля верных пикселей.

Точность и полнота тянут в разные стороны. Если понизить порог вероятности, при котором пиксель считается «инструментом», полнота вырастет, а точность упадёт. Их гармоническое среднее, F1, высоко, только когда высоки обе:

F1=2·точность·полнотаточность+полнота=2TP2TP+FP+FN

IoU и Dice

Две главные метрики сегментации сравнивают предсказанную и истинную области напрямую.

IoU=|P∩G||P∪G|=TPTP+FP+FN Dice=2|P∩G||P|+|G|=2TP2TP+FP+FN
  • IoU (intersection over union, индекс Жаккара): пересечение, делённое на всё, что покрывает хотя бы одна маска. В примере 12 / 36 = 0,33.
  • Dice (коэффициент Дайса – Сёренсена): удвоенное пересечение, делённое на сумму размеров. В примере 24 / 48 = 0,5. Для одного класса Dice в точности равен F1 из предыдущего раздела.
  • Обе метрики идут от 0 – нет пересечения – до 1 – полное совпадение, и обе не учитывают истинно отрицательные пиксели, поэтому большой фон их не завышает.

Dice и IoU всегда одинаково упорядочивают два предсказания одного изображения, потому что каждая – функция другой. Для любой неидеальной маски Dice больше; никогда не сравнивайте Dice из одной статьи с IoU из другой.

Dice=2·IoU1+IoU,IoU=Dice2−Dice

Несколько классов: mean IoU

mIoU=1|C′|∑c∈C′IoUc C′={c:TPc+FNc>0}

Mean IoU усредняет IoU по C′ – классам, которые действительно встречаются в оцениваемой выборке. Таково правило проекта: у класса без истинных пикселей в выборке нет оценки – ни 0, ни 1, – а в отчёте указано, по скольким классам усреднено. В CholecSeg8k три класса из тринадцати отсутствуют в выборке, разбитой по целым видео, и оценка 0 для них без всякой причины тянула бы среднее вниз.

По всем пикселям или в среднем по кадрам

IoUпо пикселям=∑nTPn∑n(TPn+FPn+FNn) IoUпо кадрам=1M∑nIoUn

IoU по всем пикселям сначала складывает подсчёты всех M изображений и делит один раз; средний IoU считает IoU для каждого изображения и усредняет. Первый вариант даёт больший вес крупным объектам; второй – одинаковый вес каждому кадру, поэтому несколько кадров с крошечным пропущенным инструментом сильно тянут его вниз. Эксперимент проекта M1 приводит бинарный IoU по всем пикселям теста. Указывайте, какой вариант вы приводите.

Попробуйте

Двигайте предсказание относительно неподвижного истинного инструмента и смотрите на метрики. Сделайте объект маленьким и включите «Ничего не предсказывать»: доля верных пикселей останется высокой, IoU и Dice упадут до нуля.

Границы: расстояние Хаусдорфа и поверхностный Dice

Метрики пересечения почти не замечают тонкий ошибочный выступ или пропущенный кончик, а для инструментов и органов риска это важно. Метрики границ измеряют расстояния между двумя контурами – в пикселях или, с учётом шага вокселя, в миллиметрах.

HDразметка Gпредсказание Pдопуск τдопуск τ95-й перцентильмаксимум = HDрасстояние от точки ∂P до ∂Gточки
Предсказание с одним выступом. Большая часть его границы лежит в полосе допуска; максимум задаёт один выступ.
d(a,B)=minb∈∂B‖a−b‖ HD=max{maxa∈∂Pd(a,G),maxb∈∂Gd(b,P)} HD95=max{P95a∈∂Pd(a,G),P95b∈∂Gd(b,P)}
  • d(a, B) – расстояние от точки a до ближайшей точки границы ∂B.
  • Расстояние Хаусдорфа (HD) – наибольшее такое расстояние в любом направлении: худшая точка предсказания относительно разметки или разметки относительно предсказания. Его задаёт один далёкий случайный пиксель.
  • HD95 заменяет максимум 95-м перцентилем, P95, в каждом направлении и берёт больший из двух – так его считает MONAI. Оно не учитывает худшие 5 % точек и гораздо устойчивее. У обеих метрик меньше – лучше; 0 – полное совпадение.
NSDτ=|{a∈∂P:d(a,G)≤τ}|+|{b∈∂G:d(b,P)≤τ}||∂P|+|∂G|

Нормированный поверхностный Dice (NSD) при допуске τ – доля обеих границ, лежащая не дальше τ от другой (Nikolov и соавт., 2021). Он отвечает на вопрос «какую часть контура придётся исправлять?», если отклонения меньше τ неважны. τ выбирают для каждой структуры, например по расхождению между разметчиками, и обязательно указывают рядом с оценкой. В 2D та же идея даёт граничный F1 и Boundary IoU, которые честно оценивают тонкие структуры вроде стержней инструментов.

В 3D

Те же расстояния на поверхностях: истинная структура – шар радиусом 20 мм, предсказание с одной стороны заходит в соседнюю структуру, с другой – не дотягивает. Точки предсказанной поверхности не дальше τ от разметки – зелёные, дальше – оранжевые, тем темнее, чем дальше. Двигайте τ: HD не меняется, а NSD меняется.

Функции потерь: что модель оптимизирует на самом деле

Метрика считается после порога, по жёстким маскам, и не дифференцируема. Для обучения нужна гладкая функция предсказанных вероятностей – функция потерь. Меньше – лучше; её считают на каждом батче.

LCE=−1N∑i∑cgi,clogpi,c

Перекрёстная энтропия (cross-entropy) штрафует низкую вероятность истинного класса для каждого пикселя: штраф −log p неограниченно растёт, когда p стремится к 0. Все пиксели для неё равны, поэтому на изображениях, где преобладает фон, модель может получить хорошие потери, не замечая мелких структур. Обычное средство – веса классов в сумме. Baseline проекта M1 обучается на обычной перекрёстной энтропии плюс 0,4 той же функции на вспомогательной голове DeepLabV3.

LDice=1−2∑ipigi+ε∑ipi+∑igi+ε L=LCE+LDice

Мягкая Dice-функция потерь применяет формулу Dice к вероятностям вместо жёстких масок; малая константа ε сохраняет её определённой, когда обе маски пусты. Она смотрит на класс целиком и нечувствительна к количеству фона (Milletari и соавт., 2016). nnU-Net обучается на сумме этих двух функций.

Lfocal=−1N∑i(1−pi)γlogpi

Focal loss (Lin и соавт., 2017) умножает перекрёстную энтропию на (1 − p)^γ, где p – вероятность истинного класса: лёгкие пиксели, которые модель уже распознаёт, весят мало, трудные – много. Обычно берут γ = 2.

Как читать кривые обучения

010203040эпохапотерилучший на валидации: сохранить чекпойнтпотери на валидациипотери на обучениипереобучение →
Иллюстрация, а не настоящий запуск. Метрика на валидации, например IoU, обычно зеркальна потерям на валидации: максимум там, где потери минимальны.

Потери на обучении падают, пока модель может запоминать обучающие изображения. Потери на валидации – на изображениях, на которых модель не учится, – падают, пока модель усваивает то, что обобщается, и растут, когда она начинает запоминать: это переобучение. Сохраняйте чекпойнт, лучший на валидации; в проекте чекпойнты M1 выбираются по IoU на валидации. Тестовая выборка в этом выборе не участвует и оценивается один раз, в конце.

Изображения, а не маски: PSNR и SSIM

Некоторые модели выдают изображение – например, модели проекта M5 по удалению дыма, которые убирают дым из кадра. Их результат сравнивают с чистым эталонным изображением.

MSE=1N∑i(pi−gi)2 PSNR=10·log101MSE

PSNR (пиковое отношение сигнала к шуму) – среднеквадратичная ошибка в логарифмической шкале, в децибелах, для изображений в диапазоне 0–1. Больше – лучше; каждые 10 дБ – в десять раз меньшая ошибка. Одинаковые изображения дали бы бесконечность, поэтому проект ограничивает PSNR значением 100 дБ.

SSIM(a,b)=(2μaμb+c1)(2σab+c2)(μa2+μb2+c1)(σa2+σb2+c2) c1=0,012,c2=0,032

SSIM (индекс структурного сходства, Wang и соавт., 2004) сравнивает локальные средние μ, контрасты σ и корреляцию σab двух изображений a и b в небольшом окне и усредняет по изображению. Он ближе к человеческому восприятию, чем PSNR: размытие его снижает, равномерное изменение яркости – гораздо меньше. Проект считает его по яркости с гауссовым окном 11 пикселей, σ = 1,5. Для одинаковых изображений он равен 1.

Одного числа мало

Оценка на тестовой выборке – это приближение. Указывайте, насколько оно неточно.

v‾±1,96·sn s=1n−1∑m(vm−v‾)2
  • Среднее и 95-процентный интервал. Для n оценок, например по одной на кадр или на seed, интервал – среднее плюс-минус 1,96 стандартной ошибки, s / √n. Он предполагает, что оценки независимы, а кадры одного видео такими не являются.
  • Бутстреп по видео. Много раз выбирайте целые видео с возвращением, каждый раз пересчитывайте метрику и берите 2,5-й и 97,5-й перцентили. Так было принято решение по M1: выборка тестовых видео и seed, парная для двух вариантов.
  • Seed. Тот же запуск обучения с другим случайным seed даёт другую оценку. Правило проекта – не меньше трёх seed на вариант.
p95=t⌈0,95·n⌉

Перцентили задержки – та же идея для скорости: отсортируйте n измеренных времён и возьмите значение с номером ⌈0,95 n⌉. p95 показывает, насколько медленен самый медленный кадр из двадцати; среднее эти кадры прячет. См. бюджет задержки.

Коротко

Метрика Диапазон Лучше Для чего Осторожно
Доля верных пикселей 0–1 больше проверка здравого смысла завышается фоном
Точность, полнота 0–1 больше что выдумано, что пропущено каждую по отдельности легко довести до максимума
IoU, Dice 0–1 больше совпадение масок, главная оценка мелкие объекты, отсутствующие классы, по пикселям или по кадрам
HD, HD95 0–∞ меньше худшие ошибки границы HD следует за одним выбросом; пустые маски дают бесконечность
NSD при τ 0–1 больше доля границы, которую не нужно исправлять без τ бессмыслен
Перекрёстная энтропия, Dice-потери 0–∞, 0–1 меньше обучение не тестовая метрика
PSNR, SSIM дБ, до 1 больше восстановление изображений PSNR не замечает размытия

Источники

Назад к гиду по сегментации: 3D-объёмы и хирургическое видео.