Модель учится, уменьшая функцию потерь, а оценивают её по метрикам. И то и другое – формулы по пикселям или вокселям, и каждая отвечает на свой вопрос: какую часть объекта модель нашла, сколько выдумала, насколько ошиблась в границе. Здесь разобраны метрики, которые встретятся вам в проекте и в статьях, начиная с подсчёта пикселей. Код, который считает их для бенчмарка проекта, – osv/eval/metrics.py; обзор моделей – в сравнении объёмов и видео.
Обозначения
- P – множество пикселей, которые модель отнесла к классу, G – разметка, то есть пиксели, отмеченные разметчиком. Для объёма вместо «пикселей» читайте «воксели».
- p – предсказанная моделью вероятность для пикселя, g – его истинная метка, 1 или 0. Индекс i пробегает пиксели, c – классы, n – изображения.
- |P| – число пикселей в P, ∂P – его граница.
Считаем пиксели: матрица ошибок
Для данного класса каждый пиксель попадает в одну из четырёх групп: предсказан и верен (истинно положительный, TP), предсказан, но неверен (ложноположительный, FP), верен, но пропущен (ложноотрицательный, FN), и ни то ни другое (истинно отрицательный, TN).
- TP · истинно положительный
- FP · ложноположительный
- FN · ложноотрицательный
- TN · истинно отрицательный
Читается так: TP для класса c – число пикселей i, у которых и предсказание, и разметка равны c. Когда классов больше двух, подсчёты образуют таблицу C × C: строки – разметка, столбцы – предсказание. Проект накапливает эту таблицу по всем пикселям выборки и выводит из неё все метрики ниже. Пиксели с меткой 255, «игнорировать», в таблицу не попадают.
Доля верных пикселей и почему она обманывает
Доля пикселей, получивших верный класс (pixel accuracy); N – число пикселей. В примере это (12 + 60) / 96 = 0,75. Звучит как естественная оценка, но в хирургических кадрах преобладает фон. Если инструменты занимают 2 % кадра, модель, которая вообще не находит инструментов, получит 0,98. Приводите её, если вообще приводите, только рядом с метриками ниже.
Точность и полнота
- Точность (precision) – доля предсказания, которая верна: сколько модель выдумывает. В примере 12 / 24 = 0,5.
- Полнота (recall), она же чувствительность, – доля разметки, которую нашли: сколько модель пропускает. В примере 12 / 24 = 0,5.
- Специфичность – доля фона, оставшегося фоном. Когда объект мал, она близка к 1 почти у любой модели – по той же причине, что и доля верных пикселей.
Точность и полнота тянут в разные стороны. Если понизить порог вероятности, при котором пиксель считается «инструментом», полнота вырастет, а точность упадёт. Их гармоническое среднее, F1, высоко, только когда высоки обе:
IoU и Dice
Две главные метрики сегментации сравнивают предсказанную и истинную области напрямую.
- IoU (intersection over union, индекс Жаккара): пересечение, делённое на всё, что покрывает хотя бы одна маска. В примере 12 / 36 = 0,33.
- Dice (коэффициент Дайса – Сёренсена): удвоенное пересечение, делённое на сумму размеров. В примере 24 / 48 = 0,5. Для одного класса Dice в точности равен F1 из предыдущего раздела.
- Обе метрики идут от 0 – нет пересечения – до 1 – полное совпадение, и обе не учитывают истинно отрицательные пиксели, поэтому большой фон их не завышает.
Dice и IoU всегда одинаково упорядочивают два предсказания одного изображения, потому что каждая – функция другой. Для любой неидеальной маски Dice больше; никогда не сравнивайте Dice из одной статьи с IoU из другой.
Несколько классов: mean IoU
Mean IoU усредняет IoU по C′ – классам, которые действительно встречаются в оцениваемой выборке. Таково правило проекта: у класса без истинных пикселей в выборке нет оценки – ни 0, ни 1, – а в отчёте указано, по скольким классам усреднено. В CholecSeg8k три класса из тринадцати отсутствуют в выборке, разбитой по целым видео, и оценка 0 для них без всякой причины тянула бы среднее вниз.
По всем пикселям или в среднем по кадрам
IoU по всем пикселям сначала складывает подсчёты всех M изображений и делит один раз; средний IoU считает IoU для каждого изображения и усредняет. Первый вариант даёт больший вес крупным объектам; второй – одинаковый вес каждому кадру, поэтому несколько кадров с крошечным пропущенным инструментом сильно тянут его вниз. Эксперимент проекта M1 приводит бинарный IoU по всем пикселям теста. Указывайте, какой вариант вы приводите.
Попробуйте
Двигайте предсказание относительно неподвижного истинного инструмента и смотрите на метрики. Сделайте объект маленьким и включите «Ничего не предсказывать»: доля верных пикселей останется высокой, IoU и Dice упадут до нуля.
- TP
- FP
- FN
- TN
- Доля верных пикселей
- –
- Точность
- –
- Полнота
- –
- IoU
- –
- Dice
- –
- HD95, пикселей
- –
Границы: расстояние Хаусдорфа и поверхностный Dice
Метрики пересечения почти не замечают тонкий ошибочный выступ или пропущенный кончик, а для инструментов и органов риска это важно. Метрики границ измеряют расстояния между двумя контурами – в пикселях или, с учётом шага вокселя, в миллиметрах.
- d(a, B) – расстояние от точки a до ближайшей точки границы ∂B.
- Расстояние Хаусдорфа (HD) – наибольшее такое расстояние в любом направлении: худшая точка предсказания относительно разметки или разметки относительно предсказания. Его задаёт один далёкий случайный пиксель.
- HD95 заменяет максимум 95-м перцентилем, P95, в каждом направлении и берёт больший из двух – так его считает MONAI. Оно не учитывает худшие 5 % точек и гораздо устойчивее. У обеих метрик меньше – лучше; 0 – полное совпадение.
Нормированный поверхностный Dice (NSD) при допуске τ – доля обеих границ, лежащая не дальше τ от другой (Nikolov и соавт., 2021). Он отвечает на вопрос «какую часть контура придётся исправлять?», если отклонения меньше τ неважны. τ выбирают для каждой структуры, например по расхождению между разметчиками, и обязательно указывают рядом с оценкой. В 2D та же идея даёт граничный F1 и Boundary IoU, которые честно оценивают тонкие структуры вроде стержней инструментов.
В 3D
Те же расстояния на поверхностях: истинная структура – шар радиусом 20 мм, предсказание с одной стороны заходит в соседнюю структуру, с другой – не дотягивает. Точки предсказанной поверхности не дальше τ от разметки – зелёные, дальше – оранжевые, тем темнее, чем дальше. Двигайте τ: HD не меняется, а NSD меняется.
- τ
- –
- HD
- –
- HD95
- –
- NSD при τ
- –
Функции потерь: что модель оптимизирует на самом деле
Метрика считается после порога, по жёстким маскам, и не дифференцируема. Для обучения нужна гладкая функция предсказанных вероятностей – функция потерь. Меньше – лучше; её считают на каждом батче.
Перекрёстная энтропия (cross-entropy) штрафует низкую вероятность истинного класса для каждого пикселя: штраф −log p неограниченно растёт, когда p стремится к 0. Все пиксели для неё равны, поэтому на изображениях, где преобладает фон, модель может получить хорошие потери, не замечая мелких структур. Обычное средство – веса классов в сумме. Baseline проекта M1 обучается на обычной перекрёстной энтропии плюс 0,4 той же функции на вспомогательной голове DeepLabV3.
Мягкая Dice-функция потерь применяет формулу Dice к вероятностям вместо жёстких масок; малая константа ε сохраняет её определённой, когда обе маски пусты. Она смотрит на класс целиком и нечувствительна к количеству фона (Milletari и соавт., 2016). nnU-Net обучается на сумме этих двух функций.
Focal loss (Lin и соавт., 2017) умножает перекрёстную энтропию на (1 − p)^γ, где p – вероятность истинного класса: лёгкие пиксели, которые модель уже распознаёт, весят мало, трудные – много. Обычно берут γ = 2.
Как читать кривые обучения
Потери на обучении падают, пока модель может запоминать обучающие изображения. Потери на валидации – на изображениях, на которых модель не учится, – падают, пока модель усваивает то, что обобщается, и растут, когда она начинает запоминать: это переобучение. Сохраняйте чекпойнт, лучший на валидации; в проекте чекпойнты M1 выбираются по IoU на валидации. Тестовая выборка в этом выборе не участвует и оценивается один раз, в конце.
Изображения, а не маски: PSNR и SSIM
Некоторые модели выдают изображение – например, модели проекта M5 по удалению дыма, которые убирают дым из кадра. Их результат сравнивают с чистым эталонным изображением.
PSNR (пиковое отношение сигнала к шуму) – среднеквадратичная ошибка в логарифмической шкале, в децибелах, для изображений в диапазоне 0–1. Больше – лучше; каждые 10 дБ – в десять раз меньшая ошибка. Одинаковые изображения дали бы бесконечность, поэтому проект ограничивает PSNR значением 100 дБ.
SSIM (индекс структурного сходства, Wang и соавт., 2004) сравнивает локальные средние μ, контрасты σ и корреляцию σab двух изображений a и b в небольшом окне и усредняет по изображению. Он ближе к человеческому восприятию, чем PSNR: размытие его снижает, равномерное изменение яркости – гораздо меньше. Проект считает его по яркости с гауссовым окном 11 пикселей, σ = 1,5. Для одинаковых изображений он равен 1.
Одного числа мало
Оценка на тестовой выборке – это приближение. Указывайте, насколько оно неточно.
- Среднее и 95-процентный интервал. Для n оценок, например по одной на кадр или на seed, интервал – среднее плюс-минус 1,96 стандартной ошибки, s / √n. Он предполагает, что оценки независимы, а кадры одного видео такими не являются.
- Бутстреп по видео. Много раз выбирайте целые видео с возвращением, каждый раз пересчитывайте метрику и берите 2,5-й и 97,5-й перцентили. Так было принято решение по M1: выборка тестовых видео и seed, парная для двух вариантов.
- Seed. Тот же запуск обучения с другим случайным seed даёт другую оценку. Правило проекта – не меньше трёх seed на вариант.
Перцентили задержки – та же идея для скорости: отсортируйте n измеренных времён и возьмите значение с номером ⌈0,95 n⌉. p95 показывает, насколько медленен самый медленный кадр из двадцати; среднее эти кадры прячет. См. бюджет задержки.
Коротко
| Метрика | Диапазон | Лучше | Для чего | Осторожно |
|---|---|---|---|---|
| Доля верных пикселей | 0–1 | больше | проверка здравого смысла | завышается фоном |
| Точность, полнота | 0–1 | больше | что выдумано, что пропущено | каждую по отдельности легко довести до максимума |
| IoU, Dice | 0–1 | больше | совпадение масок, главная оценка | мелкие объекты, отсутствующие классы, по пикселям или по кадрам |
| HD, HD95 | 0–∞ | меньше | худшие ошибки границы | HD следует за одним выбросом; пустые маски дают бесконечность |
| NSD при τ | 0–1 | больше | доля границы, которую не нужно исправлять | без τ бессмыслен |
| Перекрёстная энтропия, Dice-потери | 0–∞, 0–1 | меньше | обучение | не тестовая метрика |
| PSNR, SSIM | дБ, до 1 | больше | восстановление изображений | PSNR не замечает размытия |
Источники
- Maier-Hein и соавт. Metrics reloaded: recommendations for image analysis validation. Nature Methods, 2024.
- Taha и Hanbury. Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool. BMC Medical Imaging, 2015.
- Nikolov и соавт. Clinically applicable segmentation of head and neck anatomy for radiotherapy. JMIR, 2021 (поверхностный Dice).
- Csurka и соавт. What is a good evaluation measure for semantic segmentation? BMVC 2013 (граничный F1); Cheng и соавт. Boundary IoU. CVPR 2021.
- Wang и соавт. Image quality assessment: from error visibility to structural similarity. IEEE TIP, 2004.
- Lin и соавт. Focal Loss for Dense Object Detection. ICCV 2017.
Назад к гиду по сегментации: 3D-объёмы и хирургическое видео.