МЕТОДОЛОГИЯ

Как устроена исследовательская работа

Разметка, контроль качества, защита от слепого доверия подсказкам и требования к скорости.

RESEARCH USE ONLY – NOT FOR CLINICAL USE
Страница ещё проходит проверку научными, клиническими и юридическими экспертами. Здесь описаны планы, а не готовые результаты.
АНАТОМИЧЕСКАЯ ИЛЛЮСТРАЦИЯOSV / 001
Сгенерированный студийный 3D-рендер: полупрозрачная янтарная печень с зелёными протоками, жёлчным пузырём и коралловыми сосудистыми структурами; рядом голубой инструмент. Не данные пациента; анатомия не валидирована.
Другой взгляд. Открытый подход.
СГЕНЕРИРОВАННАЯ ИЛЛЮСТРАЦИЯ · НЕ ДАННЫЕ ПАЦИЕНТА

Этапы – это вопросы для исследования

Иллюстрации ниже показывают последовательность: трёхмерная модель до операции, маски на видео во время операции, хронология после неё. Каждый этап – отдельная исследовательская задача со своими данными, разрешениями и способом оценки. Это не работающая клиническая система.

Инструменты:

  • видео размечаем в CVAT, с подсказками модели SAM 2;
  • объёмные снимки (КТ, МРТ) – в 3D Slicer и MONAI Label.

Сначала качество, потом объём

Клинический руководитель утверждает определения классов, правила для неясных случаев и решения по спорам. Мы проверяем, насколько эксперты согласны друг с другом:

  • 10% кадров размечают несколько человек независимо;
  • согласованность считаем по κ Коэна или Флайса, совпадение масок – по Dice и IoU;
  • целевые пороги: κ ≥ 0,70 и средний Dice ≥ 0,80.

Если эксперты расходятся, мы уточняем инструкцию или явно помечаем неопределённость, а не усредняем молча. Повторяющиеся споры – повод выпустить новую версию инструкции.

Защита от слепого доверия подсказкам

Автоматическая подсказка может незаметно сместить решение разметчика. Поэтому:

  • 10% кадров выдаём без подсказок, вперемешку с остальными;
  • сравниваем разметку одного человека с подсказкой и без неё с интервалом не меньше двух недель;
  • следим за долей масок, принятых без единой правки, и за подозрительно быстрыми сессиями.

Если проблема найдена, подсказки для этого класса отключаются до разбора.

Скорость: цель, а не результат

Ориентир – не больше 30–50 мс на кадр и не меньше 30 кадров в секунду. Это пока цель, а не измерение. В будущих отчётах о скорости будут указаны оборудование, размер входа, точность вычислений и задержки p50/p95/p99.

См. также бенчмарк и этику.