Модели прошлых лекций смотрят на кадр и говорят, что на нём. Системе, которая помогает хирургу или ведёт инструмент, этого мало. Ей нужно знать, где инструмент находится в пространстве относительно анатомии, что это тот же инструмент, что секунду назад, и что маска не дрожит от кадра к кадру. Это лекция 9 учебной программы, после лекции 8 об архитектурах. Три темы:
- Компьютерно-ассистированное вмешательство: зрение как сенсорный слой.
- Поза в 6 DoF: где инструмент в пространстве и как он повёрнут относительно анатомических ориентиров.
- Время: трекинг фильтром Калмана и сглаживание масок рекуррентными слоями.
Все изображения на этой странице нарисованы кодом. Модели проекта исследовательские (RESEARCH USE ONLY – NOT FOR CLINICAL USE) и не управляют никаким устройством.
Зрение как сенсорный слой
Компьютерно-ассистированное вмешательство (computer-assisted intervention, CAI) – это системы, которые во время операции помогают хирургу видеть, решать или действовать: навигация, дополненная реальность поверх видео, предупреждения о близости к структуре, ассистирующий робот. У всех них одно устройство: восприятие, модель сцены, решение и действие, замкнутые в контур через операционное поле.
Почему именно зрение. У робота da Vinci есть кинематика: энкодеры суставов говорят, где должен быть инструмент. Но абсолютная ошибка положения его рабочего органа по кинематике велика, а калибровка трудоёмка – это прямо названо мотивацией датасета SurgPose. Камера смотрит туда же, куда хирург, и видит инструмент там, где он есть на самом деле. У ручных лапароскопических инструментов, которыми делают холецистэктомию, энкодеров нет вовсе, и камера – единственный датчик.
Насколько машина решает сама, описывают шесть уровней автономии хирургических роботов (Yang и соавт., Science Robotics 2017):
| Уровень | Название | Что делает машина |
|---|---|---|
| 0 | Нет автономии | повторяет движения хирурга, как телеманипулятор |
| 1 | Помощь робота | ограничивает или направляет движения хирурга, например виртуальной стенкой |
| 2 | Автономия задачи | сама выполняет отдельную задачу, которую начал хирург, например шов |
| 3 | Условная автономия | предлагает план задачи, хирург выбирает или утверждает |
| 4 | Высокая автономия | принимает решения под надзором квалифицированного врача |
| 5 | Полная автономия | хирург не нужен |
Уже на уровне 1 зрение должно давать не только маску, но и положение инструмента относительно структуры, в каждом кадре и с известной задержкой. И ещё одно: оно должно сообщать, когда не уверено, потому что контур, который не знает о своей ошибке, действует по ней.
Поза инструмента в 6 DoF
Шесть степеней свободы – три сдвига и три поворота. Вместе они задают преобразование из системы координат инструмента в систему координат камеры: матрицу поворота R и вектор сдвига t, которые часто записывают одной матрицей 4 × 4.
Камера переводит точку пространства в пиксель. В модели камеры-обскуры точка X сначала переводится в систему камеры, а затем делится на свою глубину Zc; f – фокусное расстояние в пикселях, (cx, cy) – центр кадра:
Числа во второй строке – из скрипта рендеринга инструментов проекта: эндоскоп с углом обзора 70°, кадр 854 × 480, как в CholecSeg8k. Тот же скрипт записывает позу каждого инструмента ровно в 6 DoF: кончик (x, y, z) в системе камеры, единичный вектор от кончика к троакару (две степени свободы) и поворот вокруг оси стержня roll_rad (ещё одна). Кончик он ставит в 4–14 см от линзы. Поэтому у синтетических кадров поза известна точно, а у реальных видео её нет.
Покрутите позу сами. Ползунки задают те же шесть чисел и раскрытие браншей.
- кончик в кадре 854 × 480, пикс.
- –
- ширина стержня 5 мм у кончика, пикс.
- –
- глубина по ширине при ошибке ±1 пикс., мм
- –
Игрушка показывает две трудности одной камеры.
Глубина. Одна камера видит направление на точку, но не расстояние до неё. Если известен настоящий размер, например диаметр стержня, расстояние можно вывести из видимого размера:
Относительная ошибка глубины равна относительной ошибке ширины. Стержень в 20 пикселей при ошибке в один пиксель даёт 5 % глубины, а далёкий стержень в 8 пикселей – уже около 12 %. Стереоэндоскоп снимает эту трудность: SurgPose поднимает 2D-точки в 3D именно по стереопаре.
Поворот вокруг оси. Стержень – цилиндр, и при сомкнутых браншах поворот вокруг его оси не меняет изображение. Увидеть его можно только по несимметричным деталям: раскрытым браншам, шарниру, меткам на корпусе.
Как оценивают позу на практике:
- Ключевые точки и PnP. Сеть находит на кадре известные точки инструмента: кончики браншей, шарнир, точки на стержне. Затем
cv2.solvePnPподбирает R и t так, чтобы 3D-модель инструмента проецировалась в эти точки; нужно не меньше четырёх соответствий. SurgPose размечает по семь ключевых точек на каждом из примерно 120 тысяч инструментов шести типов. Точки нанесены краской, видимой только в ультрафиолете, поэтому разметка не видна на обычных кадрах. - Прямая регрессия. Сеть сразу выдаёт R и t. Это просто, но для поворотов нужно удобное представление: углы Эйлера разрывны.
- Рендер и сравнение. Позу уточняют, пока рендер модели не совпадёт с маской или контуром на кадре. Маска из M1 здесь становится входом для оценки позы.
Относительно анатомии
Поза относительно камеры меняется при каждом движении эндоскопа, даже если инструмент стоит на месте. Хирургу и роботу важна поза относительно анатомии: как далеко кончик от пузырного протока, под каким углом бранши подходят к артерии.
Положение ориентира в системе камеры дают сегментация структуры (M2) и глубина: от стереопары или монокулярной оценки глубины. Ткань в отличие от инструмента не твёрдое тело: она дышит, смещается при тракции и меняет форму. Поэтому анатомический ориентир – это точка или участок поверхности в текущем кадре, а не жёсткая система координат, которую можно один раз зарегистрировать и забыть.
Трекинг во времени
Трекинг – это детекция в каждом кадре плюс сопоставление: инструмент, который был в кадре секунду назад, должен сохранить свой номер. Классический простой трекер SORT (Bewley и соавт., 2016) предсказывает рамку каждого объекта фильтром Калмана с постоянной скоростью и сопоставляет прогнозы с новыми детекциями по пересечению рамок.
В хирургии у трекинга свои особенности: инструмент уходит из поля зрения и возвращается, выходит из тела через троакар, прячется в дыму и за тканью. CholecTrack20 (Nwoye и соавт.) размечает 20 полных холецистэктомий с частотой 1 кадр/с: больше 35 тысяч кадров и 65 тысяч инструментов, с классом, номером, оперирующим хирургом и фазой. Траектории в нём определены тремя способами: на всю операцию, пока инструмент внутри тела, и пока он виден в кадре. Лучшие методы на нём не дотягивают до 45 % HOTA – метрики, которая учитывает и детекцию, и сохранение номеров.
Фильтр Калмана
Фильтр Калмана держит оценку состояния, например положения и скорости кончика, вместе с её неопределённостью P. На каждом кадре он делает два шага:
F – модель движения (при постоянной скорости положение прибавляет скорость), Q – насколько движение может от неё отклониться, H – что из состояния видит детектор, R – шум детектора. Коэффициент K решает, кому верить больше. Если прогноз неуверен, а детектор точен, K близок к единице и оценка идёт за измерением. Если наоборот, K мал и оценка держится прогноза.
R берут из ошибки детектора на валидации. Q подбирают: большое Q – оценка быстро следует за поворотами, но пропускает шум; малое Q – гладко, но с опозданием на каждом резком движении.
- ошибка детекций, пикс.
- –
- среднее: вне дыма · в дыму, пикс.
- –
- Калман: вне дыма · в дыму, пикс.
- –
Ошибка здесь – среднеквадратичное расстояние до истинного пути, отдельно для кадров с детекциями и для кадров в дыму. При настройках по умолчанию детекции ошибаются на 13,6 пикселя, экспоненциальное среднее с α = 0,3 – на 16,8, а Калман – на 8,2. Он сглаживает шум и не опаздывает на поворотах, потому что знает о скорости. Среднее с малым α гладкое, но срезает повороты, а с большим α пропускает шум.
В дыму картина обратная. Среднее застывает на последней детекции и ошибается на 33 пикселя, а Калман продолжает прямолинейное движение, пока путь изгибается, и уходит на 85. Модель постоянной скорости верна только на коротком отрезке. Поэтому P нужна не для красоты: она растёт с каждым кадром без детекций, и трекеры через несколько таких кадров перестают вести объект по прогнозу и помечают трек потерянным.
Непрерывное видео: мерцание масок
Модель, которая сегментирует каждый кадр отдельно, на соседних кадрах ошибается по-разному. Пиксели у границы инструмента или структуры переключаются туда-обратно, и маска мерцает. На мониторе это отвлекает, а для контура CAI это опасно: расстояние от кончика до структуры прыгает на миллиметры без движения инструмента.
Мерцание измеряют числом переключений меток между соседними кадрами, которых нет в разметке. Если камера или инструмент движутся, предыдущую маску сначала переносят по оптическому потоку, а потом сравнивают; так считают ошибку временной согласованности в Lai и соавт. (ECCV 2018).
Простейшее средство – экспоненциальное среднее вероятностей, первая строка формулы ниже. Оно стоит одной карты в памяти, но с фиксированным α гасит и шум, и настоящее движение: за быстро движущимся инструментом тянется шлейф.
Рекуррентный слой учится, когда верить памяти, а когда новому кадру. В свёрточной ячейке GRU (Ballas и соавт., 2015), остальные строки формулы, xt – признаки кадра, ht – память, ∗ – свёртка, ⊙ – поэлементное произведение:
Последняя строка – то же экспоненциальное среднее, только α превратилось в выученный гейт zt, свой для каждого пикселя и канала. Где сцена не изменилась, гейт закрыт и ячейка держит память; где инструмент сдвинулся, гейт открыт и ячейка берёт новый кадр. ConvLSTM устроена так же, но с отдельным состоянием ячейки и тремя гейтами; она разобрана на странице о видео.
Сравните на игрушке. Одна строка из 60 пикселей прослежена через 160 кадров, время идёт вправо: край инструмента движется медленно, а около кадра 100 быстро уходит и затем возвращается.
- переключений: истина · по кадрам · сглажено
- –
- IoU с истиной: по кадрам · сглажено
- –
- IoU на быстром участке: по кадрам · сглажено
- –
По кадрам модель переключает метки 703 раза там, где в истине 121 переключение. Фиксированное α = 0,2 оставляет 107 – меньше, чем в истине: среднее съедает и часть настоящего движения, и на быстром участке около кадра 100 IoU падает до 0,936. Гейт открывается, только где вероятность изменилась сильнее, чем бывает от шума: 139 переключений, IoU 0,961 и 0,960 на быстром участке. Это ручная копия того, чему учится zt; обученная ячейка делает то же по признакам, а не по одной вероятности.
Три практических замечания:
- Только прошлое. Во время операции доступны только прошлые кадры. Двунаправленное сглаживание, которое смотрит и вперёд, годится для разметки и разбора видео, но не для живого контура. Бюджет задержки – тема лекции 10.
- Обучение на последовательностях. Рекуррентный слой учат на клипах подряд идущих кадров с обратным распространением через несколько шагов. В CholecSeg8k размеченные кадры идут клипами по 80 подряд, и этого хватает для коротких последовательностей.
- Сглаживать объект, а не пиксели. Для контура CAI часто полезнее фильтр Калмана на величинах объекта – кончике, рамке, позе, – чем сглаживание каждого пикселя.
Где проект сейчас
В osv пока нет ни оценки позы, ни трекинга, ни временного сглаживания: M1 сегментирует каждый кадр отдельно. Скрипт рендеринга инструментов уже записывает точную позу в 6 DoF для каждого синтетического кадра, и из неё можно получить разметку позы и ключевых точек. Но RFC 0001 показал, что синтетические инструменты сами по себе плохо переносятся на реальные кадры: IoU 0,116 против 0,772 на реальной разметке. Синтетические позы потребуют той же осторожности. Потоковый сервер osv.serve, в котором трекинг и сглаживание должны работать в реальном времени, запланирован.
Чек-лист
- Решите, что нужно задаче: маска, поза относительно камеры или поза относительно анатомии.
- Для одной камеры помните о неоднозначности глубины и поворота вокруг оси стержня; сообщайте ошибку глубины, а не только ошибку в пикселях.
- В трекинге отчитывайтесь метрикой, которая учитывает сохранение номеров (HOTA), и отдельно – эпизодами дыма и выхода из кадра.
- R фильтра Калмана берите из ошибки детектора на валидации, Q подбирайте на валидации, а не на тесте.
- Мерцание измеряйте числом лишних переключений или ошибкой согласованности с учётом оптического потока, рядом с IoU.
- Во время операции используйте только прошлые кадры.
Что почитать
- Yang и соавт. Medical robotics – Regulatory, ethical, and legal considerations for increasing levels of autonomy. Science Robotics 2017.
- Wu и соавт. SurgPose: a Dataset for Articulated Robotic Surgical Tool Pose Estimation and Tracking. 2025.
- Nwoye и соавт. CholecTrack20: A Multi-Perspective Tracking Dataset for Surgical Tools. 2023.
- Bewley и соавт. Simple Online and Realtime Tracking. ICIP 2016.
- Kalman. A New Approach to Linear Filtering and Prediction Problems. Journal of Basic Engineering, 1960.
- Ballas и соавт. Delving Deeper into Convolutional Networks for Learning Video Representations. ICLR 2016.
- Shi и соавт. Convolutional LSTM Network. NeurIPS 2015.
- Lai и соавт. Learning Blind Video Temporal Consistency. ECCV 2018.