Коротко
Проект строит открытые модели компьютерного зрения для хирургии: они распознают на видео органы, инструменты и этапы операции. Код открыт, данные – опубликованные хирургические датасеты, рядом работают хирурги и студенты-медики.
Для вас это возможность решать настоящую задачу на настоящих данных, писать код, который проходит ревью опытных инженеров, и собрать открытое портфолио, которое можно показать любому работодателю или научному руководителю.
Что вы получите
Настоящая задача вместо учебной
Не очередной Titanic или MNIST, а записи реальных операций: дым, блики, кровь, перекрытые инструментами органы, длинные видео и мало размеченных кадров. Здесь видно, почему хорошая метрика на валидации ещё ничего не гарантирует, и чем исследование отличается от туториала.
Компьютерное зрение в полный рост
Сегментация органов и инструментов, распознавание фаз операции по видео, обнаружение и отслеживание инструментов, предразметка с помощью Segment Anything 2. Абляции, повторные прогоны, доверительные интервалы и честные сравнения – по правилам, принятым в научных публикациях.
Инженерия, как в индустрии
Тесты и CI на каждый pull request, ревью кода, версии данных в DVC, конфигурации в Hydra, эксперименты в MLflow, сервисы на FastAPI в Docker. Инфраструктура проекта описана кодом: Kubernetes, Terraform, Helm. Это не учебный стенд, а система, которой пользуются разметчики.
Открытое портфолио
Ваши коммиты и pull request’ы – в открытом репозитории под лицензией Apache-2.0. Ссылку на них можно приложить к резюме: работодатель увидит не строчку «знаю PyTorch», а реальный код, обсуждение и ревью. Профиль на странице участников – с вашего согласия.
Ревью от опытных инженеров
Каждую правку смотрит другой участник. Обратная связь – конкретная и уважительная: почему этот тест лучше, где утечка данных, как сделать эксперимент воспроизводимым. На первый pull request новичка стараемся ответить в течение 48 часов.
Медицинская предметная область
Вы узнаете, чем медицинское ПО отличается от обычного: обезличивание данных, разбиение по пациентам вместо разбиения по кадрам, лицензии датасетов, ответственность за ошибки модели. Вы будете обсуждать задачи с хирургами и студентами-медиками – это редкий опыт междисциплинарной работы, который ценят в медицинских ИИ-компаниях и исследовательских группах.
ВКР, курсовые и практика
Мы собрали более 50 тем научных работ, в том числе больше двадцати технических: от сравнения архитектур сегментации до обезличивания видео и инфраструктуры для медицинского ИИ. Засчитать работу в проекте как учебную или производственную практику может только вуз; проект по запросу подтвердит объём и содержание вашей работы.
Публикации и конференции
Результаты можно представить на студенческих конференциях, в секциях молодых учёных и на профильных семинарах по компьютерному зрению в медицине. Авторство в публикациях проекта определяется вкладом по соглашению о вкладе.
Чем можно заняться
- Данные. Загрузчики и конвертеры открытых датасетов, разбиение по пациентам без утечек, паспорта данных.
- Модели. Базовые модели сегментации и распознавания фаз, абляции, ускорение до реального времени.
- Оценка. Метрики, доверительные интервалы, открытый бенчмарк и лидерборд.
- Разметка. Интеграция моделей предразметки в CVAT, активное обучение, автоматический контроль качества разметки.
- Обезличивание. Распознавание текста на экранах медицинских стоек, обнаружение лиц и кадров вне тела пациента.
- Сервисы и MLOps. API на FastAPI, Docker, MLflow, CI.
- Веб. Сайт проекта на Astro и TypeScript, учебные тренажёры для студентов-медиков.
- Тестирование и качество. Граничные случаи, проверки данных, тесты на синтетике.
- Инфраструктура. Kubernetes, Terraform, Helm. Это производственная система, поэтому к инфраструктурным задачам подключаются участники, которые уже освоились в проекте; доступ выдаётся отдельно.
Технологии
Python 3.10+, PyTorch, torchvision, OpenCV, Albumentations, Hydra, MLflow, DVC, FastAPI, Docker, pytest, GitHub Actions. Разметка – CVAT и Segment Anything 2. Сайт – Astro и TypeScript. Инфраструктура – Kubernetes, Terraform, Helm.
Знать всё это заранее не нужно: разберётесь по ходу.
Как это устроено
- Выберите задачу. Начните с задачи для новичков или предложите свою.
- Первый вклад примерно за 30 минут. Пошаговая инструкция – на странице «Участвовать».
- Ревью и обсуждение. Правку смотрит опытный участник, вы дорабатываете её по замечаниям.
- Задачи крупнее. Модуль, эксперимент, сервис – вместе с ответственным за направление.
- Своя тема. По желанию – курсовая, ВКР или статья по списку тем или по вашей идее.
Время: ориентир – около четырёх часов в неделю, удалённо, в удобное время. Для большинства первых задач GPU не нужен: тесты, конвертеры и метрики работают на обычном ноутбуке. Как получить вычислительные ресурсы для обучения моделей, обсуждается в задаче.
Кого мы ждём
- Студентов направлений «Программная инженерия», «Прикладная математика и информатика», «Информатика и вычислительная техника», «Науки о данных» и смежных – бакалавров со второго курса, магистрантов и аспирантов.
- Тех, кто интересуется компьютерным зрением, машинным обучением, MLOps, бэкендом, фронтендом, DevOps или тестированием.
Нужны базовый Python и git. Опыт машинного обучения желателен для задач по моделям, но не обязателен для остальных.
Что важно знать заранее
- Никаких данных пациентов. Работаем только с опубликованными датасетами, которые каждый скачивает сам по условиям их лицензий. Никогда не загружайте в репозиторий медицинские данные, даже обезличенные.
- Только для исследований. Модели проекта не предназначены для диагностики и лечения.
- Подпись DCO. Каждый коммит подписывается (
git commit -s): так вы подтверждаете, что вправе передать этот код проекту. - Отрицательный результат – тоже результат. Эксперимент, честно показавший, что идея не работает, ценен для проекта.
Преподавателям технических вузов
Проект подходит для курсовых и выпускных работ, командных проектов на семестр, учебной и производственной практики. Можно взять готовую тему из списка или предложить свою, в том числе совместную со студентами-медиками. Напишите на support@opensurgicalvision.org с темой «Кафедра: технический вуз» – обсудим формат.
Как присоединиться
Начните с задачи для новичков и представьтесь в обсуждениях проекта. Если удобнее письмом – напишите на support@opensurgicalvision.org с темой «Студент: разработка».
Учитесь в медицинском вузе? Вам – отдельная страница.