Für Informatikstudierende: Bildverarbeitung, die Chirurgen hilft

Kurz gesagt

Das Projekt baut offene Bildverarbeitungsmodelle für die Chirurgie: Sie erkennen im Video Organe, Instrumente und die Phasen einer Operation. Der Code ist offen, die Daten stammen aus veröffentlichten chirurgischen Datensätzen, und Chirurgen und Medizinstudierende arbeiten Seite an Seite mit den Ingenieuren.

Für Sie ist das die Chance, ein echtes Problem mit echten Daten zu lösen, Code zu schreiben, den erfahrene Ingenieure prüfen, und ein offenes Portfolio aufzubauen, das Sie jedem Arbeitgeber oder Betreuer zeigen können.

Was Sie davon haben

Ein echtes Problem statt einer Übungsaufgabe

Nicht noch einmal Titanic oder MNIST, sondern Aufnahmen echter Operationen: Rauch, Spiegelungen, Blut, von Instrumenten verdeckte Organe, lange Videos und wenige annotierte Bilder. Hier sieht man, warum ein guter Validierungswert nichts garantiert und wie sich Forschung von einem Tutorial unterscheidet.

Bildverarbeitung in voller Größe

Segmentierung von Organen und Instrumenten, Erkennung chirurgischer Phasen im Video, Erkennung und Verfolgung von Instrumenten, Voranntotation mit Segment Anything 2. Ablationen, wiederholte Läufe, Konfidenzintervalle und faire Vergleiche nach den Regeln wissenschaftlicher Publikationen.

Entwicklung auf Industrieniveau

Tests und CI bei jedem Pull Request, Code-Review, Datenversionen in DVC, Konfiguration in Hydra, Experimente in MLflow, FastAPI-Dienste in Docker. Die Infrastruktur des Projekts ist als Code definiert: Kubernetes, Terraform, Helm. Es ist kein Übungsgelände, sondern ein System, das Annotierende nutzen.

Ein offenes Portfolio

Ihre Commits und Pull Requests liegen in einem öffentlichen Repository unter der Apache-2.0-Lizenz. Sie können sie in Ihrem Lebenslauf verlinken: Ein Arbeitgeber sieht echten Code, Diskussion und Review statt einer Zeile „kennt PyTorch“. Ein Profil auf der Teamseite wird mit Ihrer Einwilligung veröffentlicht.

Review durch erfahrene Ingenieure

Jede Änderung prüft eine andere mitwirkende Person. Die Rückmeldungen sind konkret und respektvoll: warum dieser Test besser ist, wo Daten durchsickern, wie sich ein Experiment reproduzierbar machen lässt. Wir bemühen uns, auf den ersten Pull Request von Neuen innerhalb von 48 Stunden zu antworten.

Eine medizinische Domäne

Sie lernen, wie sich medizinische Software von gewöhnlicher Software unterscheidet: De-Identifizierung, patientenbezogene statt bildbezogene Aufteilungen, Datensatzlizenzen, Verantwortung für die Fehler eines Modells. Sie besprechen Probleme mit Chirurgen und Medizinstudierenden, eine seltene interdisziplinäre Erfahrung, die KI-Unternehmen in der Medizin und Forschungsgruppen schätzen.

Abschlussarbeiten, Seminararbeiten und Praktika

Wir haben mehr als 50 Forschungsthemen gesammelt, mehr als zwanzig davon technisch: vom Vergleich von Segmentierungsarchitekturen über die De-Identifizierung von Videos bis zur Infrastruktur für medizinische KI. Nur Ihre Universität kann die Arbeit im Projekt als Praktikum anrechnen; auf Anfrage bestätigt das Projekt Umfang und Inhalt Ihrer Arbeit.

Publikationen und Konferenzen

Sie können Ergebnisse auf studentischen Konferenzen, in Nachwuchssitzungen und auf Workshops zur medizinischen Bildverarbeitung vorstellen. Die Autorenschaft bei Projektpublikationen richtet sich nach der Beitragsvereinbarung.

Woran Sie arbeiten können

• Daten. Lader und Konverter für offene Datensätze, leckfreie patientenbezogene Aufteilungen, Datenkarten.
• Modelle. Baseline-Modelle für Segmentierung und Phasenerkennung, Ablationen, Beschleunigung bis zur Echtzeit.
• Evaluation. Metriken, Konfidenzintervalle, ein offener Benchmark und eine Rangliste.
• Annotation. Einbindung von Voranntotationsmodellen in CVAT, aktives Lernen, automatische Qualitätsprüfungen der Annotation.
• De-Identifizierung. Texterkennung auf Bildschirmen medizinischer Geräte, Erkennung von Gesichtern und Bildern außerhalb des Körpers.
• Dienste und MLOps. FastAPI, Docker, MLflow, CI.
• Web. Die Projektwebsite in Astro und TypeScript, Lernwerkzeuge für Medizinstudierende.
• Tests und Qualität. Grenzfälle, Datenprüfungen, Tests mit synthetischen Daten.
• Infrastruktur. Kubernetes, Terraform, Helm. Das ist ein Produktivsystem, daher ist Infrastrukturarbeit für Mitwirkende gedacht, die sich im Projekt eingelebt haben; der Zugang wird gesondert vergeben.

Technologien

Python 3.10+, PyTorch, torchvision, OpenCV, Albumentations, Hydra, MLflow, DVC, FastAPI, Docker, pytest, GitHub Actions. Annotation: CVAT und Segment Anything 2. Web: Astro und TypeScript. Infrastruktur: Kubernetes, Terraform, Helm.

Sie müssen das nicht alles vorher können; Sie lernen es unterwegs.

So funktioniert es

1. Wählen Sie eine Aufgabe. Beginnen Sie mit einem guten ersten Issue oder schlagen Sie ein eigenes vor.
2. Ein erster Beitrag in etwa 30 Minuten. Eine Schritt-für-Schritt-Anleitung finden Sie auf der Seite Mitwirken.
3. Review und Diskussion. Eine erfahrene mitwirkende Person prüft Ihre Änderung, und Sie arbeiten sie nach.
4. Größere Aufgaben. Ein Modul, ein Experiment, ein Dienst – gemeinsam mit der für den Bereich verantwortlichen Person.
5. Ihr eigenes Thema. Optional eine Seminararbeit, eine Abschlussarbeit oder ein Artikel aus der Themenliste oder nach Ihrer eigenen Idee.

Zeit: etwa vier Stunden pro Woche, remote, wann es Ihnen passt. Die meisten ersten Aufgaben brauchen keine GPU: Tests, Konverter und Metriken laufen auf einem gewöhnlichen Laptop. Wie Sie Rechenleistung für das Training von Modellen bekommen, klären Sie im Issue.

Wen wir suchen

• Studierende der Softwaretechnik, der angewandten Mathematik und Informatik, der Datenwissenschaft und verwandter Studiengänge: Bachelor ab dem zweiten Studienjahr, Master und Promotion.
• Menschen, die sich für Bildverarbeitung, maschinelles Lernen, MLOps, Back End, Front End, DevOps oder Tests interessieren.

Sie brauchen grundlegende Kenntnisse in Python und git. Erfahrung mit maschinellem Lernen hilft bei der Arbeit an Modellen, ist für alles andere aber nicht erforderlich.

Was Sie vorab wissen sollten

• Keine Patientendaten. Wir arbeiten nur mit veröffentlichten Datensätzen, die jede Person nach den Bedingungen der jeweiligen Lizenz selbst herunterlädt. Laden Sie niemals medizinische Daten ins Repository, auch keine de-identifizierten.
• Nur für Forschungszwecke. Die Modelle des Projekts sind nicht für Diagnose oder Behandlung gedacht.
• DCO-Signatur. Jeder Commit wird signiert (git commit -s), um zu bestätigen, dass Sie berechtigt sind, den Code beizusteuern.
• Ein negatives Ergebnis ist ein Ergebnis. Ein Experiment, das ehrlich zeigt, dass eine Idee nicht funktioniert, ist für das Projekt wertvoll.

Für Lehrende an Technischen Hochschulen

Das Projekt eignet sich für Seminar- und Abschlussarbeiten, semesterlange Teamprojekte sowie Studien- oder Industriepraktika. Nehmen Sie ein fertiges Thema aus der Liste oder schlagen Sie ein eigenes vor, auch gemeinsame Themen mit Medizinstudierenden. Schreiben Sie an support@opensurgicalvision.org mit dem Betreff „Department: technical university“ (auf Englisch, damit das Team die Post sortieren kann), und wir besprechen das Format.

So machen Sie mit

Beginnen Sie mit einem guten ersten Issue und stellen Sie sich in den Projektdiskussionen vor. Wenn Sie lieber schreiben, mailen Sie an support@opensurgicalvision.org mit dem Betreff „Student: engineering“.

Sie studieren Medizin? Sie haben eine eigene Seite.