Datengetriebene chirurgische Analytik und Robotik

Um eine hochwertige Patientenversorgung sicherzustellen und die Behandlungsergebnisse zu verbessern ist es entscheidend, medizinisches Personal effektiv auszubilden. Dies gilt insbesondere für anspruchsvolle chirurgische Techniken wie die laparoskopische oder robotergestützte Chirurgie sowie für kritische Szenarien wie die Reanimation von Patientinnen und Patienten. Aus diesem Grund untersuchen wir, wie das konventionelle medizinische Training mithilfe moderner Technologien und maschineller Lernalgorithmen verbessert werden kann. Insbesondere nutzen wir verschiedene Sensormodalitäten, um die Handlungen der sich in Ausbildung befindlichen Medizinerinnen und Mediziner zu erfassen, und setzen neuartige maschinelle Lernverfahren ein, um die gesammelten Sensordaten zu analysieren.
Unser Fokus liegt auf der Entwicklung intelligenter Algorithmen, die automatisch konstruktives Feedback für medizinisches Fachpersonal in der Ausbildung bereitstellen sowie deren Fähigkeitsniveau objektiv und automatisch bewerten. Ziel ist es, den Lernenden zu ermöglichen, ihre Leistung in Echtzeit anzupassen und ihre Fähigkeiten schneller zu verbessern.

Robotergestützte Chirurgie bietet viele Vorteile für Chirurginnen und Chirurgen, wie z.  B. Stereosicht, verbesserte Instrumentenkontrolle und eine ergonomischere Arbeitsumgebung. Auch für Patientinnen und Patienten ergeben sich zahlreiche potenzielle Vorteile, darunter höhere Präzision, weniger invasive Eingriffe und ein geringeres Risiko für Komplikationen. Allerdings sind mit dem Einsatz robotischer Systeme auch Herausforderungen verbunden, wenn es darum geht diese Vorteile sowohl für das medizinische Personal als auch für die Patientinnen und Patienten tatsächlich zu realisieren.
Unsere Forschung zur robotergestützten Chirurgie konzentriert sich auf Teleoperation, Tele-Testration und Mensch-Maschine-Interaktion. Insgesamt umfassen die Forschungsaktivitäten unserer Gruppe in diesem Bereich:

• Testaufbau zur Fernunterstützung bei laparoskopischen Eingriffen auf Basis mehrerer moderner, leichter Industrieroboterarme
• Zukunftsweisende Netzwerktechnologien zur Steuerung chirurgischer Roboter über große Distanzen und bei unterbrochenen Verbindungen
• Entwicklung taktiler Geräte bis zum Prototypenstadium, um feinfühliges Feedback in der laparoskopischen Chirurgie zu ermöglichen
• Neue Methoden für autonome Kameranavigation
• Integration innovativer Geräte und Sensoren (z.  B. Datenhandschuh, VR-Headsets, Kraftsensoren) in den chirurgischen Workflow

Eines der Hauptziele im Bereich der computerassistierten Chirurgie (Computer-assisted Surgery, CAS) ist die Bereitstellung von kontextbewusster Assistenz, d.  h. die automatische Bereitstellung nützlicher Informationen in Echtzeit für das chirurgische Team. Um solche Systeme zu entwickeln, ist ein Verständnis patientenspezifischer Merkmale, des aktuellen Zustands des chirurgischen Workflows sowie die Antizipation möglicher zukünftiger Entwicklungen erforderlich.
Vor diesem Hintergrund entwickeln wir Methoden zur Erkennung und Antizipation chirurgischer Workflows sowie zur Analyse präoperativer Daten. Die von unserer Gruppe entwickelten modernen Deep-Learning- und Computer-Vision-Methoden können in verschiedenen Bereichen eingesetzt werden, darunter Video- und Szenenverständnis, aktives Lernen, schwach- und halb-überwachtes Lernen, Graph-Neuronale Netze, föderiertes Lernen sowie die Verarbeitung multimodaler Daten.

Einige unserer aktuellen Projekte umfassen:

• Erkennung chirurgischer Phasen: Ausgehend von einem Videostream eines chirurgischen Eingriffs (laparoskopisch oder robotergestützt) zielen wir darauf ab, die aktuelle Phase des chirurgischen Workflows kontinuierlich zu erkennen und zu aktualisieren.
• Antizipation chirurgischer Ereignisse: Basierend auf dem Videostream eines chirurgischen Eingriffs (laparoskopisch oder robotergestützt) möchten wir das Auftreten chirurgischer Ereignisse vorhersagen, bevor sie eintreten. Dazu zählen etwa der Einsatz eines Instruments, der Beginn der nächsten Phase des Workflowsoder die verbleibende Dauer des Eingriffs. In Zukunft sollen auch komplexere Ereignisse wie Komplikationen antizipiert werden. Solche Antizipationssysteme sind eine Voraussetzung für viele Anwendungen chirurgischer Assistenzsysteme, beispielsweise (teil-)autonome robotische Assistenz, Instrumentenvorbereitung oder die OP-Planung.
• Präoperative Vorhersage von Komplikationen: Ausgehend von präoperativen Bilddaten (z.  B. CT, PET, MRT) und klinischen Daten möchten wir das Risiko bestimmter postoperativer Komplikationen vorhersagen. Anwendungsfälle sind die individualisierte Versorgung durch risikobasierte Patientinnen- und Patientenstratifizierung, die chirurgische Workflow-Planung sowie die Behandlungsplanung.