Details

Wissenschaftler am Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC) und am Zentrum für taktiles Internet mit Mensch-Maschine-Interaktion (CeTI) der TU Dresden haben mithilfe künstlicher Intelligenz erstmals eine Methode entwickelt, mit der Computer die Nutzung chirurgischer Instrumente vor deren Einsatz vorhersehen können. Sie verwendeten dafür ein neuronales Netz, das sie mit einem spezifischen Anforderungsprofil versahen und mit Videos von realen Operationen trainierten. Die Fähigkeit intelligenter Softwarelösungen, Ereignisse im Operationssaal zu erkennen und zu interpretieren, ist eine wichtige Voraussetzung, um dem OP-Team situationsbezogene Assistenzfunktionen – beispielsweise durch Roboter – bereitstellen zu können. Die Ergebnisse ihrer Untersuchung stellten die Wissenschaftler im Rahmen der International Conference on Medical Image Computing & Computer Assisted Intervention (MICCAI) vor.

Das Nationale Centrum für Tumorerkrankungen Dresden (NCT/UCC) ist eine gemeinsame Einrichtung des Deutschen Krebsforschungszentrums (DKFZ), des Universitätsklinikums Carl Gustav Carus Dresden, der Medizinischen Fakultät Carl Gustav Carus der TU Dresden und des Helmholtz-Zentrums Dresden-Rossendorf (HZDR).

Im Operationssaal der Zukunft werden computerbasierte Assistenzsysteme eine deutlich größere Rolle spielen als heute. Sie sollen Arbeitsabläufe einfacher und sicherer machen. „Möglich sind solche Unterstützungsfunktionen allerdings nur, wenn Computer in der Lage sind, wichtige Ereignisse im OP zu antizipieren und zur richtigen Zeit die richtigen Informationen bereit zu stellen“, erklärt Prof. Stefanie Speidel, Leiterin der Abteilung Translationale Chirurgische Onkologie am Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC). Ein System, das die Nutzung bestimmter chirurgischer Instrumente vorhersehen kann, ist beispielsweise eine wichtige Voraussetzung für den Einsatz autonomer Robotersysteme, die einfache Teilaufgaben im OP wie das Absaugen von Blut übernehmen könnten. Zudem könnte es früh vor Komplikationen warnen, wenn diese mit dem Einsatz eines bestimmten Instruments verknüpft sind oder die Effizienz bei der Vorbereitung von Instrumenten erhöhen. „Wir verfolgen allerdings nicht die Vision, den Chirurgen durch einen Roboter oder andere Assistenzen zu ersetzen. Die intelligenten Systeme sollen lediglich eine helfende Hand sein und den Arzt und das gesamte OP-Team entlasten“, sagt Prof. Jürgen Weitz, geschäftsführender Direktor am NCT/UCC und Direktor der Klinik für Viszeral-, Thorax- und Gefäßchirurgie des Universitätsklinikums Dresden.

Wissenschaftlern am NCT/UCC und am CeTI ist es nun erstmals gelungen, eine Methode zu entwickeln, mit der Computer lernen können, den Einsatz chirurgischer Instrumente situationsbezogen wenige Minuten vor deren tatsächlichem Gebrauch vorherzusagen. Sie nutzten hierfür ein künstliches neuronales Netz, das als Teilgebiet der Künstlichen Intelligenz die Fähigkeit des Menschen nachahmt, anhand von Beispielen zu lernen. Den intelligenten Algorithmus versahen sie mit folgender mathematisch formulierten Aufgabenstellung: Ausgehend von der kontinuierlichen Analyse der Video-Bilder einer Operation soll die Nutzung bestimmter Instrumente wenige Minuten vor deren Einsatz angezeigt werden. In den dazwischenliegenden Zeitintervallen, in denen das jeweilige Instrument nicht genutzt wird, soll das neuronale Netz lernen, nicht zu reagieren. Anschließend trainierten sie das neuronale Netz mit 60 Videos von Gallenblasenentfernungen, die standardmäßig über ein optisches Instrument (Laparoskop) im Bauchraum aufgenommen wurden. In diesen Videos war das Auftreten von fünf verschiedenen Instrumenten markiert.

Geringer Aufwand verspricht Praxistauglichkeit

An 20 weiteren Videos musste das Neuronale Netz dann sein Wissen ohne entsprechende Markierungen unter Beweis stellen. Die Wissenschaftler konnten hierbei zeigen, dass das System wichtige Lernfortschritte erzielt hatte und die Instrumentennutzung vielfach korrekt vorhersagen konnte. Auch im Vergleich mit anderen Herangehensweisen zeigte die Methode vielversprechende Resultate. Dies ist auch deshalb bemerkenswert, da der gewählte Ansatz im Vergleich zu anderen Herangehensweisen deutlich anwendungstauglicher ist und zugleich die Lösung komplexer Aufgaben ermöglicht. So setzen bereits bestehende Forschungsansätze zur Vorhersage von Ereignissen aus Video-Daten vielfach auf engmaschige manuelle Markierungen in den Trainings-Daten. Ein Aufwand, der bei langen Operations-Videos in der Praxis nicht leistbar wäre. Andere Methoden nehmen den Zeitpunkt des Ereignisses als gegeben an. Das Netz hat dann lediglich die Aufgabe, zwischen verschiedenen möglichen Ereignissen zu entscheiden. „Wir konnten hingegen zeigen, dass ein künstliches neuronales Netz mit spezifischen Anpassungen und einer geeignet formulierten mathematischen Aufgabenstellung in der Lage ist, mit geringem Markierungs-Aufwand sinnvolle Aussagen über die Art des zu wählenden Instruments und den zeitlichen Horizont der Anwendung zu treffen“, sagt Erstautor Dominik Rivoir von der Abteilung Translationale Chirurgische Onkologie am NCT/UCC.

Künstliche Neuronale Netze in der Medizin

In vielen Bereichen unseres Lebens zählen Leistungen künstlicher neuronaler Netze heute schon selbstverständlich zu unserem Alltag, beispielsweise bei Produktempfehlungen auf Online-Verkaufsplattformen oder automatischer Bilderkennung auf Social Media. Die Netze sind in der Lage, Informationen aus Bilddaten zu extrahieren. Durch das Training mit großen Bild- oder Videomengen lernen sie, Muster in Bildern zu erkennen, um eine vorgegebene Aufgabe zu lösen. Die Entscheidungsfindung innerhalb des mathematischen Systems ist hierbei jedoch häufig so komplex, dass sie sich vom Menschen kaum noch nachvollziehen lässt. Gerade bei medizinischen Anwendungen sollen die Entscheidungen des Computers aber möglichst transparent sein, um mögliche Fehler und potentielle Auslöser für die Entscheidungsfindung nachvollziehen zu können. Die Wissenschaftler wählten daher ein so genanntes Bayessches Netz, das es ermöglicht, für jede Teilentscheidung zu messen, mit welchem Grad an Unsicherheit das Netz die jeweilige Aussage trifft. Das ermöglicht es, Bildmerkmale zu identifizieren, die ein Netz mit so hoher Sicherheit erkennen kann, dass diese zum Beispiel als Ausgangspunkt für eine Assistenzfunktion genutzt werden können. In der vorliegenden Untersuchung interpretierte das Netz beispielsweise das Auftauchen eines Clips zum Abklemmen eines Blutgefäßes mit hoher Sicherheit als Merkmal, um den kurz darauf erfolgenden Einsatz einer Schere vorherzusagen.

Die Wissenschaftler wollen die Methode nun verfeinern und das Neuronale Netz mit weiteren Datensätzen füttern. Ein Fokus liegt auf Operations-Videos, in denen vermehrt stärkere Blutungen zu sehen sind. Anhand der Bilddaten soll das Netz noch besser lernen, wann Blutungen mittels eines speziellen Instruments abgesaugt werden müssen. Dies könnte künftig als Basis dienen, um den Einsatz eines robotergeführten Sauginstruments zeitlich zu steuern oder Komplikationen vorherzusagen.


Veröffentlichung:
Dominik Rivoir, Sebastian Bodenstedt, Isabel Funke, Felix von Bechtolsheim, Marius Distler, Jürgen Weitz, and Stefanie Speidel: Rethinking Anticipation Tasks: Uncertainty-aware Anticipation of Sparse Surgical Instrument Usage for Context-aware Assistance. In: Martel A.L. et al. (eds) Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. MICCAI 2020. Lecture Notes in Computer Science, vol 12263. Springer, Cham. DOI: https://doi.org/10.1007/978-3-030-59716-0_72

Zur Mitteilung steht ein Bild in druckfähiger Auflösung zur Verfügung.

Bildunterschrift:
Autonome Robotersysteme und weitere intelligente Assistenzsysteme sollen das OP-Team in Zukunft verstärkt unterstützen. © NCT/UCC/André Wirsig

Nutzungshinweis für Bildmaterial
Die Nutzung ist kostenlos. Das NCT/UCC Dresden gestattet die einmalige Verwendung in Zusammenhang mit der Berichterstattung über das Thema der Pressemitteilung. Bitte geben Sie als Bildnachweis an: NCT/UCC/André Wirsig. Eine Weitergabe des Bildmaterials an Dritte ist nur nach vorheriger Rücksprache mit der NCT/UCC-Pressestelle (Tel. 0351 458 5548, E-Mail: anna.kraft@nct-dresden.de) gestattet. Eine Nutzung zu kommerziellen Zwecken ist untersagt.

Ansprechpartner für die Presse:
Dr. Anna Kraft
Nationales Centrum für Tumorerkrankungen Dresden (NCT/UCC)
Presse- und Öffentlichkeitsarbeit
Tel.: +49 (0)351 458-5548
E-Mail: anna.kraft@nct-dresden.de
www.nct-dresden.de