KI-Diagnosesoftware Computer sagt nein: Darf KI in der Medizin das letzte Wort haben?

Gesundheitspolitik Autor: Anouschka Wasner

Sowohl der Einsatz als auch der Verzicht auf KI-gestützte Diagnosesoftware kann unter gewissen Umständen strafrechtliche Risiken bergen. Sowohl der Einsatz als auch der Verzicht auf KI-gestützte Diagnosesoftware kann unter gewissen Umständen strafrechtliche Risiken bergen. © Production Perig – stock.adobe.com
Anzeige

Diagnosesoftware, die auf künstlicher Intelligenz (KI) basiert, ist für viele noch eine große Unbekannte. Warum ihr Einsatz nur unter bestimmten Umständen erfolgen darf, aber unter anderen nicht versäumt werden darf.

Bei einem Patienten soll ein Naevus auf Malignität geprüft werden. Der Arzt setzt dafür eine KI-basierte Software ein, die Studienergebnissen zufolge Hautkrebs statistisch zuverlässiger erkennt als ein Mensch. Die Software kommt zu dem Ergebnis, dass kein Krebs vorliegt. Monate später hat der Krebs gestreut, es wird klar, dass der Patient zu Zeitpunkt der Diagnosestellung bereits erkrankt war. Der Patient stirbt. In dem angenommenen Fall wurde davon ausgegangen: Hätte der Arzt die Bilder selbst ausgewertet, hätte er den Krebs erkannt. 

Für den Arzt eine tragische Situation. Und für Juristen eine ungeklärte Fragestellung. Der Arzt hat sich blind auf seine Software verlassen. Gibt es Umstände, unter denen er das darf, ohne objektiv sorgfaltswidrig zu handeln? 

Die Hamburger Rechtsanwältin Dr. Elisa Fontaine sieht hier in der Unterlassung den Anknüpfungspunkt. Der strafrechtliche Vorwurf wäre die fahrlässige Tötung durch Unterlassen, erklärt sie in der juristischen Fachzeitschrift ­„medstra“ (4/2021). Fahrlässig handelt ein Arzt, der die Sorgfalt außer Acht lässt, zu der er den Umständen und seinen persönlichen Verhältnissen nach verpflichtet ist. Orientierung gibt der Facharztstandard: Wie hätte sich ein umsichtiger und erfahrener Facharzt derselben Fachrichtung mit dem gleichen Wissen, das der Betroffene zum Zeitpunkt hatte, verhalten? 

Damit eine KI-basierte Software wie im angenommenen Fall zum Einsatz kommen kann, gilt als Minimum, dass die Software als Medizinprodukt CE-zertifiziert sein muss. Bestenfalls kann sich die Software darüber hinaus auf eine Empfehlung in aktuellen Leitlinien berufen. Und allerbestenfalls hat das Produkt bereits seine Überlegenheit zu ärztlichen Einschätzungen bewiesen. 

Diese Bedingungen waren im angenommenen Fall erfüllt. Die Frage nach dem „Wie“ eine Software eingesetzt wird, ist damit aber nicht beantwortet. „Was fehlt, ist ein Standard für den Grad des Einflusses auf ärztliche Entscheidungen, den künstliche Intelligenz haben darf“, erläutert Dr. Fontaine.

Ärzte dürfen keine Weisungen von Nicht-Ärzten annehmen

Der Rechtsanwältin zufolge können die Anforderungen an die Art und Weise des Einsatzes einer KI-basierten Diagnosesoftware über den Grundsatz der persönlichen Leistungserbringung und über den Vertrauensgrundsatz bestimmt werden: Als Arzt tätig sein darf nur, wer eine ärztliche Approbation hat. Und Ärzte dürfen keine Weisungen von Nicht-Ärzten entgegennehmen. 

Diagnostische und therapeutische Entscheidungen dürfen also genauso wenig an eigenständig entscheidende Maschinen delegiert werden wie an Nicht-Ärzte. Ärzte dürfen sich nur unterstützen lassen vom digitalen „Helfer“. Das gilt erst recht, wenn der Diagnosesoftware ein besonders hohes Risikopotenzial innewohnt. 

Auch der Vertrauensgrundsatz, demzufolge man sich als Arzt auf die sorgfältige Arbeit eines anderen Mitglieds des Teams verlassen kann, führt hier zu keinem anderen Ergebnis, so Fontaine. Erstens können mit der Maschine keine Informationen ausgetauscht werden – eine der Voraussetzungen für diesen Grundsatz – und zweitens unterliegt dieser Grundsatz Einschränkungen, wenn eine Untersuchung besonders fehlerträchtig ist und die Ergebnisse für die Patienten mit hohem Risiko verbunden sind. 

Heißt: Selbst wenn der Einsatz einer KI-basierten Diagnosesoftware dem fachlichen Standard entspricht, handelt der Arzt nach Fontaine sorgfaltswidrig, wenn er die Diagnose der Software unbesehen übernimmt, obwohl ihm eine Überprüfung möglich ist. 

Hat sich dagegen noch kein Standard entwickelt, muss der Arzt erst recht erhöhte Vorsicht walten lassen. Zudem muss dem Patienten zuvor unmissverständlich deutlich gemacht werden, dass es sich um eine neue Methode handelt, die Risiken bergen kann.

Was aber, wenn ein Krankenhaus oder die Praxis über eine fähige Diagnosesoftware verfügt, aber der behandelnde Arzt die Software nicht einsetzt? In einer älteren Entscheidung ist der Bundesgerichtshof zu dem Schluss gekommen, dass der Arzt, wenn er über eine modernere und bessere Ausstattung verfügt, verpflichtet ist, diese Geräte einzusetzen, wenn dadurch die Heilungschancen verbessert und unerwünschte Nebenwirkungen erkannt und abgewendet werden können. 

Bei der Beurteilung einer entsprechenden Situation wird natürlich auch den Umständen Rechnung getragen. Also zum Beispiel der Frage, ob der Patient in einer Klinik, bei einem Spezialisten oder beim Hausarzt in Behandlung ist. 

Interessant wird an dieser Stelle allerdings, dass ein Übernahmeverschulden auch dann vorliegen kann, wenn sich ein Arzt der beschränkten eigenen Erfahrung mit neuen technischen Diagnosemitteln bewusst ist, er aber nicht an einen Spezialisten überweist. „Mit Blick auf die jetzt schon beeindruckenden Ergebnisse, die von Diagnosesoftware erzielt werden können, erscheint dann eine Überweisung an einen Spezialisten oder eine apparativ besser ausgestattete Klinik zumutbar“, so die Rechtsanwältin. 

Strafrechtliche Risiken bei Einsatz und bei Verzicht

Dr. Fontaines Fazit: Strafrechtliche Risiken drohen beim Einsatz KI-basierter Diagnosesoftware insbesondere 

  • wenn ein Arzt sich blind auf die von der Software generierten Diagnosevorschläge verlässt,
  • wenn er die Diagnosesoftware fehlerhaft bedient oder
  • wenn er eine Diagnosesoftware benutzt, deren Anwendung ihn überfordert. 

Strafrechtliche Risiken können aber auch beim Verzicht auf KI-basierte Diagnosesoftware drohen, wenn

  • die Software zum Standard gehört oder wenn sie verfügbar ist und bessere Heilungschancen verspricht, 
  • ein Arzt sich dem Fortschritt verschließt, also etwa seiner Fortbildungspflicht nicht nachkommt, oder
  • wenn er unvollständig aufklärt.

Aufklärung in Zeiten von KI

Im Zusammenhang mit dem Einsatz oder Nicht-Einsatz einer Diagnosesoftware werden in Zukunft auch Fragen der Aufklärung besondere Bedeutung haben. So besteht einerseits eine Aufklärungspflicht über Behandlungsalternativen, wenn sich ein Patient nach ihnen erkundigt. Darüber hinaus betonte der Bundesgerichtshof in einem Urteil (Robodoc-Urteil 2006), dass die Aufklärung über die alternativen Möglichkeiten auch neue unbekannte Risiken umfassen muss. Wie weitgehend die Anforderungen sein werden, ist bislang noch offen. Abzuwarten bleibt insbesondere, ob in Zukunft auch über die einer KI-basierten Diagnosesoftware innewohnende Gefahr aufgeklärt werden muss, sich selbstständig Fehler „anzulernen“, die den Patienten gefährden können, so Rechtsanwältin Dr. Elisa Fontaine.

Medical-Tribune-Bericht

Anzeige