Medizin-KI und Vertrauen
Wie viel Kontrolle darf man beim Einsatz medizinischer KI aufgeben, um Effizienz zu gewinnen? Das diskutieren eine Psychologin und ein Nephrologe in einer neuen Folge des Podcasts O-Ton Innere Medizin.
Ist es in einem Hochrisikosektor wie der Medizin vertretbar, einer KI zu vertrauen? Diese Frage diskutieren eine Psychologin und ein Nephrologe in einer neuen Folge des Podcasts O-Ton Innere Medizin. Sie räumen dabei auf mit der Idee, Mensch und Maschine erzielten zusammen zwingend bessere Ergebnisse.
Ein Blick in eine zukünftige Behandlungssituation: Ein medizinisches KI-System erstellt nach Prüfung verschiedener, komplexer Symptome einer Person eine Diagnose. Vermutlich ist sie richtig. Aber wie das System zu diesem Ergebnis kam, kann niemand erklären – auch nicht die Ärztin, die nun gegenüber der Patientin oder dem Patienten geradestehen muss. Sie hat zwei Möglichkeiten: Sie kann effizient arbeiten, indem sie das Ergebnis übernimmt und zum nächsten Patienten weitergeht. Oder sie kann versuchen, die Empfehlung zu prüfen – jedenfalls soweit ein System, das als Blackbox funktioniert, dies zulässt. Dann allerdings arbeitet die Ärztin kaum schneller als ohne KI.
Dieses Spannungsfeld diskutieren die Psychologin Nadine Schlicker und der Internist und Nephrologe Prof. Dr. Ivica Grgig in einer neuen Folge des Podcasts „O-Ton Innere Medizin“. Beide forschen am Institut für Künstliche Intelligenz in der Medizin der Philipps-Universität Marburg. Und beide kommen zum Schluss: Wer mit KI wirklich Effizienzgewinne erzielen will, muss ein Stück Kontrolle abgeben und dem System vertrauen.
Lange Ausbildung als Garant und Vertrauensanker
Aber unter welchen Bedingungen ist das in einem Hochrisikobereich wie der Medizin vertretbar? Bei medizinischem Personal gibt es Sicherheitsmechanismen, die ein vertrauenswürdiges, ethisches Handeln gewährleisten sollen. Etwa die lange Ausbildung, Fortbildungspflichten, die Schweigepflicht oder ärztliches Gelöbnis. Bei einem KI-System hingegen lassen sich zentrale Fragen nur schwer beantworten: Kann es, was es soll? Wie arbeitet es? Welche Absichten hat der Hersteller?
Wenn Kontrolle durch Menschen nicht ausreichend möglich ist, muss Vertrauen anders gestützt werden – durch die Menschen hinter den Systemen. Prof. Grgic schlägt eine professionelle Selbstverpflichtung für diejenigen vor, die medizinische Algorithmen entwickeln: eine Art hippokratischen Eid für KI-Entwickler. „Der Algorithmus kann kein echtes Verantwortungsbewusstsein haben“, sagt er – aber die Person, die ihn programmiert hat, schon. Schlicker unterstützt die Idee: Die Ziele der Entwickler müssten mit dem Patientenwohl übereinstimmen. Gerade bei kommerziellen Anbietern, bei denen auch finanzielle und politische Ziele eine Rolle spielen können, sei das keineswegs selbstverständlich.
Manchmal kommt es zur„Verschlimmbesserung“
Dass es automatisch zu besseren Ergebnissen führt, wenn Mensch und KI zusammen Entscheidungen treffen, sei eine verbreitete Illusion, erklärt Schlicker. Sie beschreibt einen „Verschlimmbesserungseffekt“: Die gemeinsame Leistung sei häufig nicht besser, sondern liege unter dem Niveau des besseren Partners.
Ein anderer befürchteter Effekt in der Arbeit mit KI besteht darin, dass Ärztinnen und Ärzte bestimmte Fähigkeiten verlieren könnten, wenn sie Tätigkeiten immer wieder an ein KI-System delegieren. Je länger sie sich auf KI verlassen, desto abhängiger werden sie, und desto weniger können sie die Ergebnisse kontrollieren, selbst wenn sie wollten.
Risiko: Bestimmte Fähigkeiten werden nicht mehr erlernt
Als Beispiel für ein solches potenzielles „Deskilling-Risiko“ verweist Prof. Grgic auf eine multizentrische Studie, die im Herbst 2025 in Lancet erschien: Ärztinnen und Ärzte setzten bei Koloskopien ein KI-System zur Adenom-Erkennung ein. Als es abgeschaltet wurde, sank ihre diagnostische Detektionsrate – die Fähigkeit, Auffälligkeiten mit bloßem Auge zu erkennen, hatte nachgelassen.
Durch den Einsatz von KI in der Lehre könne es auch passieren, dass Medizinstudierende bestimmte Fähigkeiten überhaupt nicht mehr erlernen. Man spreche von „Neverskilling“, erklärt Schlicker. Umgekehrt ermöglichten die Systeme es aber auch, dass Personen Tätigkeiten durchführen, zu denen sie sonst niemals fähig gewesen wären – sogenanntes „Upskilling“. Prof. Grgics Fazit zum Schluss: „Nutzen SieKI-Systeme mutig, aber nie unreflektiert.“
Isabel Aulehla
Mehr zum O-Ton Innere Medizin
O-Ton Innere Medizin ist der Podcast für Internist:innen. So vielfältig wie das Fach sind auch die Inhalte. Die Episoden erscheinen alle 14 Tage donnerstags auf den gängigen Podcast-Plattformen. Kontakt zur Redaktion: o-ton-innere-medizin@medtrix.group
Jetzt abonnieren
Abonnieren Sie O-Ton Innere Medizin und verpassen Sie keine Folge!