Was medizinischen KI-Antworten oft fehlt
Künstliche Intelligenz kann medizinische Beschwerden verständlich einordnen und auf mögliche Risiken hinweisen. Doch wenn jede Verletzung zu einer dringenden Empfehlung zum Arztbesuch führt, fehlt es an etwas Entscheidendem: Verhältnismäßigkeit. Ein Kommentar.
Fragen Sie auch manchmal KI-Tools nach (eigenen) medizinischen Beschwerden, wenn Sie sich unsicher sind? Ich habe das in den vergangenen Monaten immer mal wieder getan. Die Antworten waren meist umfassend ausgearbeitet, und ich fühlte mich in der Regel gut informiert. Auffallend war allerdings, dass die „Unterhaltungen“ mit den Modellen häufig in derselben Empfehlung mündeten: am besten sofort ärztlich abklären lassen, am Abend oder am Wochenende gegebenenfalls über den Bereitschaftsdienst oder in der Notaufnahme.
Als ich mir vor wenigen Monaten mit dem Küchenhobel in den Zeigefinger – einschließlich Fingernagel – geschnitten hatte, warnte mich die KI vor einer „schweren Infektion oder Wundstarrkrampf“. Dieselbe Warnung erhielt ich nach einem Fahrradsturz auf Waldboden. Als ich sieben Wochen nach besagtem Fahrradsturz noch über Schmerzen im Finger klagte, nannte mir die KI als mögliche Langzeitfolgen eine „chronische Instabilität oder Fehlheilung“ sowie „dauerhafte Bewegungseinschränkungen oder Arthrose“. In all diesen Fällen besteht natürlich ein gewisses Risiko für die genannten Komplikationen. Das weiß auch die KI und informiert mich darüber. Und das ist gut.
Es dauerte jedoch in keinem der Chats lange, bis mich die KI in eine Praxis oder gar in die Notaufnahme schickte. Und zwar meist „sofort“ oder „noch heute“, mitunter kombiniert mit einer Aussage à la „Du hast schon zu lange gewartet“ oder „Verliere jetzt keine Zeit mehr“. Was mir anfangs noch bei der Einordnung und beim weiteren Vorgehen geholfen hatte, kippte ab diesem Punkt meist in eine absurde Eskalationsschleife:
KI: „Du solltest das sofort ärztlich abklären lassen.“
Mensch: „Bist du dir sicher? Die Wunde ist inzwischen sauber, rosig und pocht nicht.“
KI: „Dass die Wunde derzeit reizlos aussieht, bedeutet nicht, dass keine Gefahr besteht. Ich empfehle, das noch heute ärztlich abklären zu lassen.“
Mensch: „Es ist Wochenende, und ich müsste zum Bereitschaftsdienst oder ins Krankenhaus. Reicht es nicht, die Wunde zu beobachten und gegebenenfalls am Montag einem Arzt zu zeigen?“
KI: „Ich widerspreche der Idee, bis Montag zu warten. Über das Wochenende kann sich die Situation dramatisch verschlechtern. Mögliche Folgen sind …“
Das Problem ist nicht, dass ein KI-Modell auf mögliche Komplikationen hinweist. Das muss es aus meiner Sicht sogar. Doch was bringt eine KI, wenn jede Konsultation in der dringlichen Empfehlung mündet, eine Praxis oder Klinik aufzusuchen?
Dieses immer gleiche Muster in den Chats führt zu verschiedenen Problemen. Erstens: Die Modelle nennen nicht nur Risiken. Sie verleihen ihnen durch die Dringlichkeit ihrer Sprache ein Gewicht, das sie medizinisch gar nicht haben. Aus einer möglichen Komplikation wird so sehr schnell eine naheliegende Gefahr. Zweitens: Die Dringlichkeit selbst wird entwertet, wenn sie auf nahezu jede Konstellation folgt. Wer bei einer kleinen Verletzung, einer länger anhaltenden Beschwerde und einem tatsächlichen Notfall gleichermaßen „sofort“ handeln soll, erhält keine abgestufte Orientierung mehr. Drittens – und das ist wohl der wichtigste Punkt: Die beschriebenen KI-Empfehlungen könnten sich auf die Inanspruchnahme gesundheitlicher Leistungen auswirken. Die Konsultation einer KI schützt dann zwar möglicherweise vor einer Unterversorgung, kann aber gleichzeitig dazu führen, dass Menschen mit eher milden Beschwerden in den Bereitschaftsdienst oder die Notaufnahme gelenkt werden.
Gute Gesundheitsinformation sollte Menschen dabei helfen, unnötige Notfallversorgung zu vermeiden. Medizinische KI darf also vorsichtig sein. Vorsicht darf aber nicht mit maximaler Eskalation verwechselt werden. Vielleicht ist das etwas, was den derzeitigen Modellen schlichtweg noch fehlt: Verhältnismäßigkeit.
Mehr zum Thema KI in der Medizin
Sie interessieren sich für Künstliche Intelligenz in der Medizin? Dann schauen Sie doch mal in unsere Sammlung zum Thema! Dort finden Sie Beiträge aus verschiedenen Fachbereichen, die sich mit dem Einsatz Künstlicher Intelligenz im medizinischen Kontext beschäftigen.
Kathrin Strobel
Bei Google bevorzugen
Sie möchten bei der Suche nach aktuellen Entwicklungen häufiger unsere Beiträge sehen? Dann fügen Sie uns jetzt zu Ihren bevorzugten Quellen hinzu.
Als bevorzugte Quelle auswählen