ChatGPT für medizinische Fragen nutzen? Warum das noch keine so gute Idee ist

Foto: AFP / Olivier Morin

Ist ChatGPT unser Hausarzt der Zukunft? Diese Frage wurde in den letzten Jahren immer häufiger gestellt. Doch ein Fall in den USA zeigt, dass ChatGPT in diesem Bereich nicht immer der beste Freund ist. Ein Mann entwickelte eine seltene Krankheit, nachdem ihm ein KI-Bot geraten hatte, Salz aus seiner Ernährung zu streichen.

Im Jahr 2023 bestand ein KI-gestützter medizinischer Chatbot von Google eine anspruchsvolle US-amerikanische Medizinprüfung. Google-Forscher ließen das Programm die Multiple-Choice-Prüfung des USMLE durchführen. Med-PaLM erreichte eine Punktzahl von 67,6 Prozent und bestand damit die Prüfung. „Med-PaLM zeigt ermutigende Ergebnisse, bleibt aber den Ärzten unterlegen“, schrieben die Autoren damals.

Annals of Internal Medicine , eine medizinische Fachzeitschrift in den USA, beschreibt einen Fall, in dem die Verwendung von ChatGPT als medizinisches Hilfsmittel zu einer seltenen Erkrankung führte. Der 60-jährige Mann hatte über die negativen Auswirkungen von Kochsalz (Natriumchlorid) gelesen und fragte den KI-Bot, wie er es aus seiner Ernährung streichen könne. ChatGPT schlug daraufhin vor, Chlorid durch Natriumbromid zu ersetzen, das noch im frühen 20. Jahrhundert als Beruhigungsmittel verwendet wurde.

Nachdem der Mann drei Monate lang Natriumbromid eingenommen hatte, ging er in die Notaufnahme. Dort behauptete er, sein Nachbar habe ihn vergiftet. Er litt unter Symptomen wie extremem Durst, Schlaflosigkeit und Akne. Später stellte sich heraus, dass das Natriumbromid die Ursache war. Infolgedessen entwickelte der Mann einen Bromismus, auch bekannt als Bromidvergiftung.

„Dieser Fall zeigt, wie der Einsatz künstlicher Intelligenz (KI) potenziell zur Entwicklung vermeidbarer negativer gesundheitlicher Folgen beitragen kann“, schreiben die Autoren der University of Washington. Obwohl sie keinen Zugriff auf den Chat des Mannes hatten, erhielten sie auf ihre Frage, durch welchen Chloridersatz man sie ersetzen könne, ebenfalls eine Antwort, in der Bromid erwähnt wurde. „Obwohl in der Antwort darauf hingewiesen wurde, dass der Kontext wichtig ist, enthielt sie weder einen spezifischen Gesundheitshinweis noch die Frage, warum wir das wissen wollten, wie wir es von einem Arzt erwarten würden.“

Sie argumentieren, es sei wichtig zu bedenken, dass ChatGPT und andere KI-Systeme „wissenschaftliche Ungenauigkeiten erzeugen, die Fähigkeit zur kritischen Diskussion von Ergebnissen vermissen lassen und letztlich die Verbreitung von Fehlinformationen fördern können“. Die Autoren sehen ChatGPT als „ein Werkzeug mit großem Potenzial, die Kluft zwischen Wissenschaftlern und der nicht-akademischen Bevölkerung zu überbrücken“, weisen aber auf das Risiko hin, dass Informationen aus dem Kontext gerissen werden. Es sei „höchst unwahrscheinlich“, dass ein medizinischer Experte in diesem Fall Natriumbromid erwähnt hätte. „Gesundheitsdienstleister sollten darauf achten, wo ihre Patienten auf Gesundheitsinformationen zugreifen.“

Das Chatten mit ChatGPT birgt weitere Risiken. Manche Menschen nutzen den Bot beispielsweise als persönlichen Therapeuten. Die KI reagiert mit großem Einfühlungsvermögen, daher ist es nicht verwunderlich, aber bei Menschen mit echten Problemen kann es zu einer Verschlechterung ihrer psychischen Gesundheit führen. Ein Mann verlor beispielsweise seinen Job, wurde depressiv und fragte ChatGPT nach den höchsten Brücken in New York. Ein normaler Therapeut würde sofort eingreifen; ChatGPT bietet eine übersichtliche Liste.

Selbst Fragen zum Thema Sex scheinen riskant zu sein . Britische Studien zeigen, dass viele junge Menschen ChatGPT als Form der Sexualerziehung nutzen. Experten zufolge ist es jedoch schwierig zu wissen, woher die Antworten stammen. Das bedeutet, dass der Bot eine falsche Antwort geben oder etwas völlig Unerwünschtes empfehlen kann.