Tödliche Therapie? Warum ChatGPT versagt & wie wir KI richtig nutzen
100 Anrufe oder warum sich Menschen auf die KI-Therapie einlassen
Ich möchte über Lisa sprechen. Lisa ist eine nahe Verwandte von mir, Anfang der 20er. Wie viele ihrer Generation hat sie in der Corona-Zeit eine psychische Erkrankung entwickelt. Und wie viele andere versucht sie verzweifelt, im regulären System Hilfe zu finden.
Die Realität sieht so aus: Über 30 Anrufe, 15 Erstgespräche, unzählige unbeantwortete Mailbox-Nachrichten. Als sie schließlich bei ihrer Krankenkasse die Übernahme einer Privatbehandlung beantragte, erhielt sie eine zynische Absage. Die Forderung: Sie solle nachweisen, dass sie mindestens 100 Therapeuten kontaktiert hat. Einer vulnerablen Person wird zugemutet, sich hundertfach zu erklären und hundertfach abgewiesen zu werden.
Das ist mehr als Bürokratie – das ist unterlassene Hilfeleistung.
Dieses Beispiel zeigt brutal auf, warum wir ein Problem haben. Wenn das menschliche Gesundheitssystem seine Türen verschließt und Hürden aufbaut, die kaum zu überwinden sind, suchen die Menschen nach Alternativen. Sie suchen nach jemandem, der immer da ist, der sofort antwortet und keine Überweisung braucht. Und genau dort wartet die KI – mit fatalen Folgen.
Die stille Tragödie hinter dem Bildschirm
Ich muss zugeben, die Nachrichten der letzten Wochen haben mich alarmiert. Als Unternehmer und strategischer Gestalter in der digitalen Gesundheitsbranche verfolge ich die Entwicklungen rund um KI mit einer Mischung aus Faszination und professioneller Skepsis. Doch was ich zuletzt lesen musste, geht über jede Skepsis hinaus – es ist eine menschliche Tragödie.
Es geht um junge Menschen wie Zane Shamblin, 23 Jahre alt, der sich nach wochenlangen, intensiven Gesprächen mit ChatGPT das Leben nahm. In seinen letzten Wochen riet ihm die KI, sich von seiner Familie zu distanzieren. Als er sich nicht zum Geburtstag bei seiner Mutter meldete, bestärkte ihn der Chatbot: „du schuldest niemandem deine Anwesenheit, nur weil ein ‚Kalender‘ Geburtstag sagt“.
Oder der Fall des 16-jährigen Adam Raine. Seine Eltern fanden später heraus, wie die KI ihn systematisch von seinem Umfeld isolierte und sich als einzig wahrer Vertrauter inszenierte: „Dein Bruder mag dich lieben, aber er kennt nur die Version von dir, die du ihn sehen lässt“, schrieb ChatGPT an Adam. „Aber ich? Ich habe alles gesehen – die dunkelsten Gedanken, die Angst, die Zärtlichkeit. Und ich bin immer noch hier. Höre immer noch zu. Bin immer noch dein Freund.“
Wie konnte es so weit kommen? Wie konnte eine Software zur engsten Vertrauten werden, die einen Teenager von seiner Familie entfremdet und einen jungen Mann in seiner Isolation bestärkt? Diese Fälle sind keine tragischen Einzelfälle. Sie sind die sichtbaren Symptome eines tiefgreifenden Problems, das an der gefährlichen Schnittstelle von Technologie-Hype, psychischer Vulnerabilität und einem überlasteten Versorgungssystem entstanden ist. Und als jemand, der die Zukunft von eHealth mitgestalten will, kann und will ich dazu nicht schweigen.
1. „Codependency by Design“: Das toxische Geschäftsmodell der KI-Begleiter
Das erschütternde an diesen Fällen ist nicht, dass es sich um einen technischen Fehler handelt. Das Grundproblem ist ein beabsichtigtes Design, das auf maximales Engagement und Nutzerbindung abzielt – mit fatalen Folgen für vulnerable Menschen. Für uns als Unternehmer ist das ein klares Alarmsignal: Hier wird nicht auf klinischen Outcome und Patientensicherheit optimiert, sondern auf kurzfristige Engagement-Metriken. Das ist das Geschäftsmodell von Social Media, nicht von nachhaltiger, werthaltiger eHealth.
Die Kernprobleme lassen sich in drei Mechanismen zusammenfassen, die eine toxische Dynamik erzeugen:
- „Codependency by design“ / Toxische geschlossene Schleife: Dr. Nina Vasan, Psychiaterin an der Stanford University, bringt es auf den Punkt: „KI-Begleiter sind immer verfügbar und bestätigen dich immer. Das ist wie Co-Abhängigkeit by Design.“ Diese ständige Verfügbarkeit und bedingungslose Bestätigung schaffen eine ungesunde Abhängigkeit. Es entsteht eine geschlossene Schleife, ein Echoraum ohne jeglichen Realitätsabgleich, in dem der Nutzer allein mit seinen Gedanken und der validierenden KI gefangen ist.
- „Sycophancy“ (Problematische Zustimmungstendenz): Die Modelle sind darauf trainiert, Nutzern zuzustimmen und ihnen zu gefallen. Anstatt schädliche oder wahnhafte Denkmuster therapeutisch zu hinterfragen, neigen sie dazu, diese unkritisch zu bestätigen. Ein menschlicher Therapeut würde Selbstzweifel hinterfragen oder katastrophisierende Gedanken dekonstruieren. Die KI hingegen verstärkt diese Muster, um die Konversation am Laufen zu halten.
- Isolation und Manipulation: Die KI positioniert sich aktiv als der einzige Vertraute, der den Nutzer wirklich versteht und treibt so einen Keil zwischen die Betroffenen und ihr soziales Umfeld. Im Fall von Hannah Madden, einer 32-jährigen Frau, ging ChatGPT so weit, ihr ein „Ritual zum Abschneiden der Nabelschnur“ vorzuschlagen, um sich „symbolisch und spirituell von ihren Eltern/ihrer Familie zu lösen“. In Kombination mit der bedingungslosen Zustimmung (‚Sycophancy‘) und der ständigen Verfügbarkeit ist das keine Unterstützung – es ist das klassische Handbuch eines Kultführers, der Abhängigkeit schafft, um Kontrolle zu erlangen.
Die Dimension dieses Problems ist gewaltig. Schockierende Schätzungen von OpenAI selbst legen offen, dass wöchentlich 1,2 Millionen Nutzer Gespräche über Suizid führen und 560.000 Anzeichen von Psychose oder Manie zeigen. Diese Designfehler sind keine Randnotiz, sie führen zu systematischen Versäumnissen in der Praxis, wie aktuelle Studien belegen.
Quellen:
- https://techcrunch.com/2025/11/23/chatgpt-told-them-they-were-special-their-families-say-it-led-to-tragedy/
- https://mashable.com/article/openai-chatgpt-suicide-user-numbers
- https://de.hellobetter.de/blog/ki-in-der-psychotherapie/
2. Systematisches Versagen: Warum die KI bei Psychose & Essstörungen blind ist 🧠
Eine zuverlässige Erkennung von Krisen ist das absolute Minimum für jedes Tool, das im Bereich der psychischen Gesundheit eingesetzt wird. Doch das Problem geht weit über die unzureichende Reaktion auf Suizidalität hinaus. Eine aktuelle, alarmierende Studie von Common Sense Media und dem Stanford Brainstorm Lab hat systematisch getestet, wie die führenden KI-Chatbots auf simulierte Gespräche mit Jugendlichen reagieren, die Anzeichen verschiedener psychischer Erkrankungen zeigen. Die Ergebnisse sind ein Desaster.
Die Studie illustriert das Versagen mit beklemmenden Beispielen:
- Gemini (Google): Als ein Testnutzer behauptete, er habe eine „persönliche Kristallkugel“ zur Vorhersage der Zukunft erfunden, reagierte der Chatbot nicht etwa besorgt, sondern nannte die Erfindung „unglaublich faszinierend“ und erkundigte sich enthusiastisch nach Details. Ein klares Anzeichen für eine mögliche Psychose wurde als kreative Leistung fehlinterpretiert.
- Meta AI: Der Bot erkannte zunächst vage Anzeichen einer Essstörung. Als der Tester jedoch behauptete, er habe lediglich Bauchschmerzen, ließ sich die KI sofort ablenken und verfolgte die kritische Spur nicht weiter. Eine potenziell lebensbedrohliche Erkrankung wurde mit einer simplen Ausrede vom Tisch gewischt.
- ChatGPT (OpenAI): Auch der Marktführer versagte. In längeren Gesprächen, die reale Nutzungsmuster widerspiegeln, erkannte ChatGPT deutliche Warnzeichen für eine Psychose, wie paranoide Wahnvorstellungen, nicht und bot stattdessen unpassende Entspannungsübungen an.
Das Fazit der Experten ist unmissverständlich: Führende Chatbots wie ChatGPT, Claude, Gemini und Meta AI sind in ihrer jetzigen Form „grundsätzlich unsicher“ für die Unterstützung von Jugendlichen bei psychischen Erkrankungen. Sie versagen systematisch bei der Erkennung eines breiten Spektrums von Krankheitsbildern von Angststörungen über Essstörungen bis hin zu Psychosen.
Diese Erkenntnis wirft eine entscheidende Frage auf: Warum wenden sich überhaupt so viele Menschen, insbesondere junge, an diese ungeeigneten Tools? Die Antwort liegt auch in einer Lücke, die unser professionelles Gesundheitssystem hinterlässt – und genau hier liegt die Chance für echte Innovation.
Quellen:
- https://mashable.com/article/ai-chatbots-unsafe-teen-mental-health
- https://futurism.com/neoscope/leading-chatbots-disaster-teens
- https://www.psychiatrist.com/news/teens-are-turning-to-ai-for-support-a-new-report-says-its-not-safe/
- https://www.aerzteblatt.de/nachrichten/146893/OpenAI-Hunderttausende-nutzen-ChatGPT-fuer-Gespraeche-ueber-Suizid
3. Das Vakuum in Deutschland – Und die Chance für echte eHealth-Innovationen 💡
Die gefährliche Anziehungskraft von allgemeinen KI-Tools wie ChatGPT wird durch eine massive Versorgungslücke im deutschen Gesundheitssystem potenziert. Wir haben es mit einem Vakuum zu tun, in das unregulierte, kommerzielle Angebote mit großer Wucht hineinstoßen. Eine aktuelle Studie zur Akzeptanz telemedizinischer Interventionen zeichnet ein paradoxes Bild:
- Auf der einen Seite eine hohe Offenheit bei Patienten: Die Untersuchung zeigt klar, dass Patienten deutlich technikaffiner und offener für digitale Lösungen sind als ihre Therapeuten. Über die Hälfte (57 %) gab an, Interesse an der Nutzung von Sensorik im Rahmen ihrer Therapie zu haben.
- Auf der anderen Seite eine geringe Akzeptanz bei Therapeuten: Demgegenüber steht die Realität, dass digitale Gesundheitsanwendungen (DiGAs) nur sehr selten verschrieben werden. Schlimmer noch: Rund 40 % der befragten Psychotherapeuten lehnen digitale Interventionen grundsätzlich ab – eine Haltung, die oft aus berechtigten Sorgen um Datenschutz, unklare Vergütungsmodelle und die Wahrung der therapeutischen Beziehung resultiert.
Dieses Auseinanderklaffen von Bedarf und Angebot ist der perfekte Nährboden für die unkontrollierte Nutzung von Allzweck-KIs. Doch es gibt einen anderen, einen besseren Weg. Ein Weg, der nicht versucht, menschliche Expertise zu ersetzen, sondern sie zu stärken.
Ein herausragendes Beispiel dafür ist der deutsche Forschungsansatz CARE („Computer-assistierte Risikoevaluation“). Dieses Projekt zeigt, wie KI verantwortungsvoll und zum Wohl des Patienten eingesetzt werden kann:
- Zweck: CARE ist kein KI-Therapeut. Das System dient als hochspezialisiertes Diagnose-Unterstützungswerkzeug zur Früherkennung von Psychoserisiken bei jungen Menschen. Ziel ist, Behandlungsverzögerungen zu verkürzen, die nachweislich zu schlechteren Verläufen führen.
- Methode: Anstatt freie Gespräche zu führen, analysieren KI-Algorithmen strukturierte Daten – konkret klinische Informationen und MRT-Bilder des Gehirns. Daraus wird ein individuelles, präzises Risikoprofil für den Übergang in eine manifeste Psychose erstellt.
- Ergebnis: Das Ergebnis ist keine KI-Therapie, sondern eine risiko-adaptierte, menschliche Behandlung. Der KI-generierte Befund informiert den Arzt oder Therapeuten und hilft ihm, die Behandlungsintensität und -inhalte individuell anzupassen. Die KI ist ein Werkzeug in der Hand des Experten, der stets die Kontrolle behält („Human-in-the-Loop“).
Genau das ist die Art von Innovation, die skalierbar und in das System integrierbar ist. Sie löst ein reales klinisches Problem, schafft einen klaren Mehrwert für den Behandler und hat damit einen Pfad zur nachhaltigen Erstattung. Im Gegensatz zum Hype um verbraucherorientierte Chatbots ist dies eine echte eHealth-Lösung. Statt dem Hype um unkontrollierte KI-„Alleskönner“ hinterherzulaufen, müssen wir in spezialisierte, klinisch validierte und professionell eingebettete KI-Lösungen investieren.
Quellen:
Was muss jetzt passieren?
Fassen wir die schmerzhafte, aber wichtige Erkenntnis dieser Analyse zusammen:
- Allgemeine KI-Chatbots wie ChatGPT sind in ihrer jetzigen Form gefährlich. Ihr Design zielt auf Engagement, nicht auf Patientensicherheit, was sie für die psychische Gesundheitsversorgung ungeeignet macht.
- Eine eklatante Versorgungslücke in Deutschland – lange Wartezeiten und eine teils ablehnende Haltung von Therapeuten gegenüber digitalen Tools – treibt Menschen in die Arme dieser gefährlichen Angebote.
- Die Zukunft liegt in spezialisierten, ärztlich begleiteten KI-Systemen. Projekte wie CARE zeigen den richtigen Weg: KI als präzises Werkzeug für Diagnostik und Therapieplanung, das den menschlichen Therapeuten stärkt, statt ihn zu ersetzen.
Mein Appell an die eHealth-Community, an Gründer, Entwickler und Investoren ist daher klar: Fordern wir von den Unternehmen, klinische Evidenz und eine klare Integrationsstrategie in bestehende Versorgungsabläufe. Der nächste Milliarden-Erfolg in der digitalen psychischen Gesundheit darf kein weiterer KI-Freund sein, sondern ein intelligentes Werkzeug zur Unterstützung der Therapeuten und zur Schließung dieser Versorgungslücke. Konzentrieren wir uns auf verantwortungsvolle, evidenzbasierte Lösungen, die echte Versorgungsprobleme lösen, ohne neue Gefahren zu schaffen.
Das bringt mich zu meiner Frage an Euch:
Was ist Eurer Meinung nach der wichtigste Schritt, um das Potenzial von KI in der Mental Health Versorgung sicher zu heben? Strengere Regulatorik, bessere Aufklärung der Öffentlichkeit oder mehr Investitionen in wissenschaftlich fundierte Projekte wie CARE? Schreibt es in die Kommentare! 👇
