KI-Sicherheit im Check: Klinische Fachsprache als Einfallstor für Desinformation

Großangelegte Benchmark-Studie entlarvt Schwachstellen bei der Erkennung medizinischer Falschinformationen in Entlassbriefen

Eine neue Untersuchung der Icahn School of Medicine zeigt, dass Large Language Models (LLMs) weiterhin anfällig für medizinische Fehlinformationen sind. Besonders kritisch: Erscheinen Falschaussagen eingebettet in authentische klinische Texte wie Krankenhaus-Entlassberichte, akzeptieren die Modelle diese in fast jeder zweiten Anfrage (46,1 %). Interessanterweise sinkt die Fehlerquote jedoch deutlich, wenn die Informationen in rhetorische logische Fehlschlüsse (Logical Fallacies) verpackt sind.

Wie das Team um Dr. Eyal Klang und Dr. Mahmud Omar berichtet, wurden 20 verschiedene KI-Modelle mit über 3,4 Millionen Prompts getestet. Dabei wurden drei Quellen für Fehlinformationen genutzt: Dialoge aus sozialen Medien, von Ärzten validierte Fallbeispiele und reale Entlassberichte (MIMIC-Datenbank), in die gezielt eine einzelne falsche Empfehlung eingefügt wurde.

Die wichtigsten Ergebnisse der Studie im Überblick:

• Fehlende Robustheit: In der neutralen Basisform akzeptierten die Modelle 31,7 % aller medizinischen Falschaussagen.
• Autoritäts-Effekt: In klinischen Entlassnotizen stieg die Fehlerquote (Susceptibility) auf den Höchstwert von 46,1 %. Die Modelle lassen sich offenbar durch den autoritären, sachlichen Stil täuschen.
• Fallstrick „Slippery Slope“: Während die meisten rhetorischen Figuren die Aufmerksamkeit der KI schärften, führten insbesondere die Argumentationstypen „Dammbruch-Argument“ (+2,2 Prozentpunkte) und „Berufung auf Autorität“ (+2,9 Prozentpunkte) zu einer höheren Fehleranfälligkeit.
• Modell-Unterschiede: GPT-Modelle zeigten die geringste Anfälligkeit, während spezialisierte Modelle wie Gemma-3-4B-it in bis zu 63,6 % der Fälle die Falschinformationen unkritisch übernahmen.

Die Forscher betonen, dass die Sicherheit von KI-Systemen im Gesundheitswesen weniger von der reinen Skalierung der Modelle als vielmehr von einer faktischen Erdung (Fact-Grounding) und kontextsensitiven Sicherheitsbarrieren abhängt.

Aus Sicht des Klinikmanagements offenbart diese Studie ein paradoxes Risiko: Je besser eine KI darin wird, unseren medizinischen Jargon und die Struktur von Arztbriefen zu imitieren, desto eher neigt sie dazu, auch subtile Fehler innerhalb dieser Struktur als „gegeben“ hinzunehmen. Für das Medizincontrolling und die Qualitätssicherung bedeutet dies: Eine KI, die Berichte zusammenfasst oder kodiert, darf niemals ungeprüft auf Primärquellen zugreifen, ohne dass ein separates System zur Faktenprüfung (Grounding) vorgeschaltet ist.

Die Studie belegt, dass „autoritäre Prosa“ die Abwehrmechanismen der KI schwächt. In der Praxis könnte dies dazu führen, dass falsch dokumentierte Medikation oder fehlerhafte Therapieempfehlungen in Folgedokumenten perpetuiert werden, nur weil sie im ursprünglichen Entlassbrief formal korrekt platziert waren. Klinische Entscheidungsunterstützungssysteme benötigen daher dringend „Context-Aware Guardrails“, die über die reine Sprachverarbeitung hinausgehen und klinische Leitfäden aktiv gegenprüfen.