Künstliche Intelligenz in der Klinik: Qualität und Transparenz als zentrale Erfolgsfaktoren
Expert:innen warnen vor „Schatten-KI“ und fordern evidenzbasierte Lösungen für sichere klinische Entscheidungen
Beim virtuellen Roundtable zur Nutzung von Künstlicher Intelligenz (KI) in der Gesundheitsversorgung stand die Qualität der eingesetzten Systeme im Mittelpunkt. Fachleute warnten vor Risiken durch unkontrollierte Anwendungen und betonten die Notwendigkeit evidenzbasierter, transparenter KI-Lösungen für den klinischen Alltag.
Der Einsatz von Künstlicher Intelligenz in der Gesundheitsversorgung gewinnt angesichts steigender Patientenzahlen und wachsender Bürokratie zunehmend an Bedeutung. Gleichzeitig wächst jedoch die Sorge vor sogenannten „Schatten-KI“-Anwendungen – also nicht autorisierten, oft frei verfügbaren Tools, die ohne ausreichende Prüfung im klinischen Alltag eingesetzt werden. Diese Problematik stand im Zentrum eines virtuellen Roundtables zur Frage, wie geeignete KI-Systeme für klinische Entscheidungen ausgewählt werden können.
Im Rahmen der Diskussion verwies Anna Kula, Clinical Solutions Consultant beim Unternehmen Wolters Kluwer, auf die erheblichen Risiken solcher unkontrollierten Anwendungen. Häufig sei unklar, auf welcher Datenbasis diese Systeme beruhen, wie valide die Informationen sind und ob sie regelmäßig aktualisiert werden. Gerade im medizinischen Kontext könne dies zu Fehlentscheidungen führen. Entscheidend sei daher, dass KI-Lösungen auf wissenschaftlicher Evidenz, geprüften Datenquellen und transparenten Entscheidungsprozessen basieren.
Als Beispiel für einen strukturierten Ansatz wurde das evidenzbasierte System UpToDate genannt, das seit Jahren zur Unterstützung klinischer Entscheidungen eingesetzt wird und inzwischen auch Funktionen generativer KI integriert. Nach Angaben der Expert:innen basiert die KI hier ausschließlich auf kuratierten, von Fachleuten erstellten Inhalten. Ein sogenannter „Expert-in-the-Loop“-Ansatz stellt sicher, dass medizinische Expertise kontinuierlich in die Entwicklung und Validierung einfließt.
Ein zentrales Kriterium für den Einsatz solcher Systeme ist die Nachvollziehbarkeit der Ergebnisse. In der Praxis bedeutet dies, dass Ärztinnen und Ärzte jederzeit erkennen können müssen, wie eine Empfehlung zustande kommt und auf welchen Quellen sie basiert. In einer Demonstration wurde gezeigt, dass moderne Systeme komplexe klinische Fragestellungen in zahlreiche Einzelschritte zerlegen und ihre Schlussfolgerungen transparent darstellen können. Diese Transparenz gilt als wesentliche Voraussetzung für Vertrauen und Akzeptanz im klinischen Alltag.
Auch Jens Schneider, tätig am Universitätsklinikum Halle und im Umfeld der Deutschen Gesellschaft für KI in der Medizin, verwies auf die Diskrepanz zwischen technologischem Potenzial und praktischer Umsetzung. Viele bislang analoge Prozesse in Diagnostik und Therapie seien prädestiniert für digitale Unterstützung. Gleichzeitig müsse jedoch sichergestellt werden, dass regulatorische Anforderungen – insbesondere im Bereich Datenschutz und Informationssicherheit – konsequent eingehalten werden.
Langfristig könnte KI nach Einschätzung der Expert:innen zu einem neuen Standard in der medizinischen Arbeitsweise werden. Voraussetzung dafür sei jedoch eine klare Kommunikation des Nutzens, transparente Rahmenbedingungen sowie die Klärung von Haftungsfragen. Zudem wurde die Forderung nach geschützten Entwicklungsräumen laut, in denen Kliniken und Industrie gemeinsam praxistaugliche Lösungen erarbeiten können.
Die Diskussion macht deutlich: Der Einsatz von KI in der Gesundheitsversorgung bietet erhebliche Chancen für Effizienzgewinne und Qualitätsverbesserungen – erfordert jedoch zugleich klare Qualitätsstandards, regulatorische Sicherheit und ein hohes Maß an Transparenz.
