KI-Governance wird für Krankenhäuser zur Managementaufgabe
Forvis Mazars sieht Risiken durch Shadow-AI, unklare Zuständigkeiten und fehlende Kontrolle – KI-Inventar, Risikoklassen und kontinuierliche Überwachung sollen Governance-Lücken schließen
Mit dem zunehmenden Einsatz Künstlicher Intelligenz in Medizin, Dokumentation, Forschung und Verwaltung wächst für Krankenhäuser der Bedarf an verbindlichen Governance-Strukturen. Forvis Mazars sieht insbesondere unkontrollierte KI-Nutzung, sensible Gesundheitsdaten und ungeklärte Verantwortlichkeiten als zentrale Risiken. Empfohlen werden unter anderem ein organisationsweites KI-Inventar, eine risikobasierte Klassifizierung und interdisziplinäre Governance-Strukturen.
KI-Anwendungen verbreiten sich zunehmend über unterschiedliche Bereiche von Gesundheitseinrichtungen. Neben klinischen Entscheidungsunterstützungssystemen gehören dazu beispielsweise automatisierte Dokumentation, medizinische Recherche, Patientenkommunikation, Forschungsprojekte und administrative Anwendungen.
Nach Einschätzung von Forvis Mazars entsteht dabei ein wesentliches Risiko, wenn Organisationen zwar einzelne KI-Systeme einsetzen, aber keinen vollständigen Überblick über Anwendungen, Datenflüsse und Verantwortlichkeiten besitzen. Formale Richtlinien allein seien deshalb noch keine belastbare KI-Governance.
Shadow-AI macht KI-Nutzung für Kliniken schwer kontrollierbar
Besonderes Augenmerk legt Forvis Mazars auf sogenannte Shadow-AI. Mitarbeitende können öffentlich verfügbare KI-Assistenten beispielsweise für Arztbriefe, Recherche, Forschungsunterlagen oder Kommunikationsaufgaben einsetzen, ohne dass diese Anwendungen zentral erfasst und geprüft wurden.
Für Krankenhäuser entstehen daraus mehrere Governance-Fragen: Welche Daten werden verarbeitet? Dürfen Gesundheitsdaten an einen externen Dienst übermittelt werden? Wer prüft die Ergebnisse? Und wer trägt die Verantwortung, wenn KI-generierte Inhalte medizinische oder organisatorische Entscheidungen beeinflussen?
Hinzu kommt das Risiko plausibel erscheinender, aber fehlerhafter KI-Ausgaben. Gerade bei klinischen Anwendungen bleibe deshalb eine fachliche Kontrolle durch Menschen erforderlich.
KI-Inventar soll Anwendungen und Verantwortlichkeiten erfassen
Als Grundlage einer strukturierten Governance empfiehlt Forvis Mazars ein zentrales KI-Inventar. Darin sollen sämtliche eingesetzten Anwendungen einschließlich Verwendungszweck, verarbeiteter Datenarten und zuständiger Verantwortlicher dokumentiert werden.
Die Anwendungen sollten anschließend nach ihrem Risiko klassifiziert werden. Kriterien können unter anderem die Sensibilität der Daten, der Automatisierungsgrad, der Einfluss auf die Patientenversorgung und die regulatorische Relevanz sein.
Für die Steuerung schlägt Forvis Mazars interdisziplinäre Strukturen vor, in denen Fachbereiche, Medizin, IT, Datenschutz, Informationssicherheit und Risikomanagement zusammenarbeiten. Denkbar sei beispielsweise ein AI-Governance Board, das Freigaben und Verantwortlichkeiten koordiniert.
KI-Systeme benötigen Kontrolle über den gesamten Lebenszyklus
Eine einmalige Prüfung vor Einführung einer KI-Anwendung reicht nach Einschätzung der Autoren nicht aus. Modelle, Datenquellen und Einsatzbedingungen könnten sich verändern und damit auch das Risikoprofil.
KI-Systeme sollten deshalb kontinuierlich überwacht und regelmäßig validiert werden. Hinzukommen müssten Prozesse für Fehlfunktionen, Qualitätsabweichungen und andere Vorfälle.
Als möglichen strukturellen Rahmen nennt Forvis Mazars die ISO/IEC 42001. Sie kann bestehende Managementsysteme etwa für Informationssicherheit, Datenschutz, Qualitäts- und Risikomanagement um KI-spezifische Rollen, Kontrollen und Überwachungsprozesse ergänzen.
Für Krankenhausleitungen wird KI-Governance damit zunehmend zu einer organisationsweiten Steuerungsaufgabe: Nicht allein die Beschaffung und technische Einführung neuer Systeme ist entscheidend, sondern auch die Frage, welche KI im Unternehmen tatsächlich eingesetzt wird, wer sie verantwortet und wie ihre Nutzung dauerhaft kontrolliert wird.
