KI-Governance in Krankenhäusern: Warum sie über den Erfolg von KI entscheidet

Ein Blogartikel von Rebecca Pluthero, Global Senior Legal Counsel (AI) bei InterSystems

Wie gut KI-Governance in Krankenhäusern funktioniert, entscheidet darüber, ob KI im Gesundheitswesen ihre Versprechen einlöst. Warum digitale Souveränität eine Frage der Verhältnismäßigkeit ist und was Vorstände jetzt tun können.

In den vergangenen Jahren hat sich der Einsatz von Künstlicher Intelligenz im Gesundheitswesen von vereinzelten Pilotprojekten hin zu größerer Wahrnehmung und breiterer Anwendung entwickelt. Laut McKinsey evaluieren oder nutzen inzwischen 85 Prozent der befragten Organisationen im Gesundheitswesen generative KI, wobei „Responsible AI“ und „KI-Governance“ als zentrale Bausteine einer erfolgreichen Transformation gelten. Von außen erhöht die sich weiterentwickelnde Gesetzgebung ebenfalls den Druck hin zu verantwortungsvoller Entwicklung und Bereitstellung: Die EU-KI-Verordnung (EU AI Act) legt verbindliche Anforderungen an die Entwicklung und Nutzung bestimmter Arten von KI-Systemen fest. Neben diesem branchenübergreifenden Gesetz bringen weitere angrenzende europäische Rechtsvorschriften mit Auswirkungen auf die Gesundheitstechnologie zusätzliche Verpflichtungen mit sich, mit denen Organisationen umgehen müssen. Dazu zählen etwa MDR, IVDR, NIS2, DORA, Cyber Resilience und DSGVO sowie Vorschriften, die schrittweise eingeführt werden oder sich im Gesetzgebungsverfahren befinden, wie der Europäische Gesundheitsdatenraum (EHDS), der Data Act und die überarbeitete Produkthaftungsrichtlinie. Der Druck zur Einführung wächst aus zwei Richtungen, von innen und von außen. Mit dem zunehmenden Bedarf an Effizienz und Innovation sowie den wachsenden Fähigkeiten und der Leistungsfähigkeit von KI vertreten manche die Auffassung, dass sich eine Form der Sorgfaltspflicht zum Einsatz entwickeln könnte. Für Krankenhausleitungen entsteht daraus eine Verantwortung, die nicht einfach allein an IT-Abteilungen delegiert werden kann und zu der auch KI-Governance gehört.

KI-Governance ist kein Gremium und kein Dokument im Intranet. Sie ist das Zusammenspiel von regulatorischer Compliance, Richtlinien, Standards, Prozessen und Kontrollen, um eine ethische, verantwortungsvolle und sichere Entwicklung und Nutzung von KI zu fördern. Die konkrete Ausgestaltung der KI-Governance ist organisationsspezifisch; sie kann zentralisierte, föderierte oder hybride Strukturen umfassen. Entscheidend ist jedoch, dass sie für den gesamten Lebenszyklus eines KI-Systems gilt: vom Design über Entwicklung und Validierung bis zur Freigabe und zum Betrieb, mit fortlaufender Nutzung, Verbesserung und Überwachung während des Lebenszyklus. Die Governance befasst sich mit Entscheidungsbefugnissen und organisatorischen Verantwortlichkeiten, damit, wie Risiken bewertet und gemindert werden, welche Kontrollen und Dokumentation erforderlich sind und welche Schutzmaßnahmen zum Schutz von Patienten und Mitarbeitenden im klinischen Alltag eingerichtet werden.

Aus rechtlicher Sicht ist KI-Governance nicht generell verpflichtend, auch wenn sie durch bestimmte Rechtsvorschriften vorgeschrieben sein oder eine umsichtige Maßnahme zur Risikominderung oder vertragliche Anforderungen darstellen kann. Nach dem EU AI Act gelten bestimmte Pflichten abhängig von der Einstufung des KI-Systems, seiner Zweckbestimmung und der Rolle der Organisation bei der Entwicklung, der Bereitstellung oder dem Einsatz von KI. Dazu können die Umsetzung geeigneter Maßnahmen für das Risikomanagement und die menschliche Aufsicht, das Führen von Protokollen, die Erstellung technischer Dokumentation, die Überwachung der Systemleistung und erforderlichenfalls Korrekturmaßnahmen gehören. Hinzu kommt das Zusammenspiel mit DSGVO und MDR. Die DSGVO legt Verantwortlichen und Auftragsverarbeitern personenbezogener Daten Pflichten auf, um die rechtmäßige Verarbeitung, die Sicherheit und den Schutz von Daten sicherzustellen, mit erhöhten Schutzvorkehrungen für Gesundheitsdaten. Wenn Software als Medizinprodukt einzustufen ist, kann die MDR zusätzliche Anforderungen an Sicherheit, Leistung, Risikomanagement und Überwachung nach dem Inverkehrbringen vorsehen. Ein Krankenhaus, das KI ohne interne Mechanismen einführt, die die Einhaltung von Vorschriften unterstützen, bewegt sich daher in einem stark regulierten Bereich mit begrenzter interner Absicherung. Dadurch wird die Etablierung von KI-Governance noch wichtiger. Über rechtliche Aspekte und Risikominderung hinaus trägt KI-Governance außerdem dazu bei, organisationsweit Vertrauen und Zuversicht in die digitale Transformation selbst zu fördern. Dies ist in einem derart unsicheren Umfeld mit einer enorm leistungsfähigen, sich weiterentwickelnden Technologie entscheidend für die Akzeptanz und den fortlaufenden sicheren Einsatz. Governance ist zudem Teil der Überlegungen zur digitalen Souveränität: Digitale Souveränität umfasst mehr als nur die Frage, wo Daten verarbeitet und gespeichert werden. Sie betrifft auch die Fähigkeit eines Krankenhauses, in gewissem Umfang Einfluss auf die eingesetzte KI und den dahinterliegenden Technologie-Stack zu nehmen oder Einblick in diese zu gewinnen. Souveränität ist zwar ein berechtigtes politisches, wirtschaftliches und praktisches Agendathema, Souveränitätsüberlegungen sollten jedoch dagegen abgewogen werden, welche KI-Technologie zum Zeitpunkt des Bedarfs am besten geeignet ist und welche die beste Leistung und Absicherung für die Aufgabe selbst und den weiteren Weg bietet. Ohne die Governance-Grundlagen, um diese Überlegungen zu prüfen, wird diese Abwägung der Verhältnismäßigkeit zu einer weiteren Hürde für verantwortungsvolle und ethische Innovation.

Nicht alle KI-Systeme oder ihre nachgelagerte Nutzung sind gleich. Sie können unter unterschiedliche Risikokategorien des EU AI Act fallen, und ihre Einstufung kann sich je nach Technologie sowie beabsichtigter und tatsächlicher Nutzung ändern. Auch Änderungen der Gesetzgebung können sich auf Verantwortlichkeiten und Einstufungen auswirken, insbesondere im Zuge der schrittweisen Umsetzung der Bestimmungen des Gesetzes und der Auswirkungen des EU-Digital-Omnibus-Pakets. Für die Leitung ergibt sich daraus ein praktischer Grundsatz: Bevor über Anbieter oder Modelle gesprochen wird, muss klar sein, was die Lösung leisten soll. Anschließend ist zu bewerten, in welche Risikokategorie sie fällt. Aufgrund der zuvor beschriebenen fortlaufenden Entwicklung muss dies nicht unbedingt gleich am ersten Tag vertraglich festgeschrieben werden. Stattdessen ist eine einfache Klärung im Dialog mit geringem Aufwand verbunden und gibt bereits in der Beschaffungsphase Aufschluss darüber, was die interne Governance umfassen muss. Sie verhindert auch, dass ein Krankenhaus Lösungen bewertet, bevor die Frage nach dem Zweck beantwortet ist, um erst später festzustellen, dass die gewählte Kategorie nicht zur geplanten Nutzung passt.

Die gleiche Aufmerksamkeit verdienen die Abhängigkeiten, die durch ein KI-System entstehen. Wo werden Daten verarbeitet? Mit welchen anderen Anwendungen arbeitet es zusammen? Wie transparent macht das System die KI-Fähigkeiten deutlich? Darauf aufbauend können Krankenhäuser eigene interne Richtlinien und Nutzungsgrenzen erarbeiten, um eine sichere Einführung zu fördern. Vollständige technologische Unabhängigkeit ist weder realistisch noch immer wünschenswert. Die eigentliche Frage ist, welche Abhängigkeiten ein Krankenhaus eingeht und wie gut es sie versteht und steuert. Bisher verwendete Standardverträge für SaaS oder andere Technologiebeschaffungen müssen möglicherweise überarbeitet werden: Anbieter, die KI-Anwendungen entwickelt haben, verfügen über Produktbedingungen und Dokumentation, die auf die Art dieser Anwendungen zugeschnitten sind. Beschaffungsteams sollten bei der Vertragsgestaltung agil vorgehen, wenn sie diesen Wandel bei Technologietransaktionen bewältigen.

Wer trägt die Verantwortung, wenn eine KI-Anwendung in einem Krankenhaus arbeitet? Die Frage lässt sich nicht einer einzigen Partei zuordnen und sollte es auch nicht, denn die Antwort hängt von einer Vielzahl von Faktoren ab. Bei der Bereitstellung von Technologie ist dieser Gedanke nicht neu, und Leistung und Verfügbarkeit hängen von einem Zusammenspiel verschiedener Faktoren ab.

Auf der grundlegendsten Ebene entscheidet das Krankenhaus bei einer bestimmten Anwendung, die nicht als Managed Service bereitgestellt wird, jedoch über Auswahl, Freigabe und Überwachung im klinischen Alltag. Es trägt die Verantwortung für seine eigenen vertraglichen Pflichten, die Hosting, die Integration von Drittsystemen und Hardware umfassen können, für die Datenqualität und dafür, wie die Lösung in der Versorgung eingesetzt wird. Der Anwendungsanbieter entwickelt, verbessert und wartet die Lösung und dokumentiert ihre Funktionsweise und ihre Zweckbestimmung. In manchen Fällen kann es darüber hinaus einen Anbieter der zugrunde liegenden Technologie geben, der die Plattform, weitere Infrastruktur oder die KI-Werkzeuge bereitstellt, auf denen die Anwendung aufbaut. In diesem Fall können der Anwendungsanbieter und/oder der Anbieter der zugrunde liegenden Technologie auch bestimmte Architektur, Schutzmechanismen und Integrationen für die von ihnen bereitgestellten KI-Werkzeuge umsetzen.

Diese Rollen lassen sich nicht zu einer einzigen zusammenfassen. Sie lassen sich aber klären. Das ist ein Teil der KI-Governance in Krankenhäusern: die Lösung zu verstehen. Darauf aufbauend sollten Organisationen, die KI-Systeme einsetzen, ein angemessenes Maß an KI-Kompetenz bei ihren Mitarbeitenden sicherstellen, um Risiken zu mindern, die Einhaltung vertraglicher Pflichten zu gewährleisten und zugleich den Erhalt kritischen Denkens sowie Grundsätze verantwortungsvoller KI wie die menschliche Aufsicht zu fördern.

Für die Leitung bedeutet das: Vor der Freigabe sollte klar sein, wer innerhalb des Krankenhauses die Anwendung abnimmt, wer die Nutzer schult und wer im Alltag die Aufsicht ausübt. Wird diese Klärung übersprungen, verschiebt sich die Verantwortung unbemerkt. Und hat sie sich erst einmal verschoben, lässt sie sich niemandem mehr zuordnen.

Die gute Nachricht: Krankenhäuser arbeiten bereits in einem stark regulierten Sektor und verfügen über bestehende Governance-Strukturen. Klinisches Risikomanagement, Qualitätssicherung, Beschaffungsprozesse, Rechtsabteilungen und IT-Sicherheit sind in den meisten Krankenhäusern vorhanden und haben sich seit Langem bewährt.

Was häufig fehlt, ist kein neues Gremium, sondern KI-spezifisches Fachwissen innerhalb dieser Strukturen. KI wirft Fragen auf, die eine klassische Softwarebewertung nicht abdeckt. Wie wurde ein Modell trainiert? Wie verhält es sich bei Patientengruppen, die in den Trainingsdaten unterrepräsentiert sind? Was geschieht, wenn sich die Datenlage im Krankenhaus verändert, etwa nach einer Systemmigration, einer Fusion oder durch neue Datenschutzvorschriften, die bestimmte Nutzungen erlauben oder untersagen?

KI ist nicht statisch. KI-Anwendungen benötigen Überprüfungen, die die Zusammenarbeit und den Erkenntnisgewinn der Beteiligten unterstützen, um Erwartungen an die kontinuierliche Risikominderung festzulegen: eine verhältnismäßige Bewertung vor der Einführung und eine fortlaufende Überprüfung im Betrieb. Eine übermäßige Überprüfung jedes einzelnen Werkzeugs bremst das Krankenhaus jedoch aus. KI-Governance ist daher eine Frage der Verhältnismäßigkeit und des Lernens, welche Technologien und Anwendungsfälle nach dem EU AI Act oder allgemein unter Gesichtspunkten der klinischen Sicherheit als verboten oder als mit hohem Risiko verbunden eingestuft werden können und welche nicht. Indem KI-Governance auf bestehenden Prozessen und Strukturen aufbaut, werden Krankenhäuser Erfahrungen sammeln und Risiken leichter zügig bewerten und gegen Innovation abwägen können.

Die Kontinuität der Versorgung hat für ein Krankenhaus Priorität. Was im klinischen Betrieb eingesetzt wird, muss auch dann verlässlich funktionieren, wenn sich Technologien, Anbieter oder regulatorische Rahmenbedingungen ändern.

Diese Kontinuität ist auch Ausdruck guter KI-Governance. Ihren Wert beweist sie nicht in ruhigen Zeiten, sondern im Wandel: wenn ein Anbieter seine Strategie ändert, ein Modell ersetzt wird oder neue Anforderungen in Kraft treten. Resilienz entsteht aus drei Elementen. Erstens: alle betroffenen Funktionen frühzeitig und abgestimmt einzubeziehen, von der klinischen Versorgung über Qualität, Beschaffung und Recht bis zur IT, damit Entscheidungen im Alltag Bestand haben. Zweitens: mit erfahrenen Anbietern zusammenzuarbeiten, die den Grundsätzen verantwortungsvoller KI folgen. Drittens: vertragliche Flexibilität, die auf die jeweilige Technologie und das sich verändernde Umfeld zugeschnitten ist. Verträge, die jede technische Änderung zu einer Verhandlung machen, schaffen genau jene Starrheit, die Krankenhäuser handlungsunfähig macht und zu einer eingeschränkten, innovationshemmenden Technologie führt.

Aus all dem ergeben sich fünf konkrete Schritte, die Krankenhausleitungen ohne ein großes Programm angehen können:

1. Bewerten Sie, welche konkrete Verbesserung eines Prozesses oder Arbeitsablaufs erforderlich ist, und bestimmen Sie die geeignete Technologie, den Anwendungsfall und die Risikokategorie, bevor die Beschaffung beginnt. Dies ist die Grundlage aller folgenden Entscheidungen.
2. Stellen Sie im Vorfeld den organisatorischen Zusammenhalt für das Projekt her: Unterschiedliche Fachexperten sollten von Beginn an zur Strategie beitragen, und verantwortliche Personen sollten benannt werden.
3. Nutzen Sie bestehende Strukturen, statt ein neues Gremium zu gründen: KI-Governance bedeutet nicht immer, das Rad neu zu erfinden. Regulierte Sektoren sollten bestehende Prozesse für Qualitätssicherung, Risikomanagement und Beschaffung nutzen und sich mit ihnen abstimmen, indem sie einen klaren KI-Aufgabenbereich schaffen, der diese Strukturen ergänzt und nicht ersetzt.
4. Schaffen Sie Transparenz: einen regelmäßigen Überblick darüber, welche KI-Anwendungen im Krankenhaus eingesetzt werden, die freigegebenen Anwendungsfälle und welche Rückmeldungen die Nutzer geben. Diese Informationen können auch zur Risikobewertung und zum Abgleich mit regulatorischen Anforderungen genutzt werden.
5. Gestalten Sie Verträge und bauen Sie KI-Kompetenz auf: mit ausreichender Flexibilität für Veränderungen und mit Schulungen, die die KI-Kompetenz der Belegschaft auf das Niveau heben, das verantwortungsvolle und ethische KI erfordert.

Die KI-Transformation in Krankenhäusern wird wahrscheinlich nicht allein an der Technologie scheitern. Wahrscheinlicher ist ein Scheitern an unbeantworteten Fragen, mangelnder Aufsicht und einer Starrheit, die weder mit dem sich verändernden Umfeld noch mit der Innovation Schritt halten kann, die durch ihren Einsatz erreicht werden sollte. Aufgrund der Beschaffenheit von KI ist die Beantwortung von Fragen zu ihrem Einsatz keine isolierte Aufgabe der IT-Abteilung. Sie ist eine Führungsaufgabe und erfordert ein stärkeres Engagement in der gesamten Organisation.

KI-Governance ist kein Zustand, den man erreicht. Sie ist eine Praxis, die man aufrechterhält. Wer sie von der ersten Anwendung an steuert, entscheidet über mehr als das Schicksal einzelner Werkzeuge. Damit wird etwas Größeres gesichert: die Handlungsfähigkeit des Krankenhauses in einer Zeit, in der KI in der Versorgung von der Ausnahme zur Normalität wird, und die Fähigkeit, die Innovation sicher und regelkonform zu skalieren.

About the author:
Rebecca Pluthero ist Global Senior Legal Counsel (AI) bei InterSystems