Nach der Kategorisierung der KI-Systeme im AI Act (KI-Verordnung) müssen sogenannte Hochrisiko-KI-Systeme einer strengeren Regulierung unterworfen werden. Es gilt sicherzustellen, dass sie kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen im Sinne von Art. 6 AI Act darstellen.
Eines der Hauptinstrumente, das von der Verordnung für Anbieter von Hochrisiko-KI-Systemen zur Erreichung dieses Ziels festgelegt wird, ist ein Risikomanagementsystem. Dieser Artikel erörtert die Anforderungen an das Risikomanagementsystem gemäß der Verordnung und dessen praktische Implementierung in Unternehmen.
Risiken bewerten und managen
Nach Art. 8 AI Act sind die Anbieter von Hochrisiko-KI-Systemen dafür verantwortlich, dass ihr Produkt alle in Abschnitt 2 der Verordnung aufgeführten Anforderungen vollständig erfüllt – und damit auch das Risikomanagementsystem nach Art. 9 AI Act.
Laut Art. 9, Abs. 2 AI Act besteht das Risikomanagementsystem aus einem strukturierten und iterativen Prozess zur Identifizierung, Prävention, Minderung und Überwachung der mit der Nutzung von KI verbundenen Risiken. Das Risikomanagementsystem muss während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems durchgeführt, überprüft und aktualisiert werden, in jedem Fall aber vor dem Inverkehrbringen bzw. der Inbetriebnahme des KI-Systems getestet werden (Art. 9 Abs. 8 AI Act). Ziel ist es, die potenziellen negativen Auswirkungen von KI zu minimieren und gleichzeitig ihren Nutzen zu maximieren.
Der AI Act unterteilt das Risikomanagement in Art. 9 Abs. 2 in folgende Phasen:
1. Ermittlung und Analyse der Risiken
Die Verordnung bietet hierzu keine detaillierten Vorgaben. Im Allgemeinen lassen sich die Risiken von KI in vier Kategorien unterteilen:
Datenrisiken
KI-Systeme basieren auf Datensätzen, die anfällig für Manipulation, unbefugten Zugriff, Diebstahl oder Verzerrungen sind. Dies kann zu Risiken für die Datensicherheit, den Datenschutz und die Datenintegrität führen.
Beispiel für eine Verletzung der Datensicherheit: Ein Hacker könnte über eine Phishing-E-Mail auf sensible Daten eines KI-Systems zugreifen, das Finanzdaten verarbeitet, und so Kartennummern oder Bankinformationen abgreifen.
Modellrisiken
Angreifer können die Integrität eines KI-Modells gefährden, indem sie dessen Architektur, die Gewichtungen oder Parameter manipulieren. Da diese Elemente das Verhalten und die Leistung der KI bestimmen, können gezielte Eingriffe zu fehlerhaften oder manipulativen Ergebnissen führen.
Wenn beispielsweise ein Unternehmen, das seine Produkte auf einem Online-Marketplace verkauft, KI einsetzt, um Kundenrezensionen zu analysieren und Produkte nach Kundenzufriedenheit einzustufen, könnte ein Angreifer die Rezensionen so verändern, dass die vom Algorithmus verarbeiteten Ergebnisse abweichen und die Produkte eines Konkurrenten hervorgehoben werden.
Operationelle Risiken
Diese Risiken entstehen im laufenden Betrieb eines KI-Systems durch Systemausfälle, Sicherheitslücken oder unzureichende Integration in die bestehende IT-Infrastruktur. Zudem kann eine fehlende Verantwortlichkeit im Unternehmen – etwa das Fehlen eines klar definierten KI-Governance-Gremiums – die Risiken weiter erhöhen.
Beispielsweise könnte ein KI-Modell, das beim Onlinebanking zur Betrugserkennung eingesetzt wird, abdriften, wenn die Bank eine neue Zahlungsplattform einführt, sich das Kundenverhalten dadurch ändert, der Trainingsdatensatz des Algorithmus aber nicht entsprechend aktualisiert wird. Das KI-Modell würde nicht mehr alle Kundenverhaltensweisen kennen und folglich nicht mehr in der Lage sein, betrügerische Verhaltensweisen zu erkennen.
Ethische und rechtliche Risiken
Wird diesen Risiken nicht ausreichend Beachtung geschenkt, können sie zu Datenschutzverletzungen und verzerrten Ergebnissen führen. Dazu gehören mangelnde Transparenz und Erklärbarkeit algorithmischer Entscheidungen, Nichteinhaltung von regulatorischen Anforderungen, algorithmische Verzerrungen und ethische Dilemmata.
Ein KI-System für die Personalauswahl könnte beispielsweise zu diskriminierenden Einstellungsergebnissen führen. Indem es lernt, dass Führungspositionen im Unternehmen in der Regel von Männern besetzt sind, könnte es automatisch Frauen als Kandidaten für solche Positionen ausschließen.
2. Abschätzung und Bewertung der Risiken
In Unternehmen wird häufig eine Risikomatrix als Instrument zur Risikoeinschätzung verwendet. Darin werden auf zwei Dimensionen die Wahrscheinlichkeit des Eintretens eines unerwünschten Ereignisses (geschätzt auf der Grundlage seiner Häufigkeit) und die erwartete Schadenshöhe dargestellt (z. B. mit Werten von 1 bis 5 oder von „sehr unwahrscheinlich“ bis „sicher“ bzw. „minimal“ bis „katastrophal“). Die Zellen der Matrix enthalten die Ergebnisse, die sich aus der Multiplikation des Wertes für die Wahrscheinlichkeit und des Wertes für die Schadenshöhe ergeben.
Die Risikomatrix wird in unterschiedlichen Kontexten eingesetzt:
- zur Vermeidung von Unfällen am Arbeitsplatz,
- zur Begrenzung von Schäden durch inkorrekte Nutzung von Software,
- im Rahmen der Datenschutz-Folgenabschätzung oder
- der Umweltverträglichkeitsprüfung.
Es gibt keine normative Definition der Risikomatrix, sie ist ein in der Praxis auf internationaler Ebene allgemein anerkanntes Instrument zur Risikoabschätzung. Es gibt jedoch normative Definitionen für die bereichsspezifische Risikoberechnung, die alle auf den beiden Grundelementen Wahrscheinlichkeit und Schadenshöhe beruhen, so z.B.
- in der Eigenmittelverordnung zu Kredit- und Marktrisiken im Bankensektor,
- in der REACH-Verordnung zu Umwelt- und Personenrisiken von Chemikalien,
- im Arbeitsschutzgesetz (ArbSchG) zu Risiken für die Gesundheit und Sicherheit von Arbeitnehmern oder
- in Leitlinien wie den Technischen Regeln für Gefahrstoffe (TRGS).
Unserer Erfahrung nach lohnt es sich, auch für die Bewertung der Risiken von KI-Systemen die Risikomatrix einzusetzen. Viele Unternehmen nutzen z. B. KI, um Lebensläufe im Rahmen des Bewerbungsprozesses zu analysieren. In diesem Kontext kann die Risikomatrix aufzeigen, wie hoch das Risiko ist, dass der Algorithmus bestimmte Gruppen benachteiligt (diskriminierender Bias), unbefugt auf sensible Bewerberdaten zugreift oder Fehler bei der semantischen Auswertung der Lebensläufe macht.
3. Bewertung neuer Risiken auf Grundlage der Überwachung nach dem Inverkehrbringen
Sobald ein Hochrisiko-KI-System in Betrieb genommen wird, ist es notwendig, sein Verhalten und seine Auswirkungen kontinuierlich zu überwachen. Dies umfasst die Leistungsüberwachung, die systematische Auswertung von Nutzer- und Stakeholder-Rückmeldungen sowie regelmäßige Audits. Durch diesen Prozess können neu auftretende Risiken identifiziert werden, die im ursprünglichen Risikomanagementsystem möglicherweise nicht erfasst wurden.
4. Ergreifung gezielter Risikomanagementmaßnahmen
Laut Art. 9 Abs. 5 AI Act müssen folgende Maßnahmen sichergestellt werden:
- Beseitigung oder Reduzierung der ermittelten Risiken durch geeignete Konzeption und Entwicklung des Hochrisiko-KI-Systems;
- Einsatz angemessener Minderungs- und Kontrollmaßnahmen zur Bewältigung verbleibender Risiken;
- Bereitstellung erforderlicher Informationen sowie ggf. Schulungen für Betreiber.
Transparenz ist ein grundlegender Aspekt des Risikomanagements. Betreiber können natürliche oder juristische Personen, eine Behörde, eine Agentur oder eine andere Stelle sein, die ein KI-System im Rahmen einer beruflichen Tätigkeit im Sinne von Art. 3 Abs. 4 AI Act nutzen. Laut Art. 9 Abs. 5 (c) und Art. 13 AI Act müssen sie anhand technischer Dokumentation über die Identität und Kontaktdaten des Anbieters sowie die Funktionsweise des Hochrisiko-KI-Systems informiert sein (z.B. über Merkmale, Leistungsgrenzen, etc.).
Zudem sind kontinuierliche menschliche Aufsicht (Art. 14 AI Act) sowie Tests unter realen Bedingungen vor der Markteinführung erforderlich (Art. 9 Abs. 7 und Art. 60 AI Act).
Falls ein Hochrisiko-KI-System nachteilige Auswirkungen auf Minderjährige oder andere schutzbedürftige Gruppen haben könnte, ist besondere Sorgfalt geboten (Art. 9 Abs. 9 AI Act).
Risikominderung
Die Risikominderung ist eine entscheidende Phase im Risikomanagement. Art. 9 AI Act schreibt ausdrücklich Minderungspflichten vor, ohne diese jedoch ausreichend auszuführen. Unserer Erfahrung nach ist folgendes Vorgehen zur Risikominderung zielführend:
Das Ziel der Risikominderung besteht nicht darin, Bedrohungen vollständig zu eliminieren. Der Schwerpunkt liegt vielmehr auf der Planung unvermeidlicher Bedrohungen und die damit verbundenen schädlichen Ereignisse. Falls ein unvermeidbares Ereignis eintritt, verfügt das Unternehmen über Notfallpläne zur Minderung der Schäden. Zu den gängigsten Strategien zur Risikominderung gehören:
Risikovermeidung (Maßnahmen zur Verhinderung des Eintretens eines Risikos)
Im Kontext von Hochrisiko-KI-Systemen bedeutet dies, die Systeme so zu konzipieren und zu entwickeln, dass die Wahrscheinlichkeit eines negativen Ereignisses minimiert wird, z.B. durch die Verwendung eines sorgfältig gepflegten und getesteten Eingabedatensatzes.
Risikoreduzierung (Maßnahmen zur Verringerung der Eintrittswahrscheinlichkeit oder der Auswirkungen eines Risikos)
z.B., wenn ein Vorhersagemodell eine mögliche rassistische Verzerrung aufweist, könnte der Algorithmus so angepasst werden, dass er keine Gruppen von Menschen aufgrund von Rasse, Geschlecht oder anderen sensiblen Faktoren bevorzugt noch benachteiligt.
Risikoübertragung (an Dritte)
Dies bedeutet, die Verantwortung für das Risikomanagement teilweise oder vollständig an externe Stellen zu delegieren, z.B. durch den Abschluss einer Versicherung.
Risikoakzeptanz (bewusste Entscheidung, ein Risiko ohne Gegenmaßnahmen in Kauf zu nehmen)
Ein Risiko wird akzeptiert, wenn die Kosten seiner Minderung in keinem angemessenen Verhältnis zum möglichen Schaden stehen. Es ist unmöglich, alle Risiken zu eliminieren; das verbleibende Risiko wird als Restrisiko bezeichnet. Beispielsweise könnte eine KI-Anwendung, die menschliches Verhalten analysiert, das Risiko bergen, dass ihre Ergebnisse für unethische Zwecke missbraucht werden. In einem solchen Fall könnte eine verstärkte Transparenzpolitik gegenüber den Empfängern der Analyse als Maßnahme zur Risikominderung dienen.
Fazit
Sowohl die Anbieter als auch die Betreiber von Hochrisiko-KI-Systemen haben weitreichende Verpflichtungen zur Gewährleistung der Sicherheit und Rechtskonformität. Der AI Act fordert ein systematisches Risikomanagement, um technologische, wirtschaftliche, ethische und soziale Schäden zu vermeiden. Ein effektives Risikomanagementsystem stellt sicher, dass das enorme Potenzial der KI bestmöglich genutzt wird, ohne dass sie zu einem Risiko für die Gesellschaft wird.
