Immer mehr Mitarbeitende nutzen generative KI – teilweise ohne das Wissen ihres Arbeitgebers. Dadurch entsteht eine Vielzahl von Risiken, die es zu adressieren gilt. Das National Institute of Standards and Technology (NIST) hat im Januar 2023 mit dem «Artificial Intelligence Risk Management Framework» (AI RMF 1.0, Publikation «NIST AI 100-1»), einen umfassenden Rahmen zur Bewertung und Minderung solcher Risiken vorgelegt. Der im Juli 2024 publizierte Leitfaden «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile» (Publikation «NIST AI 600-1») schlägt Aktionen zur Risikoreduktion vor. Lesen Sie hier, wie Sie Ihr Risikomanagement dieser Entwicklung anpassen, was es zu berücksichtigen gilt und welche Massnahmen Sie umsetzen können.

Warum ist ein spezifischer Rahmen für generative KI notwendig?

Generative KI-Modelle, wie etwa grosse Sprachmodelle (LLM), unterscheiden sich in ihrer Funktionsweise und ihren potenziellen Auswirkungen erheblich von traditionellen KI-Systemen. Hochqualitative, original erscheinende Inhalte können in sehr kurzer Zeit generiert werden. Dadurch können bestehende Arbeiten in wesentlich kürzerer Zeit erledigt werden. Arbeiten, die bisher zu arbeitsintensiv waren, können mit einem tragbaren Aufwand erledigt werden. Aber es gibt auch Risiken: hochqualitativ erscheinende Texte können Falschinformationen enthalten, vertrauliche oder geheime Informationen können abfliessen, Urheberrechte können verletzt werden. Konkrete Risiken, die mit der Nutzung von Tools wie ChatGPT entstehen, zeigen wir Ihnen in unserem Blogbeitrag «ChatGPT – was kann da schon passieren?».

Feststellungen aus dem Framework NIST AI 100-1

Das NIST AI 100-1-Framework identifiziert eine Reihe von spezifischen Risiken, die mit generativer KI verbunden sind. Die für die meisten Unternehmen wichtigen Risiken sind:

• Halluzinationen: Generative KI-Modelle können falsche oder irreführende Informationen erzeugen.
• Zu hohes Vertrauen: Benutzer hinterfragen durch KI-Systeme generierte Ergebnisse zu wenig kritisch.
• Bias: Modelle können bestehende gesellschaftliche Vorurteile verstärken oder neue erzeugen.
• Privatsphäre: Die Nutzung persönlicher Daten in der Modellentwicklung kann Datenschutzverletzungen zur Folge haben.
• Urheberrecht: Erstellung von Inhalten, die bestehende Urheberrechte verletzen.
• Sicherheit: Generative KI-Modelle können für Angriffe missbraucht werden.

Anpassungen des Risikomanagements für generative KI

Um diese Risiken zu adressieren, müssen Organisationen ihr Risikomanagement anpassen. Hier sind einige wichtige Aspekte zu berücksichtigen:

• Datenqualität: Wenn Sie eigene KI-Modelle trainieren, hat die Qualität der Trainingsdaten einen entscheidenden Einfluss auf die Qualität der generierten Inhalte. Es ist wichtig, sicherzustellen, dass die Daten möglichst frei von Fehlinformationen und gesellschaftlichen Voreingenommenheiten (Bias) sind.
• Modellvalidierung: Modelle müssen kontinuierlich auf ihre Leistungsfähigkeit und Sicherheit hin überprüft werden. Dies umfasst die Überprüfung auf Bias, Halluzinationen und andere unerwünschte Verhaltensweisen.
• Transparenz und Erklärbarkeit: Organisationen müssen in der Lage sein, die Entscheidungen von KI-Modellen nachzuvollziehen. Dies ist wichtig, um Vertrauen aufzubauen und die Haftung zu klären. Gleiches fordert auch der per 1. August 2024 in Kraft getretene EU AI Act und teilweise auch die Datenschutz-Grundverordnung (DSGVO).
• Governance: Es ist wichtig, klare Richtlinien und Verantwortlichkeiten für den Einsatz von generativer KI festzulegen.
• Kontinuierliche Verbesserung: Das Risikomanagement für generative KI muss ein kontinuierlicher Prozess sein, da sich die Technologie und die damit verbundenen Risiken ständig weiterentwickeln.

Praktische Umsetzung

Um Risiken im Zusammenhang mit Generativer KI sinnvoll zu managen, ist eine enge Zusammenarbeit zwischen verschiedenen Abteilungen, darunter IT, Security, Datenschutz, Recht und Geschäftsführung notwendig. Ein mögliches Management kann sich dabei am Artificial Intelligence Risk Management Framework (AI RMF) unter NIST AI 100-1 orientieren, welches sich in die Hauptphasen MAP, MEASURE, MANAGE und GOVERN unterteilt:

Risiken erkennen und definieren (MAP)

Die MAP-Phase legt den Grundstein für ein wirksames Risikomanagement, indem sie sich auf die Identifikation und Beschreibung von Risiken konzentriert. Ziel ist es, das Umfeld, die Ziele und die potenziellen Herausforderungen eines KI-Systems zu verstehen.

Die wichtigsten Schritte darin beinhalten:

• Kontextanalyse: Analysieren Sie spezifische Anwendungsfälle und verstehen Sie deren Auswirkungen auf Stakeholder, Prozesse und Gesellschaft.
• Stakeholder-Engagement: Binden Sie alle relevanten Akteure ein, um potenzielle Risiken und ethische Fragen frühzeitig zu erfassen.
• Risiko-Taxonomie: Erstellen Sie eine strukturierte Liste potenzieller Risiken, wie z. B. Verzerrungen (Bias), Datenschutzprobleme oder mangelnde Transparenz.

Risiken bewerten (MEASURE)

In der MEASURE-Phase geht es darum, Risiken systematisch zu analysieren und messbare Kriterien zur Bewertung zu entwickeln. Ziel ist es, die Wahrscheinlichkeit und die Schwere potenzieller Risiken zu verstehen.

Die wichtigsten Schritte darin beinhalten:

• Metriken entwickeln: Definieren Sie qualitative und quantitative Indikatoren für die Risikobewertung, z. B. Fehlerquoten oder Modellunsicherheiten.
• Tools und Frameworks nutzen: Verwenden Sie passende Prüfmechanismen wie «LLM Red Teaming», um Bias, Erklärbarkeit und Robustheit zu analysieren.
• Kontinuierliche Bewertung: Etablieren Sie Prozesse für regelmässige Überprüfungen, z. B. bei Modellaktualisierungen oder Änderungen in den Daten.

Risiken minimieren und mindern (MANAGE)

Die MANAGE-Phase zielt darauf ab, identifizierte Risiken zu mindern oder zu eliminieren. Sie konzentriert sich auf proaktive Massnahmen zur Sicherstellung der Stabilität und Sicherheit von KI-Systemen.

Die wichtigsten Schritte darin beinhalten:

• Strategien zur Risikominderung: Implementieren Sie gezielte Massnahmen wie Datenbereinigung, Modelloptimierung oder zusätzliche Sicherheitsmechanismen.
• Prozessintegration: Integrieren Sie das Risikomanagement in den gesamten Lebenszyklus Ihrer KI-Systeme, von der Entwicklung bis zum Betrieb.
• Reaktionspläne: Entwickeln Sie Strategien, um Vorfälle wie Modellversagen oder Datenschutzverletzungen effektiv zu bewältigen.

Überwachung und Steuerung (GOVERN)

In der GOVERN-Phase liegt der Fokus auf der Etablierung von Leitlinien, Richtlinien und Kontrollmechanismen, um sicherzustellen, dass KI-Systeme langfristig verantwortungsvoll und risikobewusst betrieben werden.

Die wichtigsten Schritte darin beinhalten:

• Governance-Struktur: Definieren Sie klare Verantwortlichkeiten und Richtlinien für die Entwicklung und Nutzung von KI.
• Audits und Compliance: Führen Sie regelmässige interne und externe Überprüfungen durch, um die Einhaltung von Standards wie NIST AI RMF sicherzustellen.
• Transparenz fördern: Dokumentieren Sie den gesamten Entwicklungs- und Einsatzprozess Ihrer KI-Systeme und teilen Sie relevante Informationen mit Stakeholdern.

Empfohlene Handlungen

Bereits jetzt nutzen einige Ihrer Mitarbeitenden mit sehr grosser Wahrscheinlichkeit generative KI-Tools wie ChatGPT oder werden es bald tun. Erweitern Sie Ihr Risikomanagement, um sich den Herausforderungen früh genug zu stellen. Gerne unterstützen wir Sie entlang aller vier Phasen beim Management Ihrer bereits vorhandenen und auch zukünftig noch hinzukommenden KI-Risiken durch:

• Analyse von relevanten Anwendungsfällen, Entwicklung einer Risiko-Taxonomie, der Risiko-Metriken und von Prozessen zur kontinuierlichen Bewertung
• Entwicklung von Strategien zur Risikoreduktion und Integration des Risikomanagement in den gesamten Lebenszyklus Ihrer KI-Systeme und von Reaktionsplänen
• Aufbau einer Governance-Struktur, Definition von notwendigen Audits und Transparenz- und Kommunikationsrichtlinien
• Erstellung von passenden Nutzerrichtlinien zur Nutzung von Generativer KI
• LLM Red Teaming zur Prüfung und technischen Verifikation der Sicherheit Ihrer AI-Systeme

Sie möchten Ihr Risikomanagement den aktuellen Entwicklungen im Bereich AI anpassen? Lassen Sie sich von uns unterstützen. Wir freuen uns über Ihre Kontaktaufnahme.