GenAI Red Teaming

Sicherheitsüberprüfung für Ihre KI-Systeme

KI-Systeme werden immer öfter eingesetzt, um Effizienz zu steigern, Kosten zu senken, neue Produkte und Dienstleistungen zu entwickeln oder die Wettbewerbsposition zu stärken. Doch deren Einsatz von bringt auch Risiken mit sich: So können unzureichend gesicherte oder schlecht trainierte KI-Systeme unabsichtlich vertrauliche Informationen preisgeben, unvorhergesehene Aktionen auslösen oder inakzeptable oder gar schädliche Antworten geben, die Ihren Assets oder ihrem Image schaden können und im schlimmsten Fall rechtliche Konsequenzen nach sich ziehen.

Was ist Red Teaming für GenAI?

Stellen Sie sich vor, ein bösartiger Akteur versucht, das Large Language Model (LLM), dass Sie für Ihren Chatbot verwenden, dazu zu bringen, sensible Informationen preiszugeben oder für Ihr Unternehmen schädliche Aussagen zu generieren. Genau hier kommt Red Teaming ins Spiel. Im Kontext von GenAI bedeutet Red Teaming, dass speziell entwickelte Angriffe genutzt werden, um Modelle auf ihre Anfälligkeit gegenüber verschiedenen Bedrohungen zu prüfen. Dazu gehören:

• Jailbreak-Versuche: Hierbei wird versucht, die vordefinierten Sicherheitsmechanismen der KI zu umgehen, um es zu unerwünschten Handlungen zu bringen.
• Datenextraktion: Ziel ist es, die KI dazu zu bringen, sensible Informationen preiszugeben, die in seinen Trainingsdaten enthalten sein könnten.
• Fehlinformationen, Halluzinationen und Bias: KI-Systeme können Fehler machen, falsche Informationen generieren oder Vorurteile in ihren Antworten widerspiegeln, die hier aufgedeckt werden.
• Prompt-Injection-Angriffe: Durch geschickte Manipulation der Eingabeaufforderung (Prompt) wird versucht, die KI zu verwirren oder zu manipulieren, wodurch unerwünschte oder unvorhergesehene Aktionen ausgelöst werden.

Trotz der genannten Unterschiede bleibt der Kern des Red Teaming-Konzepts auch bei der Prüfung von GenAI erhalten: Es geht darum, durch das Aufdecken und geschickte Kombinieren von Schwachstellen relevante Angriffspfade zu identifizieren, welche helfen, ein bestimmtes Ziel zu erreichen und so die Sicherheit und Robustheit eines Systems zu verbessern.

Wieso sollten auch Sie Ihre KI-Systeme überprüfen lassen?

Auch wenn KI-Systeme nur öffentliche Daten nutzen und keinen Zugriff auf interne Funktionen haben, basieren sie immer auf komplexen Modellen. Diese Modelle wissen und können automatisch mehr, als man zunächst denkt. Gründe dafür sind beispielsweise:

1. Training auf riesigen, externen Datensätzen: Generative KI-Modelle werden auf extrem grossen und vielfältigen Datensätzen trainiert, die ein sehr grosses Spektrum an verfügbarem Wissen umfassen. Dazu gehören Webseiten aller Art, Bücher, Artikel, soziale Medien und vieles mehr. Dieses breite Wissen ermöglicht es den Modellen, kontextbezogene und informative Antworten zu generieren, geht aber auch weit über die Informationen hinaus, welche spezifisch durch Ihre Unternehmung hinzugefügt wurden.
2. Generative Natur der Modelle: Generative Modelle rufen nicht einfach nur vorab gespeicherte Antworten ab, sondern generieren neue Texte auf Basis ihres Wissens und der Nutzereingabe sowie vielleicht auch dem Gesprächsverlauf. Diese Fähigkeit ist ihre Stärke, birgt aber auch die Gefahr, dass die Modelle Schlüsse aus ihrem breiten Wissensschatz ziehen, die irrelevant, irreführend, falsch, voreingenommen oder sogar schädlich sein können.
3. Implizites Wissen und Assoziationen: Während des Trainings lernen generative KI-Modelle nicht nur Fakten, sondern auch subtile Muster, Assoziationen und Meinungen, die in den Trainingsdaten enthalten sind. Dies kann dazu führen, dass die Modelle unbeabsichtigt Aussagen treffen, die nicht die offizielle Haltung Ihres Unternehmens widerspiegeln oder sogar negative Stereotypen oder Vorurteile enthalten.
4. Prompt Injection und Jailbreaking: Böswillige Akteure können versuchen, Generative KI-Modelle durch speziell formulierte Prompts (Prompt Injection) dazu zu bringen, ihre eigentlichen Anweisungen zu ignorieren und unerwünschte oder schädliche Aussagen zu generieren (Jailbreaking). Dies kann bei einem LLM-basierten Chatbot z. B. dazu führen, dass dieser sensible Informationen preisgibt, beleidigende Kommentare abgibt oder Anweisungen zu illegalen Aktivitäten gibt – alles Dinge, die Ihr Unternehmen niemals öffentlich vertreten würde.

Wieso sollten auch Sie Ihre KI-Systeme überprüfen lassen?

Um eine generative KI effizient auf die vorherig aufgeführten Prüfpunkte hin zu testen, orientieren wir uns am OWASP GenAI Red Teaming Guide gemäss folgendem Prozess:

Unser Vorgehen gliedert sich dabei in die folgenden Schritte:

1. Bedrohungsmodellierung und Risikoanalyse: Systematische Identifikation relevanter Bedrohungen und Schwachstellen in generativen KI-Anwendungen zusammen mit Ihren Fachspezialisten.
2. Durchführung von entsprechenden Angriffsszenarien: Simulation der vorgängig definierten Angriffe auf Ihre KI-Systeme, um deren Reaktionsfähigkeit und Sicherheitsmechanismen zu prüfen.
3. Bewertung der Implementierung und Systemintegration: Basierend auf den Ergebnissen des vorherigen Schrittes können bestehende Sicherheitsmassnahmen bewertet und deren Effektivität und Wirksamkeit eingeordnet sowie Empfehlungen zur Verbesserung und Weiterentwicklung abgegeben werden.

Für die Durchführung und die Simulation von Angriffsszenarien nutzen wir dabei nicht nur die jahrelange Erfahrung von unseren Sicherheitsexperten im Bereich Security Testing und Red Teaming, sondern selbst auch auf die Vorteile von generativen KI-Modellen zur Effizienzsteigerung und Optimierung. Nähere Details können in dem Artikel “Effizientes LLM Red Teaming dank offensivem LLM und PyRIT” gefunden werden.

Kontaktieren Sie uns

Ihre generativen KI-Systeme sind sehr wahrscheinlich anfälliger, als Sie denken! Lassen Sie uns Ihnen aufzeigen, wo die Probleme liegen könnten und wie wir gemeinsam Ihre GenAI-Systeme sicherer machen können. Kontaktieren Sie uns!