GenAI Red Teaming

Request offer

Im Finanzgeschäft der Schweiz – also im Bereich der Banken und Versicherungen – wird Künstliche Intelligenz immer stärker genutzt. So wird beispielsweise in den Bereichen der Handelsüberwachung, der Fraud Detection, der Kreditrisiko-Beurteilung oder der Geldwäschereibekämpfung auf neue, KI-gestützte Systeme vertraut. Gemäss FINMA Aufsichtsmitteilung 08/2024 erwartet diese «von beaufsichtigten Instituten, die KI einsetzen, dass sie die Auswirkungen dieses Einsatzes auf ihr Risikoprofil aktiv berücksichtigen und ihre Governance, ihr Risikomanagement und ihre Kontrollsysteme entsprechend ausrichten.» Lesen Sie hier, wie Unternehmen diese Entwicklung mitmachen und mitgestalten und Innovation mit den Unternehmensrisiken im Gleichgewicht halten können.

Die rasante Entwicklung von Large Language Models (LLMs) revolutioniert aktuell viele Bereiche unseres Lebens. Von der Automatisierung der Kundenkommunikation bis hin zur Unterstützung bei der Softwareentwicklung – ihre Einsatzmöglichkeiten scheinen schier unbegrenzt. Doch mit der wachsenden Verbreitung von LLMs steigt auch die Notwendigkeit, ihre Sicherheit und Robustheit zu gewährleisten. Eine bewährte Methode, um Sicherheitslücken und Schwachstellen in KI-Systemen zu identifizieren, ist Red Teaming. In diesem Blog-Artikel werfen wir einen Blick auf das Konzept des Red Teaming für LLMs und stellen zwei Beispielangriffe mittels PyRIT vor. Dieses Open-Source-Tool von Microsoft zur systematischen Evaluierung von KI-Modellen kann zur Angriffsunterstützung und Optimierung der offensiven Promt-Generierung selbst ein LLM als Verstärkung beiziehen, woraus ein höchst effizienter Prüfansatz resultiert.

Künstliche Intelligenz (KI) ist längst nicht mehr nur in Tools wie ChatGPT zu finden – sie ist inzwischen fester Bestandteil gängiger Applikationen und alltäglicher Services – von automatisierten Kundenservices bis zu intelligenten Assistenten und generativen Modellen, die Inhalte direkt in einer Applikation erstellen oder optimieren. Doch mit dieser umfassenden Einbindung steigt auch das Sicherheitsrisiko: Denn generative Modelle in Applikationen sind anfällig für Manipulationen, Datenlecks, Halluzinationen und unkontrollierbare Systemreaktionen.
Wer sich blind auf seine KI-gestützten Systeme verlässt, riskiert Sicherheitslücken und unerwartete Bedrohungen und trägt damit zur Schwächung der Gesamtsicherheit seines Services bei. Doch jetzt gibt es eine neue Orientierungshilfe: der OWASP GenAI Red Teaming Guide. Dieser bietet eine Hilfestellung für gezielte Sicherheitsanalysen generativer KI-Modelle und zeigt, wie Sicherheitsrisiken systematisch identifiziert werden können. Doch was bedeutet das für Unternehmen konkret? Und wie können Sie sicherstellen, dass Ihre KI-Systeme nicht selbst zur Schwachstelle werden?

Immer mehr Mitarbeitende nutzen generative KI – teilweise ohne das Wissen ihres Arbeitgebers. Dadurch entsteht eine Vielzahl von Risiken, die es zu adressieren gilt. Das National Institute of Standards and Technology (NIST) hat im Januar 2023 mit dem «Artificial Intelligence Risk Management Framework» (AI RMF 1.0, Publikation «NIST AI 100-1»), einen umfassenden Rahmen zur Bewertung und Minderung solcher Risiken vorgelegt. Der im Juli 2024 publizierte Leitfaden «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile» (Publikation «NIST AI 600-1») schlägt Aktionen zur Risikoreduktion vor. Lesen Sie hier, wie Sie Ihr Risikomanagement dieser Entwicklung anpassen, was es zu berücksichtigen gilt und welche Massnahmen Sie umsetzen können.

Immer mehr Mitarbeitende greifen auf KI-Tools wie ChatGPT zurück, um ihre täglichen Aufgaben schneller zu erledigen. Sie nutzen Künstliche Intelligenz (KI), um E-Mails zu verfassen, Präsentationen zu erstellen oder komplexe Sachverhalte zu recherchieren. Teilweise sparen sie sich dadurch Stunden an manueller Arbeit. Oft geschieht dies ohne das Wissen oder die Zustimmung des Arbeitgebers. Diese sogenannte «Schatten-KI» birgt eine Vielzahl von Gefahren, die Unternehmen oft unterschätzen. Erfahren Sie in diesem Artikel, welche die wichtigsten sind und was Sie zu deren Reduzierung machen sollten.

Der von der Europäischen Union erlassene Artificial Intelligence Act (Verordnung 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz) stellt einen wegweisenden Schritt in der Regulierung von AI-Systemen in Europa und darüber hinaus dar. Als einer der ersten umfassenden Versuche, AI zu regeln, legt der AI Act einen Rahmen fest, den Unternehmen, die mit dem EU-Markt interagieren oder dort tätig sind, einhalten müssen. In diesem Blogartikel lernen Sie die wesentlichen Aspekte des AI Acts kennen. Verschaffen Sie sich einen Überblick über die verschiedenen Risikokategorien, die der Act festlegt – und erfahren Sie, ob Ihre Produkte oder Dienstleistungen unter die KI-Verordnung fallen und was dies für Ihr Unternehmen bedeutet.

Künstliche Intelligenz (KI) bzw. Artificial Intelligence (AI) ist nicht mehr nur ein Schlagwort, sondern hält Einzug in verschiedene Bereiche unseres Lebens – einschliesslich der Cyber-Sicherheit. Insbesondere im Bereich der offensiven Sicherheit bietet KI ein enormes Potenzial, um die Widerstandsfähigkeit von Unternehmen gegen Cyber-Angriffe zu stärken. In diesem Beitrag werfen wir einen Blick auf die wichtigsten Erkenntnisse des kürzlich veröffentlichten Papers «Using AI for Offensive Security» der Cloud Security Alliance (CSA), an dem unser Head of Innovation & Development, Sven Vetsch, als Lead Author massgeblich beteiligt war. Erfahren Sie mehr über die Chancen und Herausforderungen der KI-gestützten offensiven Sicherheit, die wichtigsten Anwendungsfälle und wie Sie KI effektiv in die Sicherheitsstrategien Ihres Unternehmens integrieren.