Sicherheitstests für KI Systeme

KI-Systeme sind anders als klassische Software – sie lernen selbst, ihre Ausgaben sind schwer vorhersagbar und ihre Schwachstellen liegen oft dort, wo klassische Security Tests nicht hinschauen. Vom Training mit manipulierten Daten über clevere Prompt-Tricks bis zur ungewollten Preisgabe sensibler Informationen: Die Angriffsfläche ist groß und für Software Testing eine echte Herausforderung. Gute Nachricht: Es gibt bereits praxistaugliche Ansätze wie die OWASP Top 10 für KI, die helfen, KI-Anwendungen systematisch abzusichern – auch ohne tiefes Security-Know-how.

Podcast Episode: Sicherheitstests für KI Systeme

In dieser Episode spreche ich mit Jan Jürjens über ein Thema, das viele beim KI-Einsatz noch unterschätzen: Security Testing. Wir klären, warum KI-basierte Systeme völlig neue Angriffspunkte bieten – vom manipulierten Training über Prompt Injection bis zum ungewollten Abfluss sensibler Daten. Jan erklärt, welche Mechanismen helfen, KI-Anwendungen abzusichern, wie man mit Tools von OWASP arbeitet und warum auch Tester ohne Security-Background hier aktiv werden müssen.

„Man wird sich nie sicher sein, ob man jetzt wirklich alles gefunden hat." - Jan Jürjens

Jan Jürjens verfügt über mehr als 25 Jahre praktische Erfahrung mit Softwaresicherheit. Erstes Buch (2005) ins Chinesische übersetzt. Aktuell: Director Research Projects (Fraunhofer ISST); Professor & Leiter, Institut Softwaretechnik (Uni Koblenz). Vorher: Professor für Software Engineering (TU Dortmund), Senior Member/Research Fellow (Robinson College, Uni Cambridge), Royal Society Industrial Fellow (Microsoft Research Cambridge), Postdoc (TU München), PhD Informatik (Uni Oxford) in Softwaresicherheit, Dipl.-Math. (Uni Bremen).

Highlights der Episode

• KI-Modelle sind eine Blackbox: Du weißt vorher nicht, wie sie sich verhalten werden.
• Angreifer können über clevere Prompts geschützte Daten aus KI-Systemen extrahieren.
• OWASP bietet Top-10-Kataloge und Security Guides speziell für KI-basierte Systeme.
• Filter auf Output-Ebene sind effektiver als Versuche, alle Input-Varianten abzufangen.
• Wer KI unternehmerisch nutzt, ist Betreiber – und trägt Verantwortung laut KI-Verordnung.

Sicherheitstests für KI-Systeme – Herausforderungen und Praxistipps

Künstliche Intelligenz ist nicht nur ein Hype, sondern hält Einzug in immer mehr Unternehmen. Von einfachen Chatbots bis zu komplexen Prognose-Algorithmen – KI ist überall. Dabei taucht schnell die Frage auf: Wie sichere ich diese Systeme eigentlich ab? Einfach nur laufen lassen und hoffen, dass nichts passiert, kann schlimm enden. Besonders brisant wird es, wenn personenbezogene Daten oder sensible Infos im Spiel sind.

Was macht KI-Systeme so besonders risikoreich?

KI bedeutet maschinelles Lernen: Die Software wird mit einer großen Menge Daten trainiert und kann daraus Dinge ableiten, die niemand ihr von Hand einprogrammiert hat. Klingt praktisch – ist es auch, aber bringt neue Risiken. Man weiß oft vorher nicht, wie das System auf neue Anfragen reagiert. Speaker B fasst es so zusammen: Wenn ich schon genau wüsste, wie sich die Software verhält, müsste ich sie nicht mit KI bauen. Diese Unsicherheit macht das Testen und Absichern von KI-Systemen schwieriger als bei klassischer Software.

Eine weitere Besonderheit: Angreifer könnten schon in der Trainingsphase des KI-Modells ansetzen. Sie schleusen gezielt Daten ein, um die KI zu ihrem Vorteil zu beeinflussen oder auszutricksen. Das kann dazu führen, dass das System später Fehler macht oder geheime Infos preisgibt, die besser geschützt geblieben wären.

Typische Angriffspunkte bei KI-Systemen

Angriffe auf KI-basierte Software sind vielfältig. Manche versuchen, schon beim Modelltraining Fehler einzuschleusen. Viele andere setzen direkt beim Benutzen des Systems an. Ein beliebtes Ziel: Sogenannte Prompts, also die Benutzereingaben, über die ein Chatbot oder eine andere KI befragt wird. Ein Beispiel: Eine Abfrage gibt nicht nur oberflächlich Antwort, sondern spuckt vielleicht sogar interne Gehälter aus, wenn man nur schlau genug fragt. Solche Lücken haben echte Folgen – und spätestens wenn in den Medien steht, dass ein Konzern Daten verloren hat, wird’s teuer.

Tools, Methoden und Standards für Sicherheitstests

Was hilft? Ohne regelmäßiges Testen geht nichts. Für KI-Systeme heißt das zum Beispiel: Penetrationstests mit kreativen, ungewöhnlichen Eingaben. Testende versuchen dabei, sich wie Angreifer zu verhalten und Schwachstellen gezielt zu finden, bevor diese jemand anders entdeckt.

Ganz ohne Unterstützung muss aber niemand starten. Das OWASP-Konsortium, bekannt für Sicherheitsstandards bei Webanwendungen, hat mittlerweile eigene Kataloge für KI-Anwendungen erarbeitet – zum Beispiel die OWASP Top Ten for LLM (Large Language Models), in denen typische Risiken aufgeführt und beschrieben sind. Hier finden Entwickler und Unternehmen viele anschauliche Fälle, Best Practices und Tipps, um die wichtigsten Baustellen systematisch anzugehen.

Verantwortung von Anbietern und Betreibern

Es geht aber nicht nur darum, was technisch möglich ist. Rechtlich und ethisch sind alle Beteiligten gefragt: Anbieter, Betreiber und die Mitarbeitenden. Die neuen KI-Verordnungen schreiben klar vor, wer welche Aufgaben hat. Auch wenn ein Unternehmen „nur“ einen gekauften KI-Service nutzt und selbst kein Modell entwickelt, muss es prüfen, ob und wie Daten geschützt und verarbeitet werden.

Besonders bei sensiblen Daten, wie etwa Gehaltslisten oder Kundeninformationen, ist Sorgfalt angesagt. Unternehmen müssen nicht nur sicherstellen, dass keine Daten an die falsche Adresse gelangen. Sie sind auch verpflichtet zu prüfen, ob sie die KI überhaupt für den geplanten Zweck nutzen dürfen.

Sichere Nutzung braucht Schulung und Sensibilisierung

Systeme absichern ist das eine; die andere große Schwachstelle bleibt der Mensch. Zu leicht passiert es, dass Nutzer aus reiner Bequemlichkeit ein vertrauliches Dokument in eine KI-Anwendung laden, ohne zu überlegen, wohin diese Daten vielleicht übertragen werden. Sensibilisierung hilft. Es braucht klare Regeln und Schulungen, damit nicht aus Versehen Daten abfließen oder sich Mitarbeitende blind auf die Antworten der KI verlassen, egal wie plausibel diese klingen.

KI bietet viele Chancen – aber auch neue Risiken. Wer verantwortungsvoll Software mit KI-Anteilen bauen oder einsetzen will, muss Sicherheit vom Start weg mitdenken. Hilfreiche Tools wie die KI-spezifischen OWASP-Standards erleichtern den Einstieg. Am Ende aber bleibt: Testen, nachbessern und aufklären ist unverzichtbar – damit es nicht irgendwann eine böse Überraschung gibt.