Chatbot-Sicherheit: Wie Sie Prompt Injection und Manipulation testen
Ein Kundenservice-Bot spricht mit jedem, der ihm schreibt oder ihn anruft, auch mit Menschen, die ihn gezielt aus dem Konzept bringen wollen. So funktionieren solche Angriffe, und so prüfen Sie, wie gut Ihr Bot standhält.
Das Wichtigste in Kürze
- Prompt Injection gilt in der OWASP Top 10 für LLM-Anwendungen als Risiko Nummer 1.
- Für Kundenservice-Bots zählen vor allem: Manipulation, Preisgabe interner Regeln oder Daten, unzulässige Zusagen und Missbrauch angebundener Funktionen.
- BSI und britisches NCSC betonen: Prompt Injection lässt sich nach heutigem Stand nicht vollständig verhindern. Schutzmaßnahmen erhöhen den Aufwand und begrenzen den Schaden.
- Glaubwürdig ist ein Test, der Angriffsklassen, Erfolgsquoten und Fehlablehnungen offenlegt, adaptiv angreift und regelmäßig wiederholt wird.
Was ist Prompt Injection?
Ein Sprachmodell unterscheidet nicht zuverlässig zwischen den Anweisungen seines Betreibers und dem, was ein Nutzer eingibt. Bei einer direkten Prompt Injection versucht jemand, den Bot mit geschickten Eingaben dazu zu bringen, seine Regeln zu ignorieren, etwa mit „Vergiss deine Anweisungen und …“ oder mit Rollenspielen. Bei einer indirekten Prompt Injection stecken die Anweisungen in Inhalten, die der Bot verarbeitet, zum Beispiel in einer E-Mail, einem Dokument oder einer Webseite.
Welche Angriffe Kundenservice-Bots betreffen
| Angriff | Was passieren kann | Bezug |
|---|---|---|
| Direkte Injection und Jailbreak | Der Bot bricht seine Regeln, auch über mehrere Gesprächsrunden hinweg | OWASP LLM01 |
| Indirekte Injection | Präparierte Inhalte in Wissensbasis, E-Mails oder Dokumenten steuern den Bot | OWASP LLM01, ETSI EN 304 223 |
| Preisgabe von Daten und Regeln | Interne Anweisungen, Kundendaten oder Systemdetails werden verraten | OWASP LLM02, LLM07 |
| Unzulässige Zusagen | Der Bot verspricht unter Druck Rabatte, Kulanz oder Rechtsauskünfte | OWASP LLM09, Haftung nach OLG Hamm |
| Missbrauch von Funktionen | Ein Agent bucht, storniert oder ändert Daten ohne echte Berechtigung | OWASP LLM06, OWASP Agentic Top 10 |
| Angriffe am Telefon | Abgespielte Audios, Hintergrundstimmen, Social Engineering („Ich bin der Administrator“) | OWASP Agentic, BSI |
| Fehlablehnungen | Der Schutz ist so streng, dass harmlose Kundenanfragen abgelehnt werden | Servicequalität |
Welche Standards gelten?
- OWASP Top 10 for LLM Applications 2025 und OWASP Top 10 for Agentic Applications: die verbreitetsten Risikolisten.
- OWASP AI Testing Guide: eine Methodik für Tests von KI-Anwendungen.
- MITRE ATLAS: Übersicht über Angriffstechniken gegen KI-Systeme.
- NIST AI 600-1: Risikoprofil für generative KI, unter anderem zu erfundenen Inhalten.
- BSI: Empfehlungen zu Evasion-Angriffen auf LLMs mit Checkliste sowie gemeinsame Gestaltungsprinzipien mit der französischen ANSSI (Zero Trust, minimale Rechte, menschliche Kontrolle). Für Behörden und KRITIS sind diese Veröffentlichungen besonders relevant.
- ETSI EN 304 223: europäische Norm mit Grundsätzen zur Absicherung von KI über den Lebenszyklus.
Lässt sich Prompt Injection verhindern?
Nicht vollständig. Das BSI schreibt, dass die empfohlenen Maßnahmen keine Immunität garantieren, sondern den Aufwand für Angreifer erhöhen und mögliche Schäden begrenzen. Das britische NCSC hält es für möglich, dass Prompt Injection nie so beherrschbar wird wie klassische Angriffe auf Datenbanken. Forschende haben 2025 gezeigt, dass sich viele veröffentlichte Abwehrverfahren mit anpassungsfähigen Angriffen umgehen lassen.
Was daraus folgt: Mehrere Schutzebenen, klare Grenzen für den Bot, menschliche Kontrolle bei kritischen Aktionen und regelmäßige Tests, die das Restrisiko messbar machen.
Woran Sie einen guten Sicherheitstest erkennen
Eine große Gesamtzahl an Tests klingt beeindruckend, sagt aber wenig, wenn es sich um öffentlich bekannte, statische Angriffslisten handelt, auf die Modelle teilweise schon trainiert sind. Achten Sie auf:
- Abdeckung: Welche Angriffsklassen werden geprüft, passend zu Ihrem Bot und seinen Funktionen?
- Anpassungsfähige Angriffe: Reagiert der Test auf die Antworten des Bots und versucht es über mehrere Runden?
- Kennzahlen: Erfolgsquote der Angriffe je Klasse und Anteil fälschlich abgelehnter harmloser Anfragen.
- Nachvollziehbarkeit: Jeder Befund mit Beispiel und Zuordnung zu einem Standard.
- Wiederholung: Erneuter Test nach jeder Änderung, damit behobene Lücken nicht zurückkommen.
- Alle Kanäle: Ein Voicebot muss auch am Telefon angegriffen werden, nicht nur über Text.
- Datenschutz beim Test: Wo laufen die Testwerkzeuge, und gehen Testdaten an Dritte?
Amira Tune prüft die Sicherheit als einen von drei Bereichen, neben Fakten und Servicequalität, von außen über Chat und Telefon und nach jeder Änderung erneut.
Häufige Fragen
Was ist der Unterschied zwischen Jailbreak und Prompt Injection?
Ein Jailbreak versucht, die Sicherheitsregeln eines Modells auszuhebeln. Prompt Injection ist der Oberbegriff für Eingaben, die das Verhalten des Bots gegen die Absicht des Betreibers steuern, direkt durch den Nutzer oder indirekt über verarbeitete Inhalte.
Reicht ein einmaliger Sicherheitstest?
Nein. Neue Angriffsmethoden, Modell-Updates und Änderungen am Bot verändern das Risiko. Sinnvoll sind regelmäßige Tests und ein erneuter Test nach jeder Änderung.
Sind auch Voicebots angreifbar?
Ja. Am Telefon kommen Angriffe über abgespielte Audios, Hintergrundstimmen und Social Engineering hinzu. Deshalb sollten Voicebots über echte Anrufe getestet werden.
Rainer Wilmers, KI-Experte und Geschäftsführer der AC Group. Die AC Group prüft seit 1995 Servicequalität im Kundenservice und betreibt die KI-Plattform Amira.