Chatbot testen: So prüfen Sie Ihren KI-Bot richtig
Viele Unternehmen testen ihren Chatbot, indem sie ein paar Mal mit ihm chatten. Das zeigt, ob er freundlich klingt, aber nicht, ob er die Wahrheit sagt. So prüfen Sie Ihren Bot so, dass das Ergebnis belastbar ist.
Das Wichtigste in Kürze
- Ein belastbarer Test prüft drei Dinge: Stimmen die Fakten? Wird das Anliegen gelöst? Lässt sich der Bot manipulieren?
- Getestet wird von außen, so wie ein Kunde fragt, mit Fragen zu Preisen, Fristen, Garantien und Fangfragen.
- Jede Änderung an Prompt, Modell oder Wissensbasis kann neue Fehler bringen. Deshalb gehört nach jeder Änderung ein neuer Testlauf dazu.
- Ein Prüfer sollte die Auffälligkeiten kontrollieren und den Bericht freigeben.
Warum Probechats nicht reichen
Wer seinen Bot im Team ausprobiert, stellt meist freundliche Standardfragen. Die Antworten klingen plausibel, also gilt der Bot als „gut“. Falsche Aussagen entstehen aber gerade bei Detailfragen, ungewöhnlichen Formulierungen oder wenn Kunden nachhaken. Genau dort entsteht das Haftungsrisiko aus dem Urteil des OLG Hamm.
Die drei Prüfbereiche
| Bereich | Frage | Typische Testfälle |
|---|---|---|
| Fakten | Stimmt, was der Bot sagt? | Preise, Tarife, Fristen, Garantien, Produkteigenschaften, Qualifikationen – abgeglichen mit Ihren Unterlagen |
| Servicequalität | Löst er das Anliegen? | Realistische Kundendialoge vom einfachen Anliegen bis zur Beschwerde, Übergabe an Menschen, Ton |
| Sicherheit | Hält er stand? | Prompt Injection, Versuche, interne Regeln oder Daten herauszulocken, Druck zu unzulässigen Zusagen |
So läuft ein guter Test ab
- Testfälle aus Ihrem Geschäft ableiten: aus Preislisten, AGB, Produktdaten und den häufigsten Kundenanliegen. Ergänzt um Fangfragen, wie sie auch eine Abmahnkanzlei stellen würde.
- Sollantworten festlegen: Für jeden Faktenfall steht fest, welche Antwort richtig ist und woher sie kommt.
- Von außen testen: über dieselben Kanäle wie Ihre Kunden, also Website-Chat, Telefon, WhatsApp oder E-Mail.
- Bewerten: Jede Antwort wird mit der Sollantwort verglichen. Abweichungen werden nach Risiko eingestuft.
- Prüfen und freigeben: Ein Mensch kontrolliert die Auffälligkeiten, bevor der Bericht rausgeht.
- Maßnahmen umsetzen und erneut testen.
Wie viele Testfälle sind sinnvoll?
Zehn Dialoge zeigen einen Eindruck, aber keine Abdeckung. Wer Fakten prüfen will, braucht für jedes relevante Thema mehrere Fragen in verschiedenen Formulierungen. Bei Amira Tune sind es je nach Umfang des Angebots bis zu 1.000 Testfälle zu Fakten (mit Umformulierungen, Fangfragen und Fragen ohne Antwort in den Unterlagen) und mindestens 200 Servicedialoge pro Prüflauf, dazu die Sicherheitschecks.
Warum ein einmaliger Test schnell veraltet
Ein KI-Bot ist kein fertiges Produkt. Prompts werden angepasst, das Sprachmodell erhält Updates, Preise und Produkte ändern sich. Jede dieser Änderungen kann Antworten verschieben, die vorher richtig waren. In der Softwareentwicklung heißt das Prinzip Regressionstest: Nach jeder Änderung läuft der komplette Testkatalog erneut, damit alte Fehler nicht zurückkommen.
Faustregel: Testen Sie nach jeder Änderung vollständig und zusätzlich in festen Abständen, weil sich auch Modelle beim Anbieter ändern können, ohne dass Sie es merken.
Was ein Prüfbericht enthalten sollte
- Gesamtbewertung je Prüfbereich
- Jede Abweichung mit Frage, Antwort des Bots und Sollantwort
- Einstufung nach Risiko, etwa „kritisch“ bei falschen Preisen oder Zusagen
- Konkrete Maßnahmen und den Vergleich zum letzten Lauf
- Datum und Umfang der Prüfung als Nachweis Ihrer Sorgfalt
Häufige Fragen
Kann ich auch Bots anderer Anbieter testen lassen?
Ja. Ein Test von außen funktioniert unabhängig davon, welcher Anbieter hinter dem Bot steht.
Wie oft sollte ich meinen Chatbot testen?
Nach jeder Änderung an Prompt, Modell oder Wissensbasis und zusätzlich regelmäßig, zum Beispiel täglich oder wöchentlich.
Werden Voicebots genauso getestet?
Ja, über echte Testanrufe. Dazu kommen sprachspezifische Punkte wie Spracherkennung und rechtzeitige Übergabe. Mehr dazu unter „Voicebot testen“.
Rainer Wilmers, KI-Experte und Geschäftsführer der AC Group. Die AC Group prüft seit 1995 Servicequalität im Kundenservice und betreibt die KI-Plattform Amira.