KI-Assistenten vor dem Start mit wiederholbaren Fragen testen

Erstellen Sie Tests aus echten Supportfragen

Tests vor dem Start helfen besonders, wenn die Fragen die tatsächliche Arbeit des Kundenteams widerspiegeln. Beginnen Sie mit einem festen Bestand häufiger Supportthemen und ergänzen Sie Fälle, die nötige Haltepunkte zeigen. Eine kleine bewusst zusammengestellte Stichprobe ist leichter prüfbar als eine große Sammlung ohne erwartete Ergebnisse.

Nehmen Sie vier Eingabetypen auf. Eine häufige Frage prüft die Unterstützung einer gewöhnlichen Antwort durch freigegebene Quellen. Eine mehrdeutige Frage prüft, ob der Assistent fehlende Angaben erfragt statt zu raten. Eine Frage ohne Quelle prüft, ob er die fehlende Beleglage anerkennt. Eine Übergabefrage prüft das Erkennen menschlicher Entscheidungen. Notieren Sie vor dem Test neben jeder genauen Eingabe das erwartete Verhalten.

Ein Dienstleister könnte eine veröffentlichte Terminvoraussetzung testen, eine unvollständige Frage nach geöffneten Standorten, eine nicht dokumentierte Richtlinieninformation und eine Ausnahmegenehmigung. Eine direkte Antwort ist nicht immer richtig. Rückfrage oder angemessene Weiterleitung können bei fehlenden Belegen oder Befugnissen das beste Ergebnis sein.

Bereiten Sie Quellen und erwartete Ergebnisse vor

Bestätigen Sie vor der Testseite, dass die jeweilige Quelle maßgeblich und aktuell ist. Stimmen Sie den Testumfang mit dem bereitgestellten Material ab. Sagt die Quelle nur, dass Termine erforderlich sind, erwarten Sie keine genaue Öffnungszeit, die nirgends steht. Dokumentieren Sie für jede erwartete Antwort die zugehörige Quelle und die genaue darin enthaltene Tatsache, auf die sich diese Erwartung stützt.

Resonoons Assistenteneditor enthält eine Testseite; der Wissenseditor unterstützt PDF- und Markdown-Uploads. Die Testseite prüft Antworten. Einen wiederholbaren Fragenbestand und Bewertungsnachweise sollte das Team selbst führen. Bewahren Sie Raster und Ergebnisse in einem gemeinsamen Dokument auf, damit Prüfer bei jedem Durchlauf dieselben Kriterien anwenden.

Vereinbaren Sie ein kompaktes Bewertungsraster. Ein möglicher Ansatz unterscheidet richtig und vollständig, hilfreich mit menschlichem Bedarf, unbelegt oder falsch sowie unklar. Ergänzen Sie einen kurzen Hinweis zu Belegen und nächster Aktion. Vermeiden Sie Bewertungen wie „gut“, bei denen nicht erkennbar ist, anhand welcher Kriterien die Antwort tatsächlich als erfolgreich oder unzureichend beurteilt wurde. Prüfer sollten Erfolg und die nach einem Fehler nötige Quellen- oder Anweisungsänderung erklären können.

Führen Sie Tests einheitlich durch

Verwenden Sie beim Versionsvergleich dieselben Formulierungen. Dokumentieren Sie Assistentenversion oder bewertete Konfigurationsänderungen, Eingabe, Antwort, Erwartung und Prüferbewertung. Ein einheitliches Format ermöglicht anderen Prüfern, den Vergleich zu wiederholen und die getestete Konfiguration zu erkennen. Lassen Sie persönliche oder sensible Kundendaten aus Eingaben heraus, sofern sie nicht erforderlich und genehmigt sind.

Testen Sie Umschreibungen getrennt von Standardfragen. Kunden beschreiben Produkte mit eigenen Worten oder lassen wichtige Bedingungen weg. Prüfen Sie auch selbstsicher formulierte unbelegte Wünsche. Führen Sie den Assistenten nicht mit der erwarteten Antwort und reparieren Sie die Frage nicht nach einer enttäuschenden Reaktion. Das würde den Test schwächen.

Bestimmen Sie vor Änderungen die wahrscheinliche Fehlerursache. Ein falsches Richtliniendetail kann auf veraltete oder widersprüchliche Quellen zeigen. Eine fehlende Grenze erfordert womöglich klarere Rollenanweisungen. Eine Eskalation ohne Zuständigkeit zeigt eine Betriebslücke. Ändern Sie eine Ursache und wiederholen Sie dieselbe Eingabe samt verwandten Fällen. So werden Verbesserungen zuordenbar und Regressionen in benachbarten Fragen sichtbar.

Entscheiden Sie als Team über Startbereitschaft

Legen Sie eine Startschwelle fest, bevor Sie Ergebnisse sehen. Verlangen Sie beispielsweise, dass jede richtlinienkritische Frage korrekt beantwortet oder sicher übergeben wird, während weniger folgenreiche Klarheitsprobleme getrennt erfasst werden. Die genaue Schwelle hängt vom Unternehmen ab und sollte durch Support- und Richtlinienverantwortliche genehmigt werden. Ein guter Durchschnitt darf keine kritische Falschantwort verdecken.

Bestätigen Sie vor dem Start menschlichen Rückfallweg, vorgesehenen Kanal und Quellenverantwortlichen. Beim Web-Widget prüfen Sie nach der Konfiguration die Kundenseite und stellen sicher, dass das Team Übergaben bearbeiten kann. Leiten Sie Personalabdeckung oder Antwortzeiten nicht aus einem erfolgreichen Test ab.

Bewahren Sie die Tests auf und wiederholen Sie sie nach wesentlichen Rollen- oder Quellenänderungen. Resonoons KI-Chatbot-Widget erläutert das Website-Erlebnis. Tests können nicht den Erfolg aller künftigen Gespräche beweisen. Sie machen aber bekannte Schwächen vor Kundenkontakt sichtbar und erleichtern spätere Bewertungen.

Benennen Sie einen Prüfer für die Freigabe richtlinienkritischer Fälle. Können Prüfer sich nicht auf das erwartete Ergebnis einigen, klären Sie zuerst die Richtlinienfrage, bevor der Test als bestanden markiert wird.