Artikelzusammenfassung
- Ein interner KI-Assistent braucht mehr als überzeugende Formulierungen: Er muss richtige Quellen finden, Berechtigungen respektieren und sicher scheitern.
- Verwenden Sie Fragen aus dem tatsächlichen Arbeitsalltag statt nur vorbereitete Demonstrationen. Testen Sie klare und unklare Anfragen, alte Begriffe, mehrsprachige Fragen, widersprüchliche Dokumente und Fälle ohne vorhandene Antwort. Halten Sie erwartete Quelle, Soll-Antwort und erforderliche Eskalation fest.
- Testen Sie mit unterschiedlichen Rollen. Mitarbeitende dürfen über den Assistenten keine Informationen erhalten, die ihnen im Ursprungssystem nicht zugänglich sind. Nutzen Sie bewusst gesperrte Dokumente, Rollenwechsel und Austrittsszenarien. Berechtigungen müssen vor der Übergabe von Inhalten an das Modell greifen.
- Starten Sie nur, wenn die kritischen Abnahmetests bestanden und verbleibende Grenzen dokumentiert sind. Bewahren Sie einen Regressionstest für spätere Änderungen an Dokumenten, Prompts und Integrationen auf. Nach dem Start sollten Fehler, Berechtigungsvorfälle, Aktualität der Quellen und Nutzerfeedback laufend geprüft werden.
Wichtigste Erkenntnisse
- Definieren Sie zuerst, was der Assistent leisten muss, was er niemals tun darf und welche Fehler nicht akzeptabel sind. Bei Richtlinienfragen kann eine korrekte Antwort die aktuell freigegebene Version, eine eindeutige Quellenangabe und eine Ablehnung bei fehlenden Belegen erfordern. Freundliche Formulierungen ersetzen keine fachliche Richtigkeit.
- Bewerten Sie zuerst, ob das System die richtige, aktuelle und zulässige Quelle gefunden hat. Prüfen Sie danach, ob die Antwort diese Quelle korrekt wiedergibt. So wird sichtbar, ob Dokumentqualität, Indexierung, Suchlogik oder Antwortgenerierung verbessert werden muss.
- Der Assistent sollte wichtige Aussagen belegen, Fakten von Vorschlägen trennen und fehlende Evidenz offenlegen. Testen Sie unbeantwortbare Fragen, widersprüchliche Quellen und sensible Konsequenzen. Legen Sie fest, wann Rückfragen nötig sind und wann an eine benannte Person übergeben werden muss.
- Starten Sie nur, wenn die kritischen Abnahmetests bestanden und verbleibende Grenzen dokumentiert sind. Bewahren Sie einen Regressionstest für spätere Änderungen an Dokumenten, Prompts und Integrationen auf. Nach dem Start sollten Fehler, Berechtigungsvorfälle, Aktualität der Quellen und Nutzerfeedback laufend geprüft werden.
Abnahmekriterien vor dem Test festlegen
Definieren Sie zuerst, was der Assistent leisten muss, was er niemals tun darf und welche Fehler nicht akzeptabel sind. Bei Richtlinienfragen kann eine korrekte Antwort die aktuell freigegebene Version, eine eindeutige Quellenangabe und eine Ablehnung bei fehlenden Belegen erfordern. Freundliche Formulierungen ersetzen keine fachliche Richtigkeit.
Einen realistischen Fragenkatalog aufbauen
Verwenden Sie Fragen aus dem tatsächlichen Arbeitsalltag statt nur vorbereitete Demonstrationen. Testen Sie klare und unklare Anfragen, alte Begriffe, mehrsprachige Fragen, widersprüchliche Dokumente und Fälle ohne vorhandene Antwort. Halten Sie erwartete Quelle, Soll-Antwort und erforderliche Eskalation fest.
Quellenqualität und Antwortqualität getrennt messen
Bewerten Sie zuerst, ob das System die richtige, aktuelle und zulässige Quelle gefunden hat. Prüfen Sie danach, ob die Antwort diese Quelle korrekt wiedergibt. So wird sichtbar, ob Dokumentqualität, Indexierung, Suchlogik oder Antwortgenerierung verbessert werden muss.
Berechtigungen und gesperrte Informationen prüfen
Testen Sie mit unterschiedlichen Rollen. Mitarbeitende dürfen über den Assistenten keine Informationen erhalten, die ihnen im Ursprungssystem nicht zugänglich sind. Nutzen Sie bewusst gesperrte Dokumente, Rollenwechsel und Austrittsszenarien. Berechtigungen müssen vor der Übergabe von Inhalten an das Modell greifen.
Unsicherheit, Quellenangaben und Eskalation testen
Der Assistent sollte wichtige Aussagen belegen, Fakten von Vorschlägen trennen und fehlende Evidenz offenlegen. Testen Sie unbeantwortbare Fragen, widersprüchliche Quellen und sensible Konsequenzen. Legen Sie fest, wann Rückfragen nötig sind und wann an eine benannte Person übergeben werden muss.
Arbeitsabläufe mit echten Nutzenden prüfen
Lassen Sie die vorgesehenen Nutzerinnen und Nutzer reale Aufgaben in einem kontrollierten Pilot erledigen. Beobachten Sie, ob Suchaufwand sinkt oder zusätzliche Prüfarbeit entsteht. Dokumentieren Sie Fehlanfragen, irreführende Antworten und unklare Bedienung. Erweitern Sie den Umfang erst, wenn wiederkehrende Fehler Verantwortliche und Lösungen haben.
Eine klare Start- und Monitoringentscheidung treffen
Starten Sie nur, wenn die kritischen Abnahmetests bestanden und verbleibende Grenzen dokumentiert sind. Bewahren Sie einen Regressionstest für spätere Änderungen an Dokumenten, Prompts und Integrationen auf. Nach dem Start sollten Fehler, Berechtigungsvorfälle, Aktualität der Quellen und Nutzerfeedback laufend geprüft werden.
Internal AI assistants · AI integrations · Business automation · Services and pricing · Contact