DAS ENTSCHEIDUNGS-NOTIZBUCH
KI-Interview-Assistenten und Live-Gesprächsassistenz testen
Ein wiederholbarer Praxistest für dokumentengestützte Antworten, Reaktionszeit, Integrationen und Tarifgrenzen. Eine Anleitung zum eigenen Test, kein Bericht bereits durchgeführter Tests.
1. Bedingungen festlegen
Wähle zwei oder drei Tools für dieselbe Aufgabe. Notiere Datum, Version, Tarif, Gerät, Netzwerk, Sprache und aktivierte Integrationen. Nutze dieselben freigegebenen Beispieldokumente und Fragen. Bereite 20 Fragen vor: zehn mit direkter Dokumentenantwort, fünf mit Informationen aus mehreren Dokumenten und fünf ohne belegbare oder mit widersprüchlicher Antwort. Halte erwartete Antworten und Quellen vor dem Test fest.
2. Brauchbare Antworten messen
Miss vom Ende der gesprochenen Frage bis zur ersten brauchbaren Antwort, nicht nur bis zum ersten sichtbaren Wort. Wiederhole den Fragensatz dreimal und halte Einzelzeiten und Median fest. Erfasse getrennt richtige, teilweise richtige, falsche und angemessen nicht beantwortete Fragen. Sichere anonymisierte Beispiele und zitierte Textstellen; eine schnelle falsche Antwort ist kein Erfolg.
3. Den tatsächlichen Ablauf prüfen
Prüfe einen benötigten Konnektor von der Freigabe bis zum erfolgreichen Abruf mit einem Testkonto und begrenzten Rechten. Kontrolliere aktualisierte und gelöschte Dokumente. Teste vorhandene Bildschirmerkennung an einem freigegebenen Beispiel und notiere, was erfasst wird. Unterbrich testweise die Verbindung und halte verfügbare Funktionen fest. Diese Beobachtungen belegen weder ein Sicherheitszertifikat noch eine vollständige Datenresidenz.
4. Kosten und Grenzen dokumentieren
Notiere tatsächliche Nutzung, enthaltene Minuten oder Credits, Dokumentengrenzen, Sitzplatzvorgaben und Zahlungsbindung. Unterscheide einen Testzugang von einem dauerhaften Gratis-Tarif. Übertrage einen kleinen erfolgreichen Test nicht ungeprüft auf Tausende Dokumente. Dokumentiere Ausschlüsse, Fehler und Unbekanntes ebenso sorgfältig wie Stärken.
5. Ein nachvollziehbares Ergebnis erstellen
Benenne Aufgabe, Zielgruppe und geprüften Tarif. Veröffentliche Stichprobengröße, Zeiten, Antwortkategorien, Beispiele und Grenzen. Trenne Anbieterangaben von beobachteten Ergebnissen. Begründe die Passung je Szenario. Ein neuer Test kann eine spätere redaktionelle Prüfung ergänzen; diese Anleitung verändert selbst keine veröffentlichte Wertung.
Deinen Praxistest festhalten
Leere CSV-Testvorlage herunterladen
Live-Gesprächsassistenten vergleichen · Thalassa Assistant · LockedIn AI · Parakeet AI