Bir chatbot'un çok mesaj üretmesi, kullanıcının işini daha iyi yaptığı anlamına gelmez. Uzun konuşma ilgi gösterebilir ama yanlış anlaşılma ve tekrar döngüsü de olabilir. Benzer biçimde az insan devri, sorunların çözüldüğünü kanıtlamaz. Başarı planı sohbet hacminden önce kullanıcının hangi işi doğru ve anlaşılır biçimde tamamlaması gerektiğini tanımlamalıdır.
Başarıyı asistanın görevi üzerinden tanımlayın
Randevu asistanı, bilgi botu ve satış yönlendirme asistanı aynı sonuçla değerlendirilmemelidir. Birinde doğrulanmış kayıt, diğerinde doğru bilgi, üçüncüsünde uygun ekibe eksiksiz aktarım önemlidir. Her görev için tamamlanma koşulunu ve başarısız sayılacak durumu yazın. Sistem mesajı tek başına işlem kanıtı olmamalıdır.
Varsayımsal bir teklif asistanı 'talebiniz iletildi' diyebilir; fakat CRM kaydı oluşmadıysa kullanıcı işi tamamlanmamıştır. Ölçüm, konuşmadaki ifadeyle arka plandaki gerçek sonucu ayırmalıdır. Gerekli sistem bağlantısı yoksa bu sınırlama raporda açıkça belirtilmelidir.
Birbirini dengeleyen ölçüt grupları kullanın
Tek bir yüksek başarı oranı farklı sorunları gizleyebilir. Görev tamamlanması ile doğruluk, insan devri ve kullanıcı çabası birlikte incelenmelidir. Aşağıdaki çerçeve evrensel hedef değer vermez; işletmenin kendi asistanını hangi sorularla değerlendireceğini tanımlar.
| Ölçüt grubu | İncelenecek durum | Yanlış yorumdan kaçınma |
|---|---|---|
| Görev sonucu | Gerçek işlem veya bilgi ihtiyacı tamamlandı mı? | Mesajı işlem kanıtı sayma |
| Doğruluk | Cevap ve kaynak uyumlu mu? | Akıcı dili doğruluk sayma |
| İnsan devri | Gereken yerde doğru ekibe geçildi mi? | Her devri başarısızlık sayma |
| Kullanıcı emeği | Tekrar ve açıklama döngüsü var mı? | Uzun sohbeti ilgi sayma |
| Operasyon | Eksik kayıt veya yeniden iş arttı mı? | Otomatik yanıtı bedelsiz sayma |
Nicel sonuçları konuşma örnekleriyle açıklayın
Rapor toplamları nerede sorun olduğunu gösterebilir; nedenini anlamak için örnek incelemesi gerekebilir. Başarılı, başarısız, insan devri yapılan ve yarım kalan konuşmaları farklı görevlerden seçin. Yalnızca en iyi örneklerle değerlendirme yapmak gerçek kullanım sınırlarını saklar.
İncelemede gereksiz kişisel veriyi görünür tutmayın. Hatanın bilgi kaynağı, yanlış niyet anlama, araç bağlantısı veya konuşma tasarımıyla ilgili olup olmadığını sınıflandırın. Aynı belirtinin farklı nedeni olabilir. Kullanıcının cevap vermemesi, sorunun kesin çözüldüğü şeklinde yorumlanmamalıdır; belirsiz durum ayrı tutulmalıdır.
Metrik değişimini belirli düzeltmeye bağlayın
Yanlış bilgi artıyorsa yalnızca karşılama mesajını değiştirmek yeterli olmayabilir; kaynak güncelliği veya kapsam kontrolü gerekir. Devirler artıyorsa botun başarısız olduğu kadar yeni ve daha karmaşık taleplerin geldiği de düşünülebilir. Bu açıklamaları görev dağılımı ve örnek incelemesiyle sınayın.
Yeni sürümleri karşılaştırırken kullanılan görevleri ve tamamlanma tanımını tutarlı tutun. Farklı kullanıcı grubunu aynı dönem toplamıyla karşılaştırmak yanlış sonuç çıkarabilir. Rapor sonunda neyin düzeltileceği, kimin sorumlu olduğu ve hangi örneklerle tekrar kontrol edileceği bulunmalıdır. Amaç daha etkileyici otomasyon oranı değil, güvenilir kullanıcı işi olmalıdır.
- Başarı gerçek görev sonucuyla tanımlı mı?
- Belirsiz ve başarısız durumlar ayrılıyor mu?
- Doğru insan devri değer olarak görülüyor mu?
- Rapor belirli düzeltme ve yeniden kontrole bağlanıyor mu?