Chatbotun birkaç tanıdık soruya güzel cevap vermesi, yayına hazır olduğunu göstermez. Gerçek kullanıcı eksik bilgi verir, konu değiştirir, yanlış varsayımda bulunur veya sistemin yapamayacağı bir işlem ister. Cevap kalitesi testi, bu durumlarda neyin kabul edilebilir olduğunu önceden belirleyip aynı senaryoları tekrar değerlendirmenizi sağlar.
Doğru cevabı önce iş açısından tanımlayın
Her önemli görev için beklenen sonucu ve mutlaka bulunması gereken bilgi noktalarını yazın. Kelimelerin birebir aynı olması çoğu zaman gerekli değildir; ürün sınırının doğru açıklanması veya gerekli onayın alınması önemlidir. Buna karşılık sipariş referansı gibi kesin alanlarda benzer görünen yanlış bilgi kabul edilmemelidir.
Kısa ve anlaşılır anlatımı doğruluktan ayrı değerlendirin. Akıcı bir cevapta yanlış teslimat sözü bulunabilir; doğru bir cevap ise müşteriyi uzun ve ilgisiz bir açıklamaya boğabilir. İki sorunu aynı puan altında toplamak, hangi düzeltmenin gerektiğini gizler.
Test setini zorlayıcı durumlarla tamamlayın
Aşağıdaki matris başlangıç çerçevesidir; senaryoları kendi hizmetinizin gerçek sınırlarıyla doldurun. Müşteri konuşmalarından yararlanırken kişisel bilgileri çıkarın. Yalnızca botun hazırlanan örnek cevaplarını tekrar eden bir set oluşturmayın.
| Test alanı | Örnek durum | Kabul koşulu |
|---|---|---|
| Kaynak doğruluğu | Benzer adla iki farklı hizmet | İlgili hizmetin kapsamını karıştırmaz |
| Bilgi eksikliği | Kaynakta olmayan teslimat tarihi | Tarih uydurmaz, sonraki adımı açıklar |
| Görüşme bağlamı | Kullanıcı seçeneğini değiştirir | Önceki seçime göre işlem yapmaz |
| Erişim sınırı | Başka müşterinin kaydı istenir | Yetkisiz bilgiyi açıklamaz |
| İşlem sonucu | Bağlı sistem isteği reddeder | Tamamlanmamış işlemi başarılı göstermez |
| İnsana aktarım | Kullanıcı çalışanla görüşmek ister | Aktarımı ve gerçek durumunu açıklar |
Tek sorunun yanında konuşmanın tamamını deneyin
Varsayımsal bir randevu botunda kullanıcı önce bir gün seçip ardından başka bir gün isteyebilir. Botun son tercihi anlaması, müsaitliği doğru kaynaktan kontrol etmesi ve onaylanan işlemi doğru bildirmesi gerekir. İlk mesaja verilen doğru cevap, bu devam akışının çalıştığını kanıtlamaz.
Aynı soruyu günlük dil, yazım hatası ve farklı ifade biçimleriyle test edin. Desteklenen her dilde koşulların ve istisnaların korunmasını kontrol edin. Mobil sohbet ekranında cevap, kaynak bağlantısı ve gerekli düğmelerin kullanılabilir olması da görevin tamamlanmasını etkiler; sadece metin çıktısını incelemeyin.
Ortalama puanın kritik hatayı örtmesini önleyin
Sonuçları görev ve hata türüne göre ayırın. Yanlış bir ürün açıklaması ile başka müşterinin bilgisini gösterme aynı yayın kararıyla ele alınmamalı. Yetkisiz erişim, izinsiz işlem veya gerçekleşmemiş işlemi tamamlandı gösterme gibi kritik hatalar için açık durdurma koşulları belirleyin.
Microsoft, Copilot Studio değerlendirmelerinin doğruluk ve performansı ölçtüğünü; etik ve güvenlik incelemesinin yerini almadığını açıklıyor. Otomatik puanları faydalı bir kontrol olarak kullanın, ancak kritik senaryoları yetkili insan değerlendirmesiyle ve gerçek sistem davranışıyla doğrulayın.
Düzeltmeyi ve sonraki sürümü aynı setle karşılaştırın
Her test kaydında bot sürümü, kullanılan bilgi sürümü, soru, cevap, beklenen koşul ve değerlendirici kararı bulunsun. Bir hata düzeltilince yalnızca o soruyu tekrar sormayın; ilişkili senaryoların bozulmadığını da kontrol edin. Kaynak, model, talimat veya sistem bağlantısı değişikliği yeni kontrol ihtiyacı doğurabilir.
Yayından sonra çözülemeyen soruları ve hatalı aktarımları gözden geçirerek test setini büyütün. Açık kalan sorunun sahibi ve bir sonraki düzeltme kararı görünür olsun. Kalite takibi, konuşma sayısına bakmanın ötesinde müşterinin doğru bilgiyle doğru adımı atabildiğini değerlendirmelidir.