Chatbot hatalarını kaynak, bilgi bulma, cevap üretimi ve işlem yetkisi olarak ayırın. Aynı örneklerle tekrar kontrol edilebilen düzeltme yöntemi.
Yanlış cevap veren bir chatbot için ilk refleks daha uzun bir talimat yazmak veya modeli değiştirmek olabilir. Oysa hata eski bir belgeden, yanlış bilginin getirilmesinden, eksik bağlamdan ya da botun bilmediği konuda cevap vermesinden kaynaklanabilir. Önce yanlış cevabı yeniden üretilebilir bir örnek haline getirin. Ardından hatanın hangi aşamada doğduğunu bulup o aşamayı düzeltin.
Yanlış cevabı olay kaydı olarak tanımlayın
Soruyu, ilgili konuşma bağlamını, beklenen cevabı ve beklenen cevabın onaylı kaynağını birlikte kaydedin. “Bot saçmalıyor” yerine “Bu hizmetin teslim süresini eski belgedeki koşulla açıklıyor” gibi bir kayıt teknik ve içerik ekiplerinin aynı sorunu ele almasını sağlar. Gereksiz kişisel bilgileri test setine taşımayın.
NIST'in üretken yapay zekâ profili, sistemlerin hatalı bilgiyi kendinden emin biçimde sunabilmesini ele alır. Bu nedenle düzgün ve ikna edici anlatım doğruluk kontrolünün yerini tutmaz. Hata kaydında cevabın üslubuyla bilgi doğruluğunu ayrı değerlendirin; kibar bir yanlış cevap da düzeltilmesi gereken çıktıdır.
Kaynağı, bulunan bilgiyi ve cevabı ayrı inceleyin
Önce doğru bilginin kaynaklarda bulunup bulunmadığını kontrol edin. Belgeler çelişiyorsa hangi sürümün geçerli olduğuna işletme karar vermelidir. Doğru kaynak mevcutsa sistemin o soruda hangi bilgiye eriştiğini inceleyin. Yanlış bölüm getirilmesi ile doğru bölümün yanlış yorumlanması farklı düzeltmeler gerektirir.
Örnek senaryo: Bir hizmet asistanı, standart destek ile özel proje desteğini karıştırıyor. İki belgenin isimleri benziyor, ancak kapsamları farklı. Kaynak başlıkları ve kapsam sınırları netleştirilip ilgili sorular tekrar sınanabilir. Bu varsayımsal örnekte yalnızca “daha dikkatli ol” talimatı eklemek, belge belirsizliğini ortadan kaldırmaz.
Hata türüne uygun bir düzeltme seçin
Aşağıdaki tabloyu kendi konuşma örneklerinizle doldurun. Her düzeltmenin sahibi ve kontrol örneği olsun. Bütün sorunları tek bir genel talimata eklemek zamanla birbiriyle çelişen kurallar üretebilir; önce bilgi ve iş akışındaki sınırları sadeleştirin.
| Hata türü | Kontrol | Düzeltme odağı |
|---|---|---|
| Eski veya çelişkili bilgi | Geçerli kaynak belli mi? | İçerik sahipliği ve sürüm temizliği |
| Yanlış bilgi getiriliyor | Soruyla ilgili bölüm bulunuyor mu? | Bilgi düzeni ve getirme yöntemi |
| Doğru bilgi yanlış aktarılıyor | Kaynak ile cevap karşılaştırıldı mı? | Cevap kuralları ve değerlendirme örnekleri |
| Kapsam dışında kesin cevap | Devretme koşulu var mı? | Sınır ve insana aktarma davranışı |
| Yapılmayan işlem yapılmış deniyor | Gerçek işlem sonucu mevcut mu? | Araç sonucu ve onay mesajının eşleşmesi |
Düzeltmeden sonra hem hatayı hem komşu soruları sınayın
Sadece sorunlu soruyu tekrar sormakla kalmayın. Farklı ifade edilen aynı ihtiyacı, eksik bilgili bir isteği ve yakın fakat kapsam dışı bir soruyu da test edin. Bir düzeltme doğru cevabı iyileştirirken başka bir durumda gereksiz devretme veya yanlış kesinlik yaratabilir. Sonuçları aynı değerlendirme ölçütüyle kaydedin.
Müşteriye verilen fiyat, randevu veya sipariş değişikliği gibi sonuç doğuran işlerde gerçek sistem kaydını esas alın. Cevap kalitesi kontrolü ile işlem doğrulaması farklı işlerdir. Tekrarlayan hata düzeltilene kadar ilgili yetkiyi daraltmak veya o konu için insan desteğine geçmek uygulanabilir olabilir. Böylece tüm asistanı kapatmadan sorunlu işin sınırını yönetebilirsiniz.