Chatbot yanlış cevap veriyorsa önce doğru bilginin belgelerde bulunup bulunmadığını kontrol edin. Ardından botun hangi bölümü kullandığını ve bu bilgiyi nasıl aktardığını inceleyin. Eski kaynak, yanlış bilgi seçimi ve cevabın yanlış yorumlanması aynı sorun değildir; modeli değiştirmeden önce hatanın yerini bulun.
Yanlış cevabı örneğiyle kaydedin
Soruyu, ilgili konuşma bağlamını, beklenen cevabı ve beklenen cevabın onaylı kaynağını birlikte kaydedin. “Bot saçmalıyor” yerine “Bu hizmetin teslim süresini eski belgedeki koşulla açıklıyor” gibi bir kayıt teknik ve içerik ekiplerinin aynı sorunu ele almasını sağlar. Gereksiz kişisel bilgileri test setine taşımayın.
NIST'in üretken yapay zekâ profili, sistemlerin hatalı bilgiyi kendinden emin biçimde sunabilmesini ele alır. Bu nedenle düzgün ve ikna edici anlatım doğruluk kontrolünün yerini tutmaz. Hata kaydında cevabın üslubuyla bilgi doğruluğunu ayrı değerlendirin; kibar bir yanlış cevap da düzeltilmesi gereken çıktıdır.
Kaynak → bulunan bilgi → cevap zincirini inceleyin
Temsili hata: Bot standart destek süresini özel proje teslim süresi gibi söylüyor. Önce onaylı belgede doğru koşulu bulun. Botun kullandığı bölüm standart desteğe aitse bilgi seçimi veya belge ayrımı; doğru bölüm kullanılmış ama koşul atlanmışsa cevabın oluşturulması incelenir.
Hata kaydına soru, beklenen cevap, kullanılan belge bölümü ve verilen cevabı yan yana ekleyin. Yalnız son yanıtı saklamak teşhisi zorlaştırır. Bilgi kaynakları çelişiyorsa geçerli sürümü önce içerik sahibi belirlesin; botun çelişkiyi kendiliğinden çözmesini beklemeyin.
- Kaynak yoksa: Onaylı bilgiyi ekleyin veya bu konuda insana aktarın.
- Kaynak eskiyse: Güncelleyin ve eski sürümün kullanılmasını kontrol edin.
- Yanlış bölüm seçildiyse: Belge başlıklarını ve bilgi getirme yolunu inceleyin.
- Doğru bölüm yanlış özetlendiyse: Beklenen cevabı test örneğine ekleyin ve ilgili cevap kuralını düzeltin.
Hata türüne göre düzeltme yapın
Aşağıdaki tabloyu kendi konuşma örneklerinizle doldurun. Her düzeltmenin sahibi ve kontrol örneği olsun. Bütün sorunları tek bir genel talimata eklemek zamanla birbiriyle çelişen kurallar üretebilir; önce bilgi ve iş akışındaki sınırları sadeleştirin.
| Hata türü | Kontrol | Düzeltme odağı |
|---|---|---|
| Eski veya çelişkili bilgi | Geçerli kaynak belli mi? | İçerik sahipliği ve sürüm temizliği |
| Yanlış bilgi getiriliyor | Soruyla ilgili bölüm bulunuyor mu? | Bilgi düzeni ve getirme yöntemi |
| Doğru bilgi yanlış aktarılıyor | Kaynak ile cevap karşılaştırıldı mı? | Cevap kuralları ve değerlendirme örnekleri |
| Kapsam dışında kesin cevap | Devretme koşulu var mı? | Sınır ve insana aktarma davranışı |
| Yapılmayan işlem yapılmış deniyor | Gerçek işlem sonucu mevcut mu? | Araç sonucu ve onay mesajının eşleşmesi |
Aynı soruyu ve benzerlerini yeniden test edin
Sadece sorunlu soruyu tekrar sormakla kalmayın. Farklı ifade edilen aynı ihtiyacı, eksik bilgili bir isteği ve yakın fakat kapsam dışı bir soruyu da test edin. Bir düzeltme doğru cevabı iyileştirirken başka bir durumda gereksiz devretme veya yanlış kesinlik yaratabilir. Sonuçları aynı değerlendirme ölçütüyle kaydedin.
Müşteriye verilen fiyat, randevu veya sipariş değişikliği gibi sonuç doğuran işlerde gerçek sistem kaydını esas alın. Cevap kalitesi kontrolü ile işlem doğrulaması farklı işlerdir. Tekrarlayan hata düzeltilene kadar ilgili yetkiyi daraltmak veya o konu için insan desteğine geçmek uygulanabilir olabilir. Böylece tüm asistanı kapatmadan sorunlu işin sınırını yönetebilirsiniz.