Bir AI demosu etkileyici olabilir; pilot ise aynı deneyimin gerçek işte uygulanıp uygulanamayacağını araştırır. Bu nedenle başarıyı yalnızca doğru cevap örnekleriyle tanımlamak eksik kalır. Pilot başlamadan hangi işin, hangi kullanıcıyla, hangi sınırlar içinde değerlendirileceği yazılmalıdır. Böylece sonuç, projeyi beğenip beğenmeme tartışmasından uygulanabilir bir karara dönüşür.
Pilotun cevaplayacağı tek ana soruyu yazın
“AI’ı şirkete adapte etmek” çok geniştir. “Gelen teknik taleplerin ön incelemesini ekip için yararlı biçimde hazırlayabilir miyiz?” daha sınırlı bir sorudur. Pilotun yaptığı iş kadar yapmadığı işler de netleşmelidir. Müşteriye otomatik gönderim yoksa bu özellik başarı ölçümüne dahil edilmemelidir.
İşin bugün nasıl yapıldığını kaydedin. Bekleme, kontrol ve düzeltme adımlarını atlamayın. Başlangıç görünümü olmadan yeni akışın daha iyi mi, sadece farklı mı olduğunu anlamak zorlaşır. Ölçülmeyen alanları varsayım olarak tutun.
Kabul koşullarını dört düzeyde belirleyin
Tek bir doğruluk yüzdesi operasyonun tamamını anlatmaz. Kalitenin yanında ekip kullanımı, hata çözümü ve işin tamamlanması da değerlendirilmelidir. Aşağıdaki alanların her biri için gözlenebilir bir koşul yazın.
| Düzey | Değerlendirme sorusu | Kanıt örneği |
|---|---|---|
| Çıktı | Sonuç beklenen işi destekliyor mu? | Etiketlenmiş değerlendirme örnekleri |
| Süreç | Hatalı kayıt tamamlanabiliyor mu? | İstisna ve kurtarma kaydı |
| Kullanıcı | Ekip çıktıyı günlük işinde kullanıyor mu? | Gözlem ve düzeltme nedenleri |
| İşletme | Yük veya gecikme anlamlı biçimde değişiyor mu? | Aynı kapsamlı önce–sonra inceleme |
Test setini kolay örneklerden oluşturmayın
Normal işler, eksik girdiler, farklı diller ve kapsam dışı talepler pilotun gerçekliğini etkiler. Her örneğin beklenen sonucunu veya kabul edilebilir sınırını değerlendirme öncesinde belirleyin. Ekibin kendi arasında anlaşamadığı örnekler, tanım eksikliğini ortaya çıkarabilir.
Varsayımsal bir bilgi asistanında doğru yanıt kadar yanıt vermemesi gereken sorular da test edilmelidir. Kaynakta bulunmayan bilgiye makul görünen cevap üretmek başarılı sayılmaz. Böyle bir pilot, sistemin sınırlarını görünür hale getirdiğinde de değerli bilgi üretir.
Devam, daraltma ve durdurma seçeneklerini açık tutun
Pilot sonrasında gözlemleri, sınırlamaları ve karar gerekçesini ayrı yazın. Az sayıda örneğin bütün üretim ortamını temsil ettiğini iddia etmeyin. Yeni kapsamın hangi ek testi gerektirdiğini belirtin. Kullanıcıların sistem dışına dönmesinin nedenini incelemeden benimseme sorunu diye etiketlemeyin.
Devam kararı için operasyon sahibi, bakım sorumlusu ve izleme düzeni belirlenmiş olmalıdır. Daraltma, yalnızca belirli belge veya talep türlerinde çalışmak anlamına gelebilir. Durdurma da kaynakları yanlış işe bağlamamak için geçerli sonuçtur. Pilotun görevi koşulsuz yaygınlaşmayı onaylamak değil, doğru sonraki adımı göstermektir.
Pilot ekibinin hangi koşullarda sistemi durdurabileceğini de yazın. Hata görüldüğünde inceleme bitene kadar mevcut yönteme dönmek mümkün olmalıdır. Böylece deney devam ederken günlük işin sorumluluğu ve müşteri beklentisi belirsiz kalmaz.