Tarama kontrolü ile arama indeksinden çıkarma ihtiyacını ayırın. Robots.txt, noindex ve özel içerik erişimi için karar ve doğrulama rehberi.
“Bu sayfa Google'da görünmesin” ile “Bu adresler taranmasın” aynı istek değildir. Yanlış aracı seçmek, istediğiniz sonucu sağlamayabilir veya önemli sayfaların keşfini etkileyebilir. Bir kural eklemeden önce hedefi açıkça yazın: tarama yükünü yönetmek, herkese açık bir sayfayı indeks dışında tutmak ya da özel bilgiye erişimi sınırlamak. Bu üç ihtiyacın kontrol yöntemi farklıdır.
Tarama ile indeksleme için ayrı karar verin
Robots.txt, ilgili tarayıcıların hangi URL'leri isteyebileceğine yönelik kurallar taşır. Noindex ise destekleyen arama motorlarına içeriği indekslememeleri yönünde verilen talimattır. Google'ın belgeleri, robots.txt ile engellenen bir sayfanın noindex talimatının görülemeyebileceğini açıklar. Dolayısıyla iki kuralı birlikte eklemek daha güçlü bir indeks engeli anlamına gelmez.
Kapsamı bir URL grubu üzerinden düşünün. Ürün sayfaları, sıralama seçenekleri, test içerikleri ve müşteriye özel belgeler aynı kurala bağlanmamalıdır. Ekibin “arama görünürlüğü” ile “tarama isteği” kavramlarını aynı anlamda kullanması, başlangıçtaki hatalı kararın kaynağı olabilir.
İstenen sonuca göre yöntem seçin
Aşağıdaki tablo bir uygulama kodu değil karar başlangıcıdır. Gerçek kural, URL yapısı ve mevcut durum incelenerek hazırlanmalıdır. Özellikle geniş eşleşme kullanan bir değişikliğin başka hangi sayfaları etkileyebileceğini kontrol edin.
| İhtiyaç | Değerlendirilecek yöntem | Doğrulama sorusu |
|---|---|---|
| Gereksiz URL taramasını yönetmek | Robots.txt kuralları | Önemli sayfalar yanlışlıkla kapsanıyor mu? |
| Açık sayfayı indeks dışında tutmak | Erişilebilir noindex talimatı | Tarayıcı talimatı görebiliyor mu? |
| Özel bilgiyi korumak | Kimlik doğrulama ve erişim kontrolü | Yetkisiz kişi içeriğe ulaşabiliyor mu? |
| Kalıcı taşınan adresi karşılamak | Uygun yönlendirme planı | Kullanıcı doğru eşdeğere ulaşıyor mu? |
Aramada görünmemeyi gizlilik gibi kullanmayın
Google'ın içerik paylaşımını kontrol etme rehberi, özel içerik için parola korumasını ayrı bir yöntem olarak ele alır. Arama sonucu dışında kalmak, doğrudan bağlantıyla erişimi engellemez. Müşteri belgesi veya şirket içi panel için gerçek yetkilendirme ihtiyacını teknik kapsamda ayrıca belirleyin.
Örnek senaryo: Bir firma teklif PDF'lerini herkese açık klasörde tutup yalnızca indekslemeyi kapatıyor. Dosya adresini bilen kişi hâlâ erişebilir. Bu varsayımsal örnekte çözüm bir SEO etiketi daha eklemek değil erişim sınırını doğru sistemle kurmaktır.
Değişikliği örnekler ve geri dönüş koşuluyla uygulayın
Kuraldan önce etkilenecek adreslerden ve etkilenmemesi gereken adreslerden örnekler seçin. Değişiklik sonrası ikisini de kontrol edin. Bir test ortamından üretime taşınan kural veya yanlış desen, yalnızca hedef sayfayı değil bütün bir bölümü etkileyebilir.
Talimatın kaynağını da kaydedin: içerik yönetimi ayarı, şablon, sunucu başlığı veya robots.txt dosyası. Aynı karar farklı katmanlarda çelişkili biçimde verilmişse değişikliğin neden sonuç üretmediği anlaşılmaz. Sonuçları kontrol tarihiyle raporlayın; eklenen talimatı Google'ın tamamladığı işlem gibi sunmayın.
Teknik inceleme sonunda hedef, kullanılan yöntem, etkilenen kapsam ve doğrulama örnekleri yazılı olmalıdır. Böylece başka bir ekip siteyi yenilediğinde mevcut kuralın hangi iş ihtiyacını karşıladığını anlayabilir.