Robots.txt ile noindex farkı şudur: robots.txt tarayıcının URL’yi istemesini, noindex ise erişilen içeriğin arama dizininde tutulmasını yönetir. Google’ın noindex talimatını görmesi için sayfayı tarayabilmesi gerekir. Bu yüzden aynı URL’yi robots.txt ile engelleyip noindex eklemek, Google’da görünmemesini güvenceye almaz.
Tarama ile indeksleme için ayrı karar verin
Hedef sayfa herkese açık kalacak ama Google’da yer almayacaksa noindex uygulayın ve Googlebot’un bu talimatı okuyabildiğini kontrol edin. HTML için robots meta etiketi, PDF gibi kaynaklar için X-Robots-Tag HTTP başlığı kullanılabilir. Noindex’i robots.txt dosyasına yazmak Google’ın desteklediği bir yöntem değildir.
Amaç gereksiz filtre veya sıralama URL’lerinin taranmasını azaltmaksa robots.txt ayrı bir araçtır. Ancak engellenen bir adres başka bağlantılarla keşfedilirse içerik okunmadan aramada görünebilir. Önceden indekslenmiş bir sayfayı kaldırma işiyle gelecekteki gereksiz taramayı azaltma işini aynı değişiklik olarak tasarlamayın.
İstenen sonuca göre yöntem seçin
Tablodaki yöntemi uygulamadan önce URL’nin mevcut yanıtını ve indeks durumunu kaydedin. HTML sayfasında head bölümünü, PDF’de dosyanın HTTP başlığını kontrol edin. Sonra aynı URL üzerinde değişikliği test edin; yönetim panelindeki ayar, ziyaretçiye giden gerçek yanıtı tek başına doğrulamaz. Geniş robots desenini, etkilenmemesi gereken örnek bir hizmet adresiyle de sınayın.
| İhtiyaç | Yöntem | Doğrulama |
|---|---|---|
| Gereksiz filtre taraması | Uygun robots.txt deseni | Önemli URL ve kaynaklar kapsam dışında mı? |
| Açık HTML’i indeks dışında tutmak | Taranabilir noindex meta etiketi | Google talimatı okuyabiliyor mu? |
| Açık PDF’yi indeks dışında tutmak | X-Robots-Tag yanıt başlığı | Başlık dosyanın gerçek yanıtında var mı? |
| Özel içerik | Kimlik doğrulama ve yetki | Yetkisiz istek içerik alamıyor mu? |
| Kalıcı adres taşıması | İlgili hedefe kalıcı yönlendirme | Son hedef doğru içeriği veriyor mu? |
Aramada görünmemeyi gizlilik gibi kullanmayın
Google'ın içerik paylaşımını kontrol etme rehberi, özel içerik için parola korumasını ayrı bir yöntem olarak ele alır. Arama sonucu dışında kalmak, doğrudan bağlantıyla erişimi engellemez. Müşteri belgesi veya şirket içi panel için gerçek yetkilendirme ihtiyacını teknik kapsamda ayrıca belirleyin.
Örnek senaryo: Bir firma teklif PDF'lerini herkese açık klasörde tutup yalnızca indekslemeyi kapatıyor. Dosya adresini bilen kişi hâlâ erişebilir. Bu varsayımsal örnekte çözüm bir SEO etiketi daha eklemek değil erişim sınırını doğru sistemle kurmaktır.
Değişikliği örnekler ve geri dönüş koşuluyla uygulayın
Etkilenecek URL, etkilenmeyecek ürün sayfası ve benzer adlı başka dizin için örnekler seçin. Robots.txt desenini bu örneklerle test edin; geniş bir engelin CSS, JavaScript veya önemli ürün adreslerini kapsamadığını doğrulayın. Noindex için sayfa kaynağını ve yanıt başlıklarını birlikte okuyun; bir katmandaki index tercihi başka katmandaki noindex’i otomatik iptal etmez.
Değişiklik sonrası canlı kontrolde talimatın erişilebilir olduğunu doğrulayın, ardından Google’ın sonraki taramasındaki sonucu izleyin. Acil arama sonucu kaldırma aracı geçici görünürlük işlemleri içindir; özel dosyaların yetkilendirmesi veya kalıcı yayın kararı yerine geçmez. Her değişiklikte kuralın kaynağını, tarihini ve hangi ihtiyacı karşıladığını kaydedin.