Gereksiz tarama analizi, doğrulanmış bot isteklerini URL gruplarına ayırıp tekrar, hata ve önemsiz varyasyonların kaynağını bulur. Önce önemli içerikte gerçekten keşif veya yenileme gecikmesi olup olmadığını araştırın. Küçük bir sitede indeksleme ayarı veya içerik sorunu varken yalnızca tarama sayısını düşürmek doğru ilk hedef değildir.
Önce bu incelemenin sitenize uygunluğunu değerlendirin
Google'ın tarama bütçesi rehberi özellikle büyük ve sık güncellenen siteleri ele alır. Sitenizin temel sorunu yetersiz içerik veya yanlış yayın ayarıysa tarama bütçesi analizi ilk öncelik olmayabilir. Yeni sayfaların keşfi, önemli değişikliklerin görülmesi ve sunucu erişimiyle ilgili somut belirtileri yazın.
Bir sorunun gerçekten taramayla ilişkili olduğuna dair hangi kanıt bulunduğunu belirleyin. Önemli sayfanın yeni olması, düşük ziyaret alması veya tek bir gün raporda görünmemesi aynı anlama gelmez. İncelemeye başlamadan beklenen içerik güncelleme düzeni ile mevcut gözlemi karşılaştırın.
Veriyi doğru tarayıcı ve doğru dönemle sınırlandırın
Aynı dönem için Search Console tarama istatistiklerini ve erişilebilen CDN veya sunucu kayıtlarını alın. Ana makine adı, zaman dilimi, URL yolu, durum kodu ve yanıt süresi aynı biçimde kaydedilsin. CDN yalnızca origin’e geçen istekleri gösteriyorsa önbellekten dönen isteklerin eksik olduğunu rapora yazın.
User-Agent içinde Googlebot yazması tek başına doğrulama değildir. Google’ın yayımladığı IP aralıkları veya ters ve ileri DNS doğrulaması gibi resmi yöntemlerden uygun olanını kullanın. Sonra HTML, görsel ve kaynak isteklerini ayırın; farklı bot ve dosya türlerini tek toplamda karıştırmak URL üretiminin sorunlu kısmını gizleyebilir. Aynı URL’ye farklı botların isteklerini ayrı tutmak, Googlebot gecikmesiyle reklam açılış kontrolünü karıştırmayı önler.
Adresleri teknik biçimden çok davranışına göre sınıflandırın
Sıralama, filtre, arama, sayfalama, eski adres ve gerçek içerik gruplarını ayrı inceleyin. Her grupta istek yoğunluğu, yanıt durumu ve kullanıcı görevi birlikte değerlendirilsin. Aynı içeriğe giden çok sayıda adres ile çok sayıda gerçek ürün sayfası aynı karar gerektirmez.
| Grup | İncelenecek belirti | Karar sorusu |
|---|---|---|
| Tekrarlanan URL varyasyonları | Aynı içerik için çok sayıda yol | Adres üretimi sadeleştirilebilir mi? |
| Eski yönlendirmeler | Gereksiz ara geçişler | İlgili bağlantılar güncellenmeli mi? |
| Hatalı adresler | Tekrarlayan başarısız yanıt | Bu adresleri hangi kaynak üretiyor? |
| Önemli güncel içerik | Beklenen keşif veya yenileme gecikmesi | İçerik ve erişim koşulları uygun mu? |
| Geçici filtreler | Sınırsız veya anlamsız birleşim | İndeks ve tarama amacı net mi? |
İstek sayısını değil gereksiz üretimin kaynağını düzeltin
Aynı ürün listesini üreten sort parametreleri yoğun istek alıyorsa bunları hangi bileşenin bağladığını bulun. Filtrelerin farklı sıralarda URL üretmesini kaynakta düzeltin. Yönlendirme zincirlerinde iç bağlantıyı son hedefe güncelleyin; hata adreslerini üreten bağlantıları onarın.
Önce ve sonra aynı URL grubunun isteklerini ve önemli içerik keşfini karşılaştırın. Robots.txt ile engelleme tarama kaynağını başka sayfalara otomatik aktaran bir yöntem değildir. Başarı, yalnızca toplam isteğin azalmasını değil gereksiz üretimin durmasını ve gerekli sayfaların erişilebilir kalmasını göstermelidir.