Googlebot Tarama Aşırı Yüklemesi Web Sitesi Sıralamasını Etkiliyor

Bir web sitesi, mevcut olmayan sayfalar için milyonlarca Googlebot isteği aldıktan sonra arama görünürlüğünde önemli bir düşüş yaşadı. Tek bir URL, DDoS saldırısını andıran iki milyondan fazla istek aldı. Yayıncının tarama bütçesi ve sıralama etkisi hakkındaki endişeleri geçerli çıktı.

410 Hatalarını ve Tarama Bütçesini Anlamak

Web sitesi sahibi, mevcut olmayan URL'leri kaldırdı ve 410 (Gitti) durum kodlarını uyguladı. Yalnızca bir sayfanın mevcut olmadığını gösteren 404 hatalarının aksine, 410 hataları sayfanın kalıcı olarak kaldırıldığını ve tekrar taranmaması gerektiğini bildirir. Buna rağmen, Googlebot eksik URL'leri taramaya devam ederek sitenin tarama bütçesini ve potansiyel olarak sıralamalarını etkiledi.

John Mueller'in Görüşleri ve Önerileri

Google'dan John Mueller, Googlebot'un, yanlışlıkla silinmediklerini doğrulamak için kaldırılan sayfaları sürekli olarak yeniden taradığını kabul etti. Bu davranış yardımcı olmayı amaçlasa da, bu gibi durumlarda sorunlu olabilir.

Google, bir zamanlar var olan sayfaları gerçekten uzun bir süre yeniden taramaya çalışır… Bu bir sorun değil… Bununla birlikte, istekler sizi rahatsız ediyorsa, robots.txt ile taramayı engellemek de iyidir.

Ancak Mueller, robots.txt kullanarak bu URL'leri engellemenin, özellikle JavaScript ve JSON yükleri kullananlar olmak üzere, diğer sayfaların oluşturulmasını istemeden etkileyebileceği konusunda uyardı. Bağımlılıkları iyice kontrol etmeyi ve URL'lerin engellenmesinin etkisini simüle etmek için Chrome Geliştirici Araçları'nı kullanmayı tavsiye etti. Search Console'da soft 404 hatalarını izlemek de çok önemlidir.

Dikkat etmem gereken en önemli şey, bunların gerçekten 404/410 döndürmesi ve bazılarının JavaScript gibi bir şey tarafından kullanılmamasıdır…

  • Sorunlu URL'lerin herhangi bir ön uç kodunda veya JSON yüklerinde kullanılmadığını iki kez kontrol edin.
  • URL'lerin engellenmesinin etkisini simüle etmek ve olası sorunları belirlemek için Chrome Geliştirici Araçları'nı kullanın.
  • İstenmeyen sonuçları tespit etmek için Search Console'da soft 404 hatalarını izleyin.

Sıralama Düşüşlerinin Temel Nedenini Bulma

Aşırı Googlebot istekleri sıralama düşüşü için bariz suçlu gibi görünse de, Mueller'in tavsiyesi daha derinlemesine araştırmanın önemini vurguluyor. Bir yayıncı hatası başlangıçta mevcut olmayan sayfaların dizine eklenmesine yol açtı. Arama görünürlüğündeki düşüşe katkıda bulunan diğer olası faktörleri araştırmak çok önemlidir.

Orijinal tartışmayı burada okuyun.