Google'dan John Mueller, web yöneticileri için kalıcı ve çoğu zaman kafa karıştırıcı bir soruna ışık tuttu: Google Search Console'da bildirilen "hayalet noindex hataları". Bu hatalar, Search Console bir sayfanın `noindex` yönergesi nedeniyle dizine eklenmesinin engellendiğini belirtirken, site sahiplerinin sayfalarının HTML kodunda böyle bir etiket bulamaması durumunda ortaya çıkar. Mueller, bu görünüşte görünmez dizine ekleme engellemelerinin gerçekten var olduğunu ve teşhis edilmesinin zor olabileceğini doğruladı.

Google Search Console'da Noindex Yönergelerini Anlamak

Bir `noindex` robots yönergesi, Google gibi arama motorlarına belirli bir sayfayı dizinlerine dahil etmemelerini söyleyen güçlü bir komuttur. Site sahiplerinin Google'ın web tarayıcısı Googlebot'un içerikleriyle nasıl etkileşim kurduğunu doğrudan kontrol edebildiği birkaç yoldan biridir. Ancak, Google Search Console (GSC) "Gönderilen URL 'noindex' olarak işaretlendi" şeklinde rapor verdiğinde yaygın ve kafa karıştırıcı bir senaryo ortaya çıkar. Bu mesaj bir çelişki sunar:
  • Site sahibi genellikle sayfayı site haritasına dahil ederek dizine eklenmesini talep eder.
  • Aynı anda, GSC sayfanın bir `noindex` yönergesi aracılığıyla dizine eklenmemesi için bir sinyal gönderdiğini rapor eder.
Bu durum, yayıncı veya SEO uzmanının kod düzeyinde herhangi bir `noindex` etiketini kolayca gözlemleyememesi nedeniyle özellikle sinir bozucu olabilir, bu da hatanın bir "hayalet" gibi görünmesine neden olur. Bluesky'deki bir kullanıcı bu sorunu tam olarak vurgulayarak şunları belirtti:

"Son 4 aydır web sitesi, Search Console'dan kaybolmayı reddeden bir noindex hatası ('robots' meta etiketinde) yaşıyor. Web sitesinde veya robots.txt'de hiçbir yerde noindex yok. Bunu zaten inceledik… Bu hataya ne sebep olabilir?"

Bu sorgu, bu görünmez dizine ekleme engellemeleriyle mücadele eden birçok web yöneticisinin karşılaştığı ikilemi özetlemektedir.

Mueller Gizli Noindex Sinyallerini Doğruladı

Bu tür sorgulara yanıt olarak, Google'dan John Mueller, incelediği durumlarda, yalnızca Google tarafından görülebilse bile her zaman bir `noindex` yönergesinin mevcut olduğunu açıkladı.

"Geçmişte gördüğüm vakalarda aslında bir noindex vardı, sadece bazen yalnızca Google'a gösteriliyordu (bu yine de hata ayıklaması çok zor olabilir). Bununla birlikte, bana bazı örnek URL'ler göndermekten çekinmeyin."

Mueller bu gizli yönergelerin arkasındaki belirli mekanizmaları detaylandırmasa da, açıklaması birçok SEO uzmanının deneyimini doğrulamakta ve sorunun farklı aracıların (insan tarayıcıları ve Googlebot) sayfayı nasıl algıladığında yattığını düşündürmektedir.

Hayalet Noindex Hatalarını Giderme

Bu ele geçmez `noindex` hatalarını teşhis etmek, yönergenin belirli koşullar altında veya beklenmedik kaynaklardan sunulabileceği için sistematik bir yaklaşım gerektirir.

Sunucu Tarafı Önbellekleme ve CDN Sorunlarını Kontrol Edin

Yaygın bir suçlu, sunucu tarafı önbellekleme veya Cloudflare gibi İçerik Dağıtım Ağları (CDN'ler) olabilir. Bir sayfa bir noktada bir `noindex` etiketine sahip olmuş olabilir ve bir önbellekleme eklentisi veya CDN, özellikle siteyi sık sık ziyaret eden Googlebot'a bu `noindex` yönergesini içeren HTTP başlıklarının eski bir sürümünü sunuyor olabilir. Bu sırada, site sahibinin tarayıcısına yeni, dizine eklenebilir bir sürüm sunulur. HTTP başlık yanıtını kontrol etmek çok önemli bir ilk adımdır. KeyCDN'in HTTP Başlık Denetleyicisi veya SecurityHeaders.com gibi araçlar yardımcı olabilir. CDN'lerin bazen çeşitli başlık denetleyicilerine farklı yanıtlar verebileceğini belirtmekte fayda var. Örneğin, Cloudflare bir denetleyiciye 520 sunucu yanıt kodu (engellenen bir kullanıcı aracısını gösterir) gönderebilirken, bir diğeri 200 (OK) yanıtı alabilir. Birden fazla araçla test yapmak bu tür tutarsızlıkları ortaya çıkarabilir.

Google'ın Zengin Sonuçlar Testini Kullanın

Bir sayfayı Googlebot'un gördüğü gibi görmek için Google Zengin Sonuçlar Testi paha biçilmez bir araçtır. Bu teste bir URL gönderdiğinizde:
  • İstek, gerçek bir Google IP adresi kullanarak Google'ın veri merkezlerinden kaynaklanır.
  • Ters DNS kontrollerini geçer, yani sunucunuz, güvenlik eklentiniz veya CDN'niz IP'yi doğrularsa, googlebot.com veya google.com'a geri çözümlenir.
Bu test, bir Google tarayıcısı gönderecek ve HTTP yanıtını, web sayfasının anlık görüntüsünü ve yapılandırılmış veri sorunlarını raporlayacaktır. Google için bir `noindex` yönergesi mevcutsa, araç muhtemelen "Sayfa uygun değil" veya "Tarama başarısız oldu" gösterecektir. Hata bölümünü genişletmek "Robots meta etiketi: noindex" veya benzerini ortaya çıkarmalıdır. Bu yöntem, sunucu engellemesi IP adresine dayalı olsa bile etkilidir, çünkü Google-InspectionTool/1.0 kullanıcı aracısı dizesini kullanır.

Googlebot Kullanıcı Aracısını Taklit Edin

Googlebot'u engellemek için özel olarak yapılandırılmış bir hatalı `noindex` etiketi olabileceği durumlarda, Googlebot kullanıcı aracısı dizesini taklit edebilirsiniz. Bu, Chrome için Kullanıcı Aracısı Değiştirici gibi tarayıcı eklentileri kullanılarak veya Screaming Frog gibi masaüstü uygulamalarını kendilerini Googlebot olarak tanıtacak şekilde yapılandırarak yapılabilir. Bu yaklaşım, kullanıcı aracısına göre koşullu olarak sunulan `noindex` yönergelerini ortaya çıkarmaya yardımcı olabilir. CDN'lerin tarama ve SEO'yu nasıl etkileyebileceği hakkında daha fazla bilgi için Google CDN'lerin Tarama ve SEO'yu Nasıl Etkilediğini Açıklıyor başlıklı makaleye bakabilirsiniz. Ek olarak, `robots.txt` ve `noindex` ile `disallow` arasındaki incelikleri anlamak faydalı olabilir: Google Robots.txt Hakkında: Noindex mi Disallow mu Kullanmalı?. Hayalet `noindex` hatalarını teşhis etmek sinir bozucu olsa da, bu sorun giderme adımları sayfalarınızın dizine eklenmesini engelleyen gizli nedenleri belirlemek için kapsamlı bir yol sunar.