Google Arama Savunucusu John Mueller, yapay zeka tarayıcılarına doğrudan Markdown dosyaları sunma fikrini kesin bir dille reddederek bunu “aptalca bir fikir” olarak nitelendirdi. Bu güçlü tepki, bazı geliştiricilerin büyük dil modeli (LLM) botları için jeton kullanımını azaltmak amacıyla bu yöntemi araştırmasıyla ortaya çıktı ve teknik SEO topluluğunda önemli bir tartışma başlattı.

Botlar İçin Markdown Önerisi

Bu konsept, GPTBot ve ClaudeBot gibi yapay zeka kullanıcı aracılarını tespit etmek için Next.js gibi bir ara yazılım kullanmayı içeriyor. Bu botlar bir sayfaya eriştiğinde, ara yazılım isteği yakalayacak ve tam HTML veya React yükü yerine ham bir Markdown dosyası sunacaktır. Destekçiler, erken karşılaştırmalı testlerin sayfa başına jeton kullanımında %95'lik kayda değer bir azalma gösterdiğini ve bunun, bir sitenin geri çağırma artırılmış üretim (RAG) botları için alım kapasitesini artırabileceğini savunuyor.

Mueller'in Güçlü Muhalefeti

Ancak Mueller, Reddit'te anında teknik endişelerini dile getirdi. LLM tarayıcılarının Markdown'ı düz bir metin dosyasından başka bir şey olarak tanıyıp tanıyamayacağını sorgulayarak şunları sordu:

“Bir web sitesindeki MD'yi bir metin dosyasından başka bir şey olarak tanıyabildiklerinden emin misiniz? Bağlantıları ayrıştırıp & takip edebilirler mi? Sitenizin dahili bağlantılarına, başlığına, alt bilgisine, kenar çubuğuna, navigasyonuna ne olacak? Manuel olarak bir MD dosyası vermek başka bir şey, bir HTML sayfası ararken onlara bir metin dosyası sunmak çok farklı görünüyor.”

Onun Bluesky'deki yorumları daha da doğrudan oldu. Sayfaları Markdown'a dönüştürmenin anlam ve yapıyı nasıl ortadan kaldırdığını vurgulayan teknik SEO danışmanı Jono Alderson'a yanıt olarak Mueller şunları söyledi:

“Sayfaları markdown'a dönüştürmek o kadar aptalca bir fikir ki. LLM'lerin resimleri okuyabildiğini biliyor muydunuz? NEDEN TÜM SİTENİZİ BİR RESME DÖNÜŞTÜRMÜYORSUNUZ?”

Alderson da bir sayfayı Markdown'a dönüştürmenin kritik bağlamı ve yapıyı feda ettiğini, bunu sürdürülebilir bir stratejiden ziyade kısa vadeli bir kolaylık olarak gördüğünü vurguladı.

Daha Geniş Endişeler ve Doğrulanmamış İddialar

Reddit tartışmasındaki diğer uzmanlar da bu endişeleri dile getirdi. Bir yorumcu, böyle bir çabanın taramayı geliştirmek yerine istemeden sınırlayıp sınırlamayacağını sorguladı ve LLM'lerin daha az kaynak yoğun belgeleri önceliklendirmek üzere eğitildiğine dair kanıt eksikliğine dikkat çekti. Orijinal geliştirici teoriyi savunarak LLM'lerin kod depoları üzerindeki yoğun eğitimleri nedeniyle Markdown'ı daha iyi ayrıştırdığını öne sürse de, bu iddia doğrulanmamış durumda.

Mueller'in Yapay Zeka İçeriği Konusundaki Tutarlı Durumu

Mueller bu konuyu ilk kez ele almıyor. Daha önce Lily Ray'in LLM'ler için ayrı Markdown veya JSON sayfaları hakkındaki bir sorusuna yanıt vermiş ve aynı pozisyonu korumuştu: yalnızca botlara özel içerik kopyaları oluşturmak yerine temiz HTML ve yapılandırılmış verilere odaklanın. Bu tavsiye, SE Ranking'in 300.000 alan adı üzerindeki analizleriyle uyumlu olup, llms.txt dosyasına sahip olmak ile bir alan adının LLM yanıtlarındaki atıf sıklığı arasında bir korelasyon bulunmadığını ortaya koymuştur. Ayrıca, Mueller, llms.txt'yi modası geçmiş anahtar kelimeler meta etiketine benzetmiştir; bu format, büyük platformlar tarafından sıralama veya atıflar için resmi olarak kullanılmamaktadır.

Geleceğe Bakış: En İyi Uygulamalara Bağlı Kalmak

Şu an itibarıyla, kamuya açık platform belgeleri, web sayfalarının Markdown versiyonları gibi yalnızca botlara özel formatların arama sıralamasını veya yapay zeka atıflarını iyileştirdiğine dair herhangi bir gösterge sunmamaktadır. Mueller'in birden fazla tartışmadaki tutarlı itirazları, SE Ranking'in verileriyle birleştiğinde bu görüşü pekiştirmektedir. Bir yapay zeka platformu, web sayfalarının Markdown versiyonlarını talep eden resmi spesifikasyonları yayınlayana kadar, yerleşik en iyi uygulamalar geçerliliğini korumaktadır: temiz HTML'yi koruyun, içerik ayrıştırmayı engelleyen gereksiz JavaScript'i en aza indirin ve platformların belgelenmiş şemaları olduğu yerlerde yapılandırılmış verilerden yararlanın.