Crawl Budget (Tarama Bütçesi) Nedir?
Tarama Bütçesi (Crawl Budget), Googlebot, GPTBot (OpenAI) ve ClaudeBot gibi web tarayıcı (Crawler/Spider) yazılımlarının, belirli bir zaman diliminde web sitenize gelip taramasına izin verilen (veya ayrılan) maksimum sayfa sayısı ve sunucu süresidir. Geleneksel SEO'da dizinlenme (Indexing) problemlerinin bir numaralı faili olduğu gibi, modern Yapay Zeka SEO'sunda (GEO) LLM'lerin sitenizi güncel tutup tutamayacağını belirleyen en kritik performans metriğidir.
Tarama Bütçesi Neden Sınırlıdır?
Google'ın (ve OpenAI'nin) sunucu kaynakları sınırsız değildir. İnternette her gün milyarlarca yeni sayfa üretilir ve eski sayfalar güncellenir. Arama motorları her web sitesini her saniye tarayamaz. Sitenizin otoritesine (PageRank), popülerliğine, sunucu hızınıza ve içeriğinizin güncelleme sıklığına bağlı olarak size matematiksel bir "Bütçe (Limit)" atanır. Örneğin, sitenize günlük atanan bütçe 500 sayfaysa ve sitenizde e-ticaret filtrelerinden dolayı oluşan 10.000 çöp URL varsa; botlar bu çöp URL'leri tarayarak bütçeyi tüketir ve gerçek/yeni ürünlerinizi asla göremezler.
Yapay Zeka (LLMO) Çağında Crawl Budget'ın Evrimi
RAG Motorları ve Timeout Riski
Eskiden Googlebot arka planda günlerce tarama yapabilirdi. Ancak Perplexity veya SearchGPT gibi RAG (Retrieval-Augmented Generation) motorları gerçek zamanlı (Real-time) çalışır. Kullanıcı bir soru sorduğunda, bot sitenizi anında ziyaret edip cevabı çekmek ister. Eğer sitenizin sunucu yanıt süresi (TTFB) yavaşsa veya Javascript dosya boyutlarınız yüksekse, RAG botu "Timeout (Zaman Aşımı)" hatası alır. YZ, beklemeyi sevmez; anında daha hızlı olan rakibinizin sayfasına geçer. Bu doğrudan organik görünürlük kaybıdır.
GPTBot / OAI-SearchBot Stratejisi
Eğer LLM'lerin sitenizden beslenmesini (ve atıf vermesini) istiyorsanız, onların tarama bütçesini verimli kullanmasını sağlamalısınız. OpenAI'nin OAI-SearchBot ajanını sepetinize, admin panelinize veya e-ticaret parametreli URL'lerinize sokarsanız, asıl veri setini (Blog ve Hizmet Sayfalarınızı) tarayacak bütçesi kalmaz.
Tarama Bütçesi Nasıl Optimize Edilir? (Teknik Mimari)
- 1Filtre (Faceted) Navigasyon Kontrolü:E-ticaret sitelerinde (Renk=Kırmızı&Beden=M) gibi parametrelerin yüz binlerce varyasyonu çıkar. Bunların
robots.txtüzerinden "Disallow" edilmesi (veya rel="canonical" etiketlerinin doğru ayarlanması) tarama bütçesi optimizasyonunun %80'ini oluşturur. - 23xx Zincirleri ve 4xx Hataları:A sayfasından B'ye, B'den C'ye giden 301 yönlendirme zincirleri bütçe katilidir. Botlar her yönlendirmede ekstra bir HTTP isteği harcar. Tüm yönlendirmelerin doğrudan hedef URL'ye (A -> C) yapıldığından emin olun ve sitedeki tüm kırık linkleri (404) temizleyin.
- 3Sitemap ve Yetim Sayfalar (Orphan Pages):Sitemap dosyanızda sadece organik trafik hedefleyen (200 OK veren) sayfalar olmalıdır. Siteden hiçbir iç link almayan (Orphan) ancak sitemap'te yer alan sayfalar, Google'a "hangi sayfamın önemli olduğunu bilmiyorum" mesajı verir ve bütçe planlamasını bozar.
Google Search Console Analizi
Sitenizin tarama bütçesini kontrol etmek için Google Search Console'da "Ayarlar -> Tarama İstatistikleri (Crawl Stats)" raporuna gidin. Burada Googlebot'un günde kaç milyon/bin istek attığını, ortalama yanıt süresini (İdeal: < 300ms) ve taramaların hangi dosya tiplerine (HTML, API, CSS) yapıldığını görebilirsiniz.
İlgili Araçlar & Çözümler
Sistem mimarisindeki bu bileşeni test etmek veya optimize etmek için entegre araçlarımızı çalıştırabilirsiniz: