Robots.txt ile noindex Arasındaki Fark Nedir?
Robots.txt, crawler'ın bir kaynağa istek gönderip gönderemeyeceğini yönetir. noindex ise crawler sayfayı okuyabildiğinde sayfanın arama sonuçlarında gösterilmemesini ister. Bu iki mekanizma birbirinin alternatifi değildir.
Request ve index davranışı
| İhtiyaç | Doğru araç | Neden |
|---|---|---|
| Googlebot'un filtre URL'sini crawl etmemesi | robots.txt | Gereksiz tarama isteğini azaltır |
| Sayfanın arama sonuçlarında görünmemesi | meta robots noindex | Crawler sayfayı okuyup kuralı görür |
| PDF veya görseli indeks dışı bırakmak | X-Robots-Tag: noindex | HTML head kullanılamayan kaynaklar için |
| Sayfayı tamamen kaldırmak | 404/410 veya erişim kontrolü | İçeriğin sunumunu sonlandırır |
Google robots.txt dokümanı, robots.txt'nin bir URL'yi Google sonuçlarından güvenilir biçimde kaldırma mekanizması olmadığını açıklar. Engellenmiş URL dış bağlantıyla keşfedilirse adres yine görünebilir.
En sık yapılan hata
Şu yaklaşım çelişkilidir:
Disallow: /taslak/
ve aynı /taslak/ornek sayfasına:
<meta name="robots" content="noindex">
Crawler sayfayı isteyemediği için noindex kuralını okuyamaz. İndeksten çıkarmak istiyorsanız Googlebot'un sayfayı görmesine izin verip noindex kullanın; taramayı azaltmak istiyorsanız robots.txt kullanın. Robots meta yönergeleri kuralın okunabilmesi için sayfanın erişilebilir olması gerektiğini belirtir.
Uygulama örnekleri
HTML sayfası için:
<meta name="robots" content="noindex, follow">
PDF gibi HTML dışı bir dosya için HTTP yanıtı:
X-Robots-Tag: noindex
Her iki durumda da sitemap'ten noindex URL'yi çıkarmak ve iç bağlantıları gözden geçirmek gerekir. Robots.txt'de engellenen URL'yi sitemap'te tutmak, crawler'a çelişkili bir sinyal verir.
Yayın öncesi kontrol
- Indexlenmesini istediğiniz önemli içerik robots.txt ile engelleniyor mu?
- Noindex verdiğiniz URL sitemap'te kalmış mı?
X-Robots-Tagyalnızca hedef kaynağa mı uygulanıyor?- İç linkler kaldırılacak URL'lere yöneliyor mu?
- Değişiklik sonrası canlı response header ve HTML gerçekten beklediğiniz gibi mi?
Robots.txt crawl trafiğini, noindex ise indekslenme uygunluğunu yönetir. Önce hangi davranışı istediğinizi belirlemek, sonra doğru katmanda kural uygulamak gerekir.