[ Robots.txt Jeneratörü ]
Sitenizdeki hangi dizinlerin taranıp hangilerinin taranmayacağını belirleyerek Crawl Budget (Tarama Bütçesi) israfını önleyin.
Her satıra bir dizin yazın (örn: /blog/)
Tarama bütçesi (Crawl Budget) israfını önlemek için gizlenecek dizinler.
robots.txt Çıktısı
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /private/
Sitemap: https://sistem.com/sitemap.xml
Robots.txt ve Tarama Bütçesi Optimizasyonu Rehberi
Googlebot'un sitenizi nasıl taradığını, Crawl Budget kavramını ve Disallow ile engellenmesi gereken kritik dizinleri keşfedin.