[ Robots.txt Jeneratörü ]
Sitenizdeki hangi dizinlerin taranıp hangilerinin taranmayacağını belirleyerek Crawl Budget (Tarama Bütçesi) israfını önleyin.
Her satıra bir dizin yazın (örn: /blog/)
Tarama bütçesi (Crawl Budget) israfını önlemek için gizlenecek dizinler.
robots.txt Çıktısı
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /private/
Sitemap: https://sistem.com/sitemap.xml