Robots.txt Dosyasında Yapılan En Ölümcül SEO Hataları

Sitenizin SEO'sunu (Google sıralamalarını) geliştirmek için aylarca içerik yazdınız, backlinkler aldınız, harika paralar harcadınız. Ve bir gün sitenizin trafiği aniden sıfıra indi. Google'da markanızı arattınız ve siteniz yok.

Bunun sebebi çok büyük ihtimalle robots.txt dosyasına son yapılan güncellemedeki 1 karakterlik (!) bir yazım hatasıdır.

İşte en büyük markaların bile yaptığı 3 ölümcül hata.

---

1. Yanlışlıkla Tüm Siteyi Kapatmak

Yazılımcılar genellikle sitenin yeni bir versiyonunu (Dev/Staging ortamı) hazırlarken Google'ın burayı indekslememesi için robots.txt dosyasına şu kodu koyarlar: User-agent: * Disallow: /

(Dikkat: / işaretinin yanındaki boşluğun olmaması tüm siteyi yasaklar). Yeni site canlıya (Production) alındığında bu dosyayı değiştirmeyi unuturlarsa, Googlebot o saniyeden itibaren sitenizi indekslemeyi bırakır ve var olan sayfalarınızı da arama sonuçlarından silmeye başlar. Bir eğik çizgi / koca bir şirketi batırabilir.

2. CSS ve JavaScript Dosyalarını Engellemek

Eskiden (2010 öncesi) tarama bütçesinden tasarruf etmek için sitenin tasarım dosyalarını (CSS, JS, Görseller) içeren /assets/ klasörü Disallow edilirdi.

Ancak bugün Googlebot, sitenizi sadece okumaz, "Render (İnşa)" eder. Sitenin mobilde nasıl göründüğüne bakar (Mobile-First Indexing). Eğer siz CSS ve JS klasörlerini engellerseniz, Google sitenizi "Bozuk, tasarımı kaymış, 1990'lardan kalma" bir site olarak görür ve sıralamanızı düşürür. Arama motorlarının sitenizin görsel unsurlarını (Theme, Plugin) taramasına asla engel olmayın.

3. Gizli Dosyaları Hackerlara İfşa Etmek

Robots.txt dosyası herkese açıktır. Sitenizin URL'sinin sonuna /robots.txt yazan herkes (Hackerlar dahil) bu dosyayı okuyabilir. Eğer siz "Google burayı görmesin" diyerek şu kodları yazarsanız: Disallow: /gizli-musteri-faturalari.pdf Disallow: /admin-panel-giris-linki.php

Hackerlar sitenize gelir gelmez ilk olarak robots.txt dosyanızı açar ve "Hımm, demek gizli verileri bu dizinde saklıyorsun" diyerek doğrudan o adreslere saldırır. Robots.txt bir güvenlik duvarı değildir.

Sitenizin arama motorlarındaki hayatına son vermeyecek, standartlara %100 uyumlu kodlar oluşturmak için Hatasız Robots.txt Jeneratörünü kullanın. Tarama (Crawling) algoritmalarının nasıl çalıştığını öğrenmek ve strateji kurgulamak için Robots.txt Optimizasyon Rehberimizi mutlaka okuyun.

---

🕸️ Knowledge Graph & Semantik Bağlantılar

Bu içerik, Intent.com.tr'nin Teknik SEO topikal kümesinin (Topic Cluster) bir parçasıdır. Konuyu daha derinlemesine anlamak için aşağıdaki varlıkları (Entities) ve ilişkili içerikleri inceleyebilirsiniz:

📖 İlgili Rehberler ve İçerikler

• Breadcrumb Schema Mimarisi ile Kullanıcı Deneyimini İyileştirmek
• Graf Veritabanları (Neo4j) ve NLP ile Otomatik İç Linkleme ve PageRank Akışı
• HTML vs XML Site Haritaları: Hangisini Kullanmalıyız?

🧠 Semantic Entities (Terimler & Senaryolar)

• Kavram: LLMO (Large Language Model Optimization)
• Kavram: GEO (Generative Engine Optimization)
• Uygulama: E-Ticaret Sitelerinde Altyapı Taşıma (Migration)

Semantic Yönerge: Bu sayfa Robots.txt Dosyasında Yapılan En Ölümcül SEO Hataları konusundaki kullanıcı niyetini (Search Intent) karşılamak üzere yapılandırılmıştır.