Robots.txt Dosyası Nasıl Doğru Kullanılır?

Robots.txt, arama motoru botlarının web sitenizin hangi sayfalarını tarayabileceğini veya tarayamayacağını belirleyen bir dosyadır. SEO açısından kritik öneme sahip olan bu dosya, sitenizin indekslenmesini yönetmenize yardımcı olur.

Robots.txt Nedir?

Robots.txt, sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Googlebot ve diğer arama motoru botlarına talimat verir. Yanlış kullanıldığında önemli sayfaların indekslenmesini engelleyebilir.

Robots.txt Dosyası Nerede Bulunur?

Her web sitesinin kök dizininde bulunur. Örneğin: www.ornek.com/robots.txt. Tarayıcıya bu adresi yazdığınızda dosyanın içeriğini görebilirsiniz.

Doğru Kullanım Örnekleri

– User-agent: * → Tüm botlar için geçerlidir.
– Disallow: /admin/ → Admin klasörünü taramayı engeller.
– Allow: /uploads/ → Yalnızca belirli klasörü taramaya izin verir.
– Sitemap: https://www.ornek.com/sitemap.xml → Site haritasını belirtir.

Yapılmaması Gereken Hatalar

Önemli sayfaları yanlışlıkla engellemek, “Disallow: /” komutu ile tüm sitenin taranmasını kapatmak ve sitemap eklememek, SEO performansına zarar verir.

Robots.txt SEO’ya Nasıl Katkı Sağlar?

Önemsiz sayfaların (ör. filtreleme parametreleri, arama sonuçları) taranmasını engelleyerek tarama bütçesini (crawl budget) korur. Bu sayede arama motorları önemli içeriklere daha hızlı ulaşır.

Sonuç

Robots.txt, doğru kullanıldığında SEO’ya büyük katkı sağlayan basit ama güçlü bir dosyadır. Yanlış kullanımı ise sitenizin görünürlüğünü düşürebilir. Bu yüzden düzenli kontrol ve doğru yapılandırma şarttır.