Robots.txt Oluşturucu

Robots.txt nedir?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru tarayıcılarına (botlara) hangi sayfaları tarayıp hangilerini taramamaları gerektiğini söyleyen bir metin dosyasıdır. Yönetim paneli, arama sonuç sayfaları ve sepet gibi gereksiz sayfaların taranmasını engelleyerek tarama bütçenizi önemli sayfalara yönlendirir.

Oluşturucu özellikleri

• Her bot (User-agent) için ayrı kural grupları
• Allow ve Disallow yolları
• Sitemap adresi ekleme
• Hazır dosyayı indirme

Dikkat edilmesi gerekenler

Yanlış bir 'Disallow: /' satırı tüm sitenizin taranmasını engelleyebilir. Dosyayı yayına almadan önce Google Search Console'daki robots.txt raporuyla test edin. robots.txt bir güvenlik önlemi değildir; gizli sayfaları korumak için kimlik doğrulama kullanın.

Robots.txt Oluşturucu nasıl kullanılır?

1. Kural grubu için User-agent seçin (tüm botlar için *).
2. İzin verilen ve engellenen yolları ekleyin.
3. Sitemap adresinizi yazın.
4. robots.txt dosyasını indirip sitenizin kök dizinine yükleyin.

Neden bu aracı kullanmalısınız?

Söz dizimi hatası yapmadan, SEO'ya uygun bir robots.txt dosyasını dakikalar içinde hazırlarsınız.

Sıkça sorulan sorular