Bu araç ne işe yarar?
robots.txt, arama motoru botlarına hangi bölümleri taramaması gerektiğini söyleyen basit bir metin dosyasıdır. Yanlış yazılırsa sitenin tamamı taramaya kapanabilir; bu yüzden dikkatle hazırlanmalıdır.
Araç yaygın kural şablonlarını sunar. Oluşan metni sitenizin ana dizinine robots.txt adıyla yükleyin.
Sık sorulan sorular
robots.txt sayfayı Google'dan siler mi?
Hayır. Taramayı engeller ama sayfa başka yerlerden bağlantı alıyorsa yine de dizinde görünebilir. Dizinden çıkarmak için noindex kullanılır.
Site haritasını robots.txt'e eklemeli miyim?
Evet. Sitemap satırı botların haritanızı bulmasını kolaylaştırır.