Robots.txt protokolü, web sitenizdeki örümceklere rehberlik etmenize olanak tanır, böylece yalnızca taramalarını istediğiniz sayfaları tararlar.
Bu, SEO hedeflerine aykırı gibi görünse de, örümceklerin içeriğinizin bir kısmını keşfetmesini engellemek aslında faydalı olabilir.
Örneğin, bu, yeni bir web sitesi oluştururken veya sitenizde bir sayfanın birden çok sürümü varsa ve yinelenen içerik nedeniyle cezalandırılmak istemiyorsanız geçerli olabilir.
Çoğu web sitesinin robots.txt dosyasına ihtiyacı yoktur.
Bunun nedeni, Google'ın genellikle sitenizdeki tüm önemli sayfaları bulup dizine ekleyebilmesidir.
Ayrıca, önemli olmayan sayfaları veya diğer sayfaların kopya versiyonlarını otomatik olarak dizine EKLEMEZLER.
Bununla birlikte, bir robots.txt dosyası kullanmak istemenizin 3 ana nedeni vardır.
Herkese Açık Olmayan Sayfaları Engelleyin: Bazen sitenizde dizine eklenmesini istemediğiniz sayfalar olabilir. Örneğin, bir sayfanın hazırlama sürümüne sahip olabilirsiniz. Veya bir giriş sayfası. Bu sayfaların var olması gerekiyor.
Ama rastgele insanların üzerlerine inmesini istemezsiniz. Bu, bu sayfaları arama motoru tarayıcılarından ve botlardan engellemek için robots.txt dosyasını kullanacağınız bir durumdur.
Tarama Bütçesini En Üst Düzeye Çıkarın: Tüm sayfalarınızı dizine eklemekte zorlanıyorsanız, bir tarama bütçesi sorununuz olabilir. Googlebot, önemsiz sayfaları robots.txt ile engelleyerek, gerçekten önemli olan sayfalara tarama bütçenizin daha fazlasını harcayabilir.
Kaynakların Dizine Alınmasını Önleyin: Meta yönergeleri kullanmak , sayfaların dizine eklenmesini önlemek için Robots.txt kadar iyi çalışabilir. Ancak, meta yönergeler, PDF'ler ve resimler gibi multimedya kaynakları için iyi çalışmaz. İşte burada robots.txt devreye giriyor.
Alt çizgi? Robots.txt, arama motoru örümceklerine web sitenizdeki belirli sayfaları taramamalarını söyler.
robots.txt, arama motoru örümceklerine belirli sayfaları taramamalarını söylediğinden, bazı site sahipleri yanlışlıkla bunun belirli bilgileri gizli tutmanın iyi bir yolu olduğunu düşünebilir.
Ne yazık ki, Google veya Bing'den gelenler gibi dürüst örümcekler protokole saygı duyacak olsa da, bunu yapmayacak çok sayıda kötü niyetli örümcek vardır ve bu nedenle bilgileriniz yine de çalınabilir.
Bilgilerin, içeriğe bağlantı veren başka bir site gibi başka yollarla dizine eklenmesi de mümkündür. Kişisel bilgileriniz varsa, güvenlik duvarı gibi çok daha güçlü bir güvenliğe sahip olmalısınız.
robots.txt kullanırken, temel sembollere aşina olmak iyi bir fikirdir. Bir '*' örümceğe bu komutun tüm web tarayıcıları için geçerli olduğunu söyler.
Yalnızca belirli arama motorlarının bir sayfayı dizine eklemesini önlemek istiyorsanız, belirli bir bot varsa bunu adla değiştirebilirsiniz. Bir '/', kuralın belirli bir sitedeki tüm sayfalar için geçerli olduğunu gösterir. Bu sembol, belirli bir dizin veya sayfanın adıyla değiştirilebilir.
