İnternet üzerinde siteleri denetleyen ve sitelere uğrayan bazı robotlar bulunur. Bu robotlar sitenize uğradıktan sonra sizlerin sitenizde bulunması gereken robot.txt dosyasını ararlar. Bu dosya robotların gözünde sizin sitenizin haritası gibidir. Bu dosya sayesinde robotlar sitenizi sizin istediğiniz gibi incelerler. Bu dosya SEO için oldukça önemlidir fakat yapılan bir hata sonucunda internet sitenizi arama motorlarına kapatabilirsiniz. Bu hata da sitenizin insanlara önerilmesini engeller. Çünkü arama motorları incelemek için erişemediği siteleri insanlara önermezler. Bunun temelinde ise kullanıcıların güvenliği yatar.
Robot.txt Dosyası Nasıl Eklenir?
Robot.txt dosyası arama motorlarının botlarını karşılayan bir dosyadır. Bu dosya internet sitenizde olmadığı sürece siteniz hiçbir zaman sağlıklı bir şekilde incelenmez. Bundan dolayı bu dosya sitenizde kesinlikle olması gerekir. Bu dosyanın oluşturulması için iki yol vardır. Birincisi sitenin temel kodlarına eliniz ile giriş yapmanız ikincisi ise basit bir eklenti sayesinde bu dosyayı oluşturmanız. Bu yazıda sizlere eklenti kullanılarak nasıl oluşturulacağı ve ekleneceği anlatılacaktır. Robot.txt oluşturma adımlarına aşağıdan ulaşabilirsiniz:
- Öncelikle Yoast Seo eklentisini sitenize kurun.
- Ardından araçlar aracını bulun ve tıklayın.
- Dosya düzenleyicisi sekmesine tıklayın.
- Sonrasında dosyayı oluşturabileceğiniz bir seçeneği göreceksiniz.
- Bu seçeneğe tıkladıktan sonra karşınıza birtakım kodlar gelecek.
Sitenizin hangi arama motorları tarafından nasıl aranmasını istiyorsanız bu komutları o şekilde değiştirmeniz gerekmektedir. Bunun için basit birkaç komutu öğrenmeniz gerekir. Bu kodlar sayesinde bir arama motorunun sitenize girişini ve tarama yapmasını engelleyebilirsiniz. Bunun sonucunda siteniz engelleme yaptığınız arama motorlarında önerilmeyecektir. Bunun bilincinde olarak kodlarda değişiklik yapmanız gerekir. Aksi takdirde sitenizin bütün SEO ayarlarını yerle bir edebilirsiniz. Bunun sonucunda siteniz eskisi kadar fazla ziyaretçi almayabilir. Örnek vermek gerekirse sizin ziyaretçi kitlenizin büyük bir çoğunluğu Google arama motorunu kullanıyorsa ve siz de Google’ı engellerseniz ziyaretçileriniz yavaş yavaş eksilecektir. Çünkü artık Google arama motoru sizin sitenizi inceleyemeyecek ve sonuç olarak internette gezinen ziyaretçilere sitenizi önermeyecektir.
Oluşturduğunuz dosyanın doğruluğunu internet üzerinde robot.txt checker şeklinde aratma yaparak ulaşabileceğiniz sitelerde kontrol edebilirsiniz.
