İçindekiler
“Robots.txt” dosyası, bir web sitesinin arama motorlarına görüntülenmesini istediği veya istemediği sayfaları belirlemek için kullanılan bir dosyadır. Bu dosya, web sitesi sunucusunda yer alır ve arama motorları tarafından taranır.
Robots.txt dosyasının çalışma prensibi, arama motorlarının web sitesi sunucusunda belirli bir adrese giderek, “robots.txt” dosyasını aramalarıdır. Dosya, hangi sayfaların taranması gerektiği ve hangilerinin taranmaması gerektiği hakkında talimatlar içermelidir.
Robots.txt dosyasının nasıl kullanılması gerektiğine dair birkaç örnek:
Taranması İstenmeyen Sayfalar: Eğer bir web sitesinde, arama motorlarının taramasını istemediğiniz bazı sayfalar varsa, bu sayfaların adreslerini “robots.txt” dosyasında belirtebilirsiniz.
Gizli İçerik: Eğer bir web sitesinde, arama motorları tarafından görüntülenmesini istemediğiniz gizli içerik varsa, bu içeriğin adreslerini “robots.txt” dosyasında belirtebilirsiniz.
İçerik Testi: Eğer bir web sitesinde, henüz yayınlanmamış veya test aşamasındaki içerik varsa, bu içeriğin adreslerini “robots.txt” dosyasında belirtebilirsiniz.
Robots.txt dosyası, arama motorlarının web sitesi içeriklerini taramasını yönetmek için kullanılabilecek kullanışlı bir araçtır. Ancak, dosya, arama motorları tarafından taranmayan sayfaları tamamen gizlememektedir. Ayrıca, bazı arama motorları dosya tarafından belirlenen kısıtlamalara uymayabilirler.
Robots.txt Örnek Kodu
Aşağıdaki örnekte, “robots.txt” dosyasında belirli bir klasördeki tüm sayfaların taranmasının engellendiği görülmektedir:
User-agent: *
Disallow: /secret-folder/
Bu örnekte, “*” işareti tüm arama motorlarının belirtildiğini gösterir ve “/secret-folder/” adresindeki tüm sayfaların taranması engellenmiştir.
Aşağıdaki örnekte ise, sadece Googlebot tarafından taranmasını istemediğimiz tüm sayfaların taranması engellendiği görülmektedir:
User-agent: Googlebot
Disallow: /
Bu örnekte, “Googlebot” sadece Google’ın arama motorunun belirtildiği görülmektedir ve “/” adresindeki tüm sayfaların taranması engellenmiştir.
Robots.txt Nasıl Kullanılır
Google, “robots.txt” dosyasını taraması esnasında belirli bir adrese giderek tarar. Bu adres genellikle “http://www.example.com/robots.txt” şeklindedir. Eğer bir web sitesinde “robots.txt” dosyası yoksa, Google ve diğer arama motorları tarafından taranmasına devam edilir.
“Robots.txt” dosyası, Google ve diğer arama motorları için bir talimat dosyasıdır. Dosyada belirtilen kısıtlamalar, Google ve diğer arama motorları tarafından uygulanır. Eğer “robots.txt” dosyası doğru bir şekilde tanımlanmışsa, Google ve diğer arama motorları tarafından taranması engellenen sayfalar belirlenmiş olur.
Ancak, “robots.txt” dosyası, arama motorları tarafından taranmayan sayfaları tamamen gizlememektedir ve bazı arama motorları dosya tarafından belirlenen kısıtlamalara uymayabilirler. Ayrıca, “robots.txt” dosyası güncel tutulmalıdır, aksi takdirde arama motorları tarafından taranması engellenen sayfalar değişebilir.
Stage Konya Web Tasarım Ajansı Olarak Yaptığımız Web Sitelere Buradan Ulaşabilirsiniz
