İşte ilk WordPress robots.txt örneğimiz:
- User-agent: *
- Allow: /
- # Disallowed Sub-Directories
- Disallow: /checkout/
- Disallow: /images/
- Disallow: /forum/
Bu sıradan robots.txt dosyası içinde forum da bulunan bir web sitesine ait. Arama motorları sıklıkla forumlardaki her bir başlığı indeksler. Forumunuzun ne için olduğuna bağlı olarak bu özelliği kapatmak isteyebilirsiniz. Bu sayede Google, kullanıcıların sıradan muhabbet ettiği yüzlerce başlığı indekslemez. Aynı zamanda belirli alt forumları görmezden gelmek ve arama motorlarının geri kalan herşeyi taramasını sağlamak için bazı kurallar belirleyebilirsiniz.
Ayrıca Allow: / şeklinde bir bölüm görüyorsunuz. Bu satır botlara web sitenizin sayfalarını tarayabileceklerini ancak belirlediğiniz istisnaları görmezden gelmelerini söyler. Aynı şekilde belirlediğimiz kuralların evrensel (yıldız işaretli) olduğunu farketmişsinizdir, tıpkı sanal WordPress robots.txt dosyası gibi.
Şimdi bir diğer WordPress robots.txt dosyasına göz atalım:
- User-agent: *
- Disallow: /wp-admin/
- Disallow: /wp-includes/
- User-agent: Bingbot
- Disallow: /
Bu dosyada WordPress’in varsayılan olan belirlediği aynı kuralları girdik. Ancak bir de sitenizi Bing’in arama botunun taramasına izin vermeyen yeni bir kural ekledik. Bingbot, tahmin edeceğiniz üzere bu botun ismi.
Hangi arama motorunun web sitenize erişim sağlayacağı ve hangilerinin sağlayamayacağı konusunda oldukça spesifik kurallar belirleyebilirsiniz. Pratikte Bingbot tabiki oldukça faydalı (Googlebot kadar havalı olmasa da). Ancak piyasada bazı zararlı botlar da bulunuyor.
Kötü haber ise bu botlar her zaman için robots.txt dosyasındaki talimatları takip etmiyor (sonuç olarak biraz asiler). Unutmamak gerekir ki çoğu bot bu dosyada belirlediğiniz talimatları takip etse de, bunu yapmaya onları zorlamıyorsunuz sadece güzelce rica ediyorsunuz.
Eğer konu hakkında biraz araştırma yaptıysanız, WordPress sitenizde neye izin verip neyi engelleyeceğiniz konusunda oldukça fazla tavsiye ile karşılaşmışsınızdır. Ancak bizim tecrübemize göre, ne kadar az kural belirlerseniz o kadar iyi. WordPress robots.txt nasıl olmalı sorusuna örnek olarak tavsiyemiz aşağıdaki gibidir:
- User-Agent: *
- Allow: /wp-content/uploads/
- Disallow: /wp-content/plugins/
Geleneksel olarak WordPress wp-admin ve wp-includes dizinlerine erişimi engellemeyi sever. Ancak bu artık faydalı bir yaklaşım olarak görülmüyor. Artı olarak eğer resimlerinize arama motoru optimizasyonu (SEO) için metadata ekliyorsanız, botların bu bilgiye ulaşmasını engellemenin herhangi mantıklı açıklaması yoktur. Bunun yerine yukarıdaki iki kural bütün temel sitelerin ihtiyacını karşılayacaktır.
Robots.txt dosyasında neler bulunacağı tamamen sitenize ve ihtiyaçlarınıza göre değişebilir. Bu yüzden kendi araştırmanızı mutlaka yapın!
Bu makaleyi beğendiyseniz, lütfen WordPress video eğiticileri için YouTube Kanalımıza abone olun. Bizi Twitter ve Facebook’ta da bulabilirsiniz.
