Robots.txt dosyasının etkili kullanımını sağlayın
“robots.txt” dosyası arama motorlarına sitenize erişip sitenizin bazı bölümlerini taramasını belirtir.
.“robots.txt” olarak adlandırılması gereken bu dosya sitenizin root dizininde olmalıdır.
Sitenizdeki belirli sayfaların taranmasını istemeyebilirsiniz, çünkü arama sonuçlarında bunların
bulunması ve gösterilmesi kullanıcılara yararlı olmaz. Eğer arama motorlarının sitenizdeki sayfayı
taramasını engellemek istiyorsanız, Google Web Yöneticisi Araçları, bu dosyayı oluşturmanıza
yardımcı olacak, kolay kullanılabilen bir robots.txt oluşturucu (robots.txt generator) sağlamaktadır.
Not olarak, eğer sitenizde alt alan adı kullanıyorsanız ve bu dizinlerde belirli sayfaların taranmasını
istemiyorsanız o alt alan adı için de ayrı robots.txt dosyası oluşturmanız gerekir. Robots.txt hakkında
daha fazla bilgi için Webmaster Yardım Merkezindeki robots.txt kullanım rehberini incelemenizi öneririz.
Arama sonuçlarında görünmemek için bir çok yöntem vardır, örneğin robots bölümüne “NOINDEX”
etiketi eklemek, şifre korumalı dizinler için .htaccess kullanmak ve Google Web Yöneticisi Araçlarını
kullanarak taranmış içeriği indeksten çıkarmak gibi… Google mühendisi Matt Cutts tarafından sunulan,
URL bloke metotlarının önemli noktaları hakkındaki videodan yararlanabilirsiniz.
Robots.txt dosyası hakkında kullanışlı ipuçları
• Hassas içerik için daha güvenli metotlar kullanın – Hassas veya gizli bilginin robots.txt ile
bloke edilmesi sizi tamamen rahat ettirmemeli. Bunun nedenlerinden birisi, eğer bu linkler
internette başka bir yerde referans olarak verilmişse (örneğin referans bloglarda), bloke ettiğiniz
URLler arama sonuçlarında referans olarak görüntülenebilir (sadece URL gösterilir, başlık veya
özet bilgi verilmez). Ayrıca, Robots Exclusion Standard ile uyumlu olmayan bazı arama motorları
robots.txt dosyasında belirttiğiniz tanımlamalara uygun davranmayabilir. Son olarak, meraklı bir
kullanıcı robots.txt dosyanızdaki dizin ve alt dizinleri inceleyebilir ve görünmesini istemediğiniz içeriğe ulaşabilecek URLyi tahmin edebilir. Şifreleme veya .htaccess ile parola kullanımı daha
güvenli alternatiflerden bazılarıdır.
Yanlışlar:
• arama sonuçlarına benzer sayfaların taranmasına olanak verilmemesi gerekir
(kullanıcılar bir arama sayfasından diğer bir arama sayfasına erişmekten
hoşlanmazlar)
• aynı içeriğe sahip, çok az farklar bulunan otomatik oluşturulmuş sayfaların
taranmasına olanak verilmemesi gerekir: “Birbirinin neredeyse aynısı 100 000
sayfanın arama motorları tarafından indekslenmesi gerekir mi?”
• proxy hizmetleri tarafından oluşturulan URLlerin indekslenmemesi gerekir
Benzer Konular Yok.
reklam
