Robots.txt Özel Ayarlar
Robots.txt Özel Ayarlar
Robots.txt dosyası, arama motorlarının web sitenizi tararken hangi sayfaları tarayabileceğini veya tarayamayacağını belirleyen bir metin dosyasıdır. İşte Robots.txt dosyasında yapabileceğiniz bazı özel ayarlar:
Robots.txt Dosyası Nedir?
- Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motorlarına yönergeler veren bir metin dosyasıdır.
- Arama motorları, Robots.txt dosyasını okuyarak web sitenizin hangi sayfalarının taranabileceğini veya taranamayacağını belirler.
Robots.txt Özel Ayarları
- Tüm Arama Motorlarına Erişimi Engelleme: Eğer web sitenizin tüm sayfalarını arama motorlarından gizlemek isterseniz, Robots.txt dosyasına aşağıdaki komutu ekleyin:
makefileCopy code
User-agent: * Disallow: /
Bu, tüm arama motorlarının web sitenizi tarayamayacağını belirtir. Ancak, bu ayarı dikkatli kullanmalısınız, çünkü bu şekilde web sitenizin hiçbir sayfası indekslenmez.
- Belirli Klasörleri veya Sayfaları Engelleme: Eğer belirli klasörleri veya sayfaları arama motorlarından gizlemek isterseniz, Robots.txt dosyasına aşağıdaki komutu ekleyin:
javascriptCopy code
User-agent: * Disallow: /klasor/
Bu örnekte "/klasor/" adlı klasörün veya sayfanın arama motorları tarafından taranmasını engellersiniz. Bu komutu istediğiniz klasör veya sayfa için tekrarlayabilirsiniz.
- Belirli Arama Motorlarına Özel Ayarlar: Eğer belirli arama motorlarına özel ayarlar yapmak isterseniz, Robots.txt dosyasına aşağıdaki gibi kullanabilirsiniz:
javascriptCopy code
User-agent: Googlebot Disallow: /klasor/ User-agent: Bingbot Disallow: /sayfa/
Bu örnekte, Googlebot'un "/klasor/" adlı klasörü tarayamayacağını, Bingbot'un ise "/sayfa/" adlı sayfayı tarayamayacağını belirtirsiniz.
Robots.txt dosyası, web sitenizin arama motorları tarafından taranmasını yönlendiren önemli bir dosyadır. Özel ayarlar yaparak web sitenizin hangi sayfalarının taranabileceğini veya taranamayacağını belirleyebilirsiniz. Tüm arama motorlarına erişimi engelleme, belirli klasörleri veya sayfaları engelleme veya belirli arama motorlarına özel ayarlar yapma gibi yönergelerle Robots.txt dosyasını özelleştirebilirsiniz.
Robots.txt Dosyasının Doğru Biçimde Oluşturulması
Robots.txt dosyasını doğru biçimde oluşturmak, web sitenizin taranması ve indekslenmesi için önemlidir. İşte Robots.txt dosyasını doğru şekilde oluşturmanız için bazı ipuçları:
- Yorum Satırları Ekleyin: Robots.txt dosyasının anlaşılabilir olması için yorum satırları ekleyebilirsiniz. "#" işaretiyle başlayan satırlar yorum satırları olarak kabul edilir ve arama motorları tarafından görmezler.
- User-agent Etiketi Kullanın: User-agent etiketi, belirli bir arama motoruna veya tarayıcıya yönergeleri belirlemenizi sağlar. Örneğin:
javascriptCopy code
User-agent: Googlebot Disallow: /klasor/
Bu örnekte, sadece Googlebot'a "/klasor/" adlı klasörün taranmamasını belirtirsiniz.
- Disallow Etiketi Kullanın: Disallow etiketi, taranması engellenmesi gereken klasörleri veya sayfaları belirtir. Örneğin:
javascriptCopy code
User-agent: * Disallow: /klasor/
Bu örnekte, tüm arama motorlarından "/klasor/" adlı klasörün taranmasını engellersiniz.
- Allow Etiketi Kullanın: Allow etiketi, taranması izin verilen klasörleri veya sayfaları belirtir. Örneğin:
makefileCopy code
User-agent: Googlebot Disallow: Allow: /klasor/
Bu örnekte, sadece Googlebot'a "/klasor/" adlı klasörün taranmasına izin verirsiniz.
- Sitemap Etiketi Ekleyin: Sitemap etiketi, site haritasının URL'sini belirtir. Örneğin:
arduinoCopy code
Sitemap: http://www.example.com/sitemap.xml
Bu örnekte, site haritasının URL'sini belirtirsiniz. Bu, arama motorlarının site haritasına erişmesini kolaylaştırır.
- Wildcards (*) Kullanın: Wildcards, genel olarak belirli klasör veya dosya türlerini ifade etmek için kullanılır. Örneğin:
makefileCopy code
User-agent: * Disallow: /*.pdf$
Bu örnekte, tüm arama motorlarından PDF uzantılı dosyaların taranmasını engellersiniz.
Sonuç
Robots.txt dosyası, web sitenizin taranması ve indekslenmesi için önemli bir dosyadır. Doğru biçimde oluşturulması, arama motorlarının sitenizi daha iyi anlamasını ve gereksiz sayfaları taranmasını engellemesini sağlar. Yorum satırları eklemek, user-agent, disallow ve allow etiketlerini kullanmak, sitemap etiketini eklemek ve wildcards (*) kullanmak, Robots.txt dosyasını doğru şekilde yapılandırmanıza yardımcı olur. Bu şekilde web sitenizin taranması ve indekslenmesi daha etkili olur ve SEO performansınızı artırır.
