Robots.txt Kodları

Tüm Detaylarıyla Birlikte Robots.txt Rehberi

Robots.txt dosyası, web sunucunuza yerleştirilmiş olan basit bir metin dosyasıdır. Belirtilen bu dosya, sizin dosyalarınıza ve site bilgilerinize ulaşabilmeniz için ağ örümcekleriyle birlikte dosyalarınıza ulaşım sağlamak için sizden izin talep etmektedir. Eğer ağ örümceklerinin bu taleplerine evet yanıtı verirseniz bilgilerinize ve dosyalarınıza ulaşım sağlayıp arama motoruna kayıt için gerekli işlemler başlatılmış olur ancak, hayır yanıtını verirseniz bu şekilde bir işlem asla gerçekleşmez.

Temel robots.txt örnekleri hakkında

Bazı yaygın olan robots.txt kuruluşları, aşağıdaki maddelerde detaylı olarak anlatılmıştır:

• Tüm erişimi kapatma kodu: User-agent: *Disallow: /
• Tam erişime izin verme kodu: User-agent: *Disallow:
• Bir dosyaya erişimi engelleme kodu: User-agent: *Disallow: /file.html
• Bir klasöre erişimi engelleme kodu: User-agent: *Disallow: /folder/

Neden robots.txt hakkında bilgi sahibi olmalısınız?

Robots.txt dosyasının hatalı bir şekilde kullanılması, sıralamanıza oldukça ciddi zararlar verir. Bu nedenle bu işlemi gerçekleştirmeden önce Google veya başka bir arama motorunun (yalnızca arama motoru değil, backlink botları, reklam botları gibi her bir noktayı engelleyebilirsiniz) iyice kavramış ve anlamış olmanız gerekir.

Robots.txt dosyası, örümceklerin web sitenizi nasıl görüntülediğini ve sayfalarınız ile nasıl bir etkileşimde yer aldığını denetler. Kısaca ifade etmek gerekirse bu kurallar ile sayfanızın nasıl crawl edilip edilmeyeceği konusunda robotlara bilgi aktarmanızı sağlar.

Bu etkileşim ve dosyada bulunduğu botlar, arama motorlarının nasıl işlev gösterdiğinin temel noktalarıdır.

İpucu: Robots.txt dosyanızın Google tarafından kullanılmış olan önemli dosyalara engel koyup koymadığını öğrenebilmek için Google Yönergeleri Aracını kullanabilirsiniz. Sayfa, robots.txt ya da dosya erişim izninizin olup olmadığını öğrenmek istediği için bu uygulamayı yapar. Robots.txt dosyası, bilgilere erişim sağlamak için sisteme giriş yapabileceğini belirtiyorsa, arama motoru örümceği sayfa dosyaları için işlem yapmaya devam eder.

Herhangi bir arama motoru ile ilgili talimatınız varsa, o talimatları mutlaka söylemeniz gerekir. Bu yöntemle istediğiniz işlemi yapabilirsiniz.

Web siteniz için öncelikleri belirleme

Bir internet sitesi sahibinin sahip olmuş olduğu robots.txt dosyası ile ilgili bir düzenleme durumu söz konusu olduğu zaman yapılması gereken üç önemli madde vardır:

• Bir robots.txt dosyasına ihtiyaç duyup duymadığınızı belirleyin. Belki de siteniz için hiç gerek olmayan bir durum olabilir.
• Eğer varsa, engellemek istediğiniz eğişim bilgilerinin sitenizin sıralamada ki konumuna veya engel koymak istediğiniz içeriklerinize zarar vermediğinden mutlaka emin olun. Gereğinden fazla organik trafik almış olduğunuz bir sayfayı daha önce engellemek istediniz değil mi?

Robots.txt dosyanızın olup olmadığını belirleme

Aşağıda belirtmiş olduğumuz internet sitesinden “robots.txt dosyanızın olup olmadığını görebilirsiniz:

www.siteadresi.com/robots.txt

İpucu: Robots.txt dosyası, herhangi bir web sitesinde her zaman aynı yerde bulunmaktadır; bunun için, herhangi bir sitenin robots.txt dosyasını yer alıp almadığını öğrenmek oldukça kolaydır. Yukarıda da belirtildiği gibi alan adının son kısmına “/robots.txt” ilave etmeniz yeterli olacaktır.

Eğer bir dosyanız varsa, bu kesinlikle robots.txt dosyasıdır. Ya içinde kelimeler içeren bir dosya bulursunuz, ya içinde kelime yer almayan bir dosya bulabilirsiniz ya da hiç bir şekilde dosya bulamazsınız.

Bir robots.txt dosyası olmasının isteme nedenleri nelerdir?

• Arama motorları tarafından engellenmesi istenen içeriklerin bulunması. Örnek verecek olursak eğer arama sayfanız index alıyorsa, iyi niyetli olmayan kişiler sitenizde “adult” bir kelime arayışına girebilir ve bu kelimeyi indexletebilir. Bu durum serp sonuçlarınızda kötü bir algı meydana getirir. +Google’a spam bildirimi yaparsa Google sitenize cezai işlem bile uygulayabilir.
• Robotlar için özel olan talimatlara ihtiyaç duyan reklamların kullanılması ya da ücretli bağlantıların kullanılmak istenmesi.
• Arama motorları üstünde etkili olan arama örümceklerinin, sitelerin üstündeki etkilerinin görüntülenmek istenmesi.
• Herhangi bir sitenin henüz gelişim aşamasında olması sebebiyle henüz arama motoru dizinlerine ilave edilmesinin istenmemesi. Yeni kurulacak olan web sitelere SEO çalışmaları yapılmadan önce sıklıkla kullanılan bir yöntemdir.
• Bazı durumlar çerçevesinde kimi Google yönergeleri bakımında yardım istenmesi.

Yukarıda belirtilen durumların her bir tanesi diğer yöntemlerle kontrolü sağlanabilir ancak robots.txt dosyası ayrı bir ilgi ister ve sitenin arama motorlarına kayıt olabilmesi hakkında merkezi bir konumdadır. Birçok site sahibinin robots.txt dosyası kullanması ve oluşturması için gerekli beceri ve erişime sahip olması gerekmektedir.

Bir robots.txt dosyasının istenmeme nedenleri nelerdir?

• Hatasız ve basit, zaman ayırmaya değmez.
• İstenmiş olan ya da arama motorları tarafından engellenmesi gereken dosyaların yer almaması.
• Trafik oluşturan gereksiz kelimelerden kazanç sağlanıyor olması (ne kadar doğru olup olmadığı tartışılır)

Bir robots.txt dosyasının sisteminizde yer alması gerekmez.

Bir robots.txt dosyanız olmadığı zaman Google bot gibi arama motoru botlarının sitenize tam anlamıyla erişim yetkisine sahip olacakları anlamını taşımaktadır. Bu, oldukça yaygın olan normal ve basit bir yöntemdir.

Robots.txt dosyası nasıl oluşturulur?

Bu dosyanın kodlamalarını kendiniz yapabilir ya da internet kaynaklarından yararlanarak gerekli olan kodları kopyalayarak kendinize bir robots.txt dosyası yapabilirsiniz.

Bu dosya, yalnızca bir metin dosyasıdır, yani not defteri ya da herhangi başka bir düz metin düzenleyicisinden faydalanarak bir tane robots.txt dosyası yapabilirsiniz. Bunun haricinde kod düzenleyicisinde de dosyayı oluşturabilme imkanınız vardır.

“Bir robots.txt dosyası oluşturuyorum.” Diye bir düşünceye kapılmak yerine, “Bir not hazırlıyorum” diye düşünmeniz gerekir; bunlar neredeyse aynı işlemlerdir.

Robots.txt dosyasında ne yazmanız gerekir?

Bu durum ne yapmak istediğinize bağlı bir durumdur. SEO çalışmalarınızı devam ettirirken en çok dikkat etmeniz gereken kriterlerden bir tanesidir.

Bütün robots.txt talimatları, aşağıda belirtilmiş olan üç sonuçtan bir tanesi ile sonuca ulaştırılabilir:

Tam izin ver: Bütün içerikleri tarayabilir.

Tam izin verme: Hiçbir içeriği taramayabilir.

Koşullu izin ver: Robots.txt dosyasında yer alan yönerge, belli başlı içeriği tarama yeteneklerini belirler. Her birini teker teker açıklamak gerekirse:

Tam izin – tüm içerik taranabilir

Bir çok kişi, tarama robotlarının sitelerinde yer alan her şeyi taramasını ister. Eğer sizin durumuzun böyle ise ve robotun sitenizdeki bütün bölgeleri arama dizinine ilave etmesini istiyorsanız, robotların hoş karşılandıklarını bilmeleri için izin verilen bazı seçenek yer almaktadır.

 Bir robots.txt dosyası bulunmuyor

Eğer web sayfanızda bir robots.txt dosyanız yoksa bu tarama robotları için oldukça güzel bir haberdir. İlk olarak Googlebot gibi bir robot sitenizi ziyaret etmeye gelir. Sisteminizde olması gereken robots.txt dosyasını aramaya başlar. Sisteminizde bir robots.txt dosyası yer almadığı için haliyle onu bulamaz. Böylelikle sitenizi ziyaret eden robot, sitenizde rahatlıkla gezinebileceğini ve istediği her bir dosyayı arama motorunda kayıt altına alabileceğini düşünür ve canı ne isterse onu yapar.

 Boş bir dosya açın ve bu dosyayı robots.txt olarak isimlendirin.

Web sitenizin içinde herhangi bir şey yazmayan bir robots.txt dosyası yer alıyorsa robotlar böyle bir duruma çok sevinir. Googlebot sitenizi ziyaret eder, sitenizde robots.txt dosyasını aramaya başlar, bu dosya sisteminizde boş olarak yer aldığı için onu bulur ve içeriğinde yer alan sayfaları okumaya başlar. İçeriğinde hiçbir şey olmayan robots.txt dosyanız yüzünden robot kendini aynı birinci durumda olduğu gibi özgür hisseder ve istediği her şeyi yapmaya başlar.