Robots.txt Nedir?
Robots.txt Nedir ve Nasıl oluşturulur?
SEO öğrenmeye başladıysanız ve bu alanda daha ileri seviyelere ulaşmak istiyorsanız karşınıza pek çok teknik terim çıkacaktır. SEO’nun en çok teknik bölümünde bulunan bu terimleri öğrenebilmek, iyi bir SEO uzmanı olabilmek için olmazsa olmaz bir durumdur. Bu yazımızda ise sizlere SEO’nun en önemli konularından birisi olan robots.txt’i anlatacağız. Başta ismi bile hiç bir anlam ifade etmiyor veya fazla karışık bir görünüm veriyor olabilir. Ama gözünüz sakın korkmasın. Çünkü bu terimi siz okuyucularımıza elimizden geldiği kadar basit ve aynı zamanda ayrıntılı bir şekilde anlatıyor olacağız. Bu yazımızı okumayı bitirdikten sonra robots. txt’I her yönüyle kavrayacak ve kendinize robots.txt dosyası yapmayı öğreneceksiniz. O halde detayları incelemeye başlayalım!
Robots.txt nedir?
Robots.txt aslına bakacak olursanız oldukça basit bir komut dosyasıdır. Bu komut dosyasıyla beraber arama motoru botlarının sitenize nasıl ulaşabileceğine, içeriklerinizi hangi yöntemle tarayacağına ve sitenizin hangi bölümlerinin dizine ilave edileceğine tamamen siz karar verirsiniz. Arama motoru yazılımları, sitenize geldiği zaman il olarak robots.txt dosyasını taramaya başlar ve dosyada yer alan komutlara göre sitenizin izin verilmiş olan sayfalarını dizine ekler. Yani robots.txt dosyasıyla beraber sitenizin sınırları ve kontrolü sizin elinizdedir, arama motoru botları da bu sınırla birlikte sitenizi tarayabilir.
Örnek verecek olursak sitenizin bazı bölümlerini arama motoru botlarının ulaşımına kapatmak istediğinizi düşünelim. Bu alanlar bazı kişisel veya önemli bilgiler barındırabilir ya da indekslenmesini istemediğiniz bir bölüm bulunabilir. Tam bu noktada ihtiyacınıza cevap veren şey robots.txt dosyalı olmaktadır. Robots.txt dosyası içermiş olduğu komutlarla arama motoru botlarına yön vermektedir. Arama motoru botları ise robots.txt’in vermiş olduğu komutlara uyar ve sitenizi sizin istediğiniz şekilde tarar.
Sonuç itibari ile robots.txt dosyası her web sitesi için oldukça gerekli olan bir komut dosyasıdır. Bu konuda en fazla dikkat edilmesi gereken bir konu da robots.txt dosyasının doğru bir biçimde hazırlanmış olması gerektiğidir. Yani sıradan bir robots.txt dosyasının var olması, isteğiniz şekilde bir tarama gerçekleştireceği anlamına gelmez. Asıl önemli olan şey, robots.txt dosyasının doğru hazırlanmış komutlarda olmasıdır. Eksik ve yanlış olarak hazırlanmış bir robots.txt dosyası arama motoru botları tarafından önem taşımayabilir ve taranmasını istemediğiniz dizinleri de taramaya başlar.
Robots.txt dosyası nasıl çalışır?
Robots.txt dosyasının nasıl çalıştığını anlayabilmek için Yahoo, Google ve Bing gibi arama motoru botlarının hangi şekilde tarama yaptıklarını anlamak gerekmektedir.
Örnek verecek olursak; www.benimsitem.com adresi şu şekilde analiz edilir:
- http://www.benimsitem.com/robots.txt dosyasını indirdikten sonra analiz ederek işe başlanır.
- Hangi dosyaların indirilmesine izin verildiğini öğrenebilmek için belirtilen dosyanın (robots.txt) kurallarını detaylı olarak analiz eder.
- Eğer txt buna izin veriyorsa, web sayfasının kökü, yani http://www.benimsitem.com/ sayfasının URL’sini indirmeye başlarlar.
- Bu sayfanın içeriklerini analiz eder ve içermiş olduğu iç linklerin listesini çıkartırlar.
- Bu iç bağlantıların tümü sırasıyla indirilir (robots.txt dosyasının kuralları eğer bunları filtrelenmezse)
- Yinelemeli biçimde bütün bağlantılar, arama motoru botları kendi yerlerini bulana kadar indirip analiz etmeye devam eder.
Sitem için herhangi bir robots.txt dosyasına ihtiyacım var mı?
Aslına bakacak olursanız siteler için robots.txt dosyasını bulundurma gibi bir zorunluluk yoktur. Herhangi bir web sayfasında robots.txt dosyası bulunmuyorsa arama motorları sitede bulabilmiş oldukları bütün dizinleri analiz eder.
Sitenizde bir robots.txt dosyasına ihtiyacınızın olup olmadığını öğrenmek için kendinize şu soruyu yöneltebilirsiniz: Sahip olduğunuz sitenizde, arama motoru sonuçlarında görmek istemediğiniz güvenilir olmayan herhangi bir alan var mı? Eğer cevap evet ise, o zaman mutlaka bir robots.txt dosyasına ihtiyacınız var demektir. Aksi halde, bir robots.txt dosyası yapmak zorunda değilsiniz.
Robots.txt dosyası nasıl yapılır?
Bir robots.txt dosyası oluştururken dikkate almanız gereken 3 temel unsur yer almaktadır:
- Robots.txt dosyasının site URL’siyle aynı formata sahip olması gerekir. Daha öncesinde http://www.benimsitem.com için http://www.benimsitem.com/robots.txt olduğunu belirtmiştik.
- Robots.txt dosyasının sitenizin kök dizininde yer alıyor olması gerekmektedir.
- Son olarak ise robots.txt dosyasının UFT-8 karakter kodlamasına uyumlu olması gerekmektedir.
Robots.txt dosyası içerisinde işlemleri yapabilmek için kullanılmakta olan komutlar ise şunlardır:
- User-agent: Bu komutla beraber sitenize hangi arama motorunun geleceğine tamamen siz karar verirsiniz. (Örnek verecek olursak; tüm arama motoru botları, yalnızca Google veya Bing). Yine aynı şekilde arama motoru botları tarafından hiçbir sebeple tarama yapılmasını istemiyorsanız yine bu komuttan faydalanabilirsiniz.
- Allow/ Disallow: Dizin engelleme veya izin verme komutlarından faydalanarak sitenizdeki yalnızca belirli dizinlere ulaşım izni verebilir veya istediğiniz sınırlamayı getirebilirsiniz.
- Crawl-delay: Tarama gecikmesi komutu olarak ise isimlendirebileceğimiz bir komutla beraber arama motorlarının site içerisinde tarama yaptığı sırada harcamış olduğu zamanı sınırlandırabilirsiniz. Genellikle bu komut sunucu hatasıyla karşılaşan ve yüksek ziyaretçi sayısı nedeniyle kimi zaman hizmet veremeyen siteler tarafından kullanılmaktadır.
- Sitemap komutu: Bir site haritası yönergesi, sitenin XML site haritasının adresini belirtmektedir. Sitemap.xml dosyası , sitenizin doğru biçimde taranması konusunda arama botlarına en detaylı bilgileri sunar.
Online olarak robots.txt oluşturma aracı
https://www.seoptimer.com/robots-txt-generator ve https://en.ryte.com/free-tools/robots-txt-generator/ adresleri içerisinden herhangi birine girerek kendi sitenize en uygun olan robots.txt dosyasına saniyeler içinde ulaşa bilirisiniz.
İşte sizin için örnek olarak düzenlenmiş bir robots.txt dosyası:
Bütün arama motoru robotları tarafından resimlerin indexlenme işleminin engellenmesi:
- Disallow: /*.png$
- Disallow: /*.gif$
- Disallow: /*.jpg$
- User-agent: *
- Disallow: /images/
- Allow: /
Bu örnek, robotların sitenizde yer alan bütün görüntüleri (bütün resim klasörleri, .png, .jpg, .gif ile biten hepsi) indirmesini engeller. Diğer her türlü şeye ise izin verilir.
Mesela sitenizde yer alan herhangi bir şeyin taranmasını istemiyorsunuz. O halde robots.txt dosyanız aşağıdakileri içeriyor olması gerekir:
- User-agent: Robot adı (Yahoo, Google, Bing)
- Disallow: Engellenecek olan dizin
- WordPress için robots.txt örneği
- Disallow: /wp-admin/
- User-agent: *
- Allow: /wp-admin/admin-ajax.php
- Disallow: /wp-admin/
- Disallow: /?attachment_id=*
- Disallow: /?replytocom=*
- Disallow: /attachments/
- Sitemap: https://www. siteniz .com/sitemap.xml
Sonuç itibari ile robots.txt dosyasının hangi işe yaradığını ve hangi alanlarda kullanılması gerektiğini öğrenmiş olduk. Daha önceden de belirttiğimiz gibi her sitenin bir robots.txt dosyasına sahip olması gerekmez. Yalnızca taranmasını istediğiniz bölümler veya önemli bilgilerin yer aldığını düşündüğünüz alanlar varsa robots.txt dosyası kullanmak faydalı olacaktır. Arama motoru botları sitenize ilk geldiği zaman öncelikle varsa robots.txt dosyasına bakacak ve içinde yer alan komutlara göre hareket edecektir. Bu konuda robots.txt noktasına sahip olmak da onay vermediğiniz bölümlerin taranmamasına yardımcı olur ve site indekslenmesinde vakit kazanmış olursunuz. Robots.txt sayesinde sayfanızın istediğiniz biçimde arama motoru dizinine ilave edilmesini sağlarsınız.
Robots.txt Dosyası Nasıl Oluşturulur
Robots.txt dosyası belirli standartlara uygun olacak biçimde oluşturulmalı ve sayfanızın kök dizinine eklenmesi gerekir. Dizinleri oluşturup, hazırlarken aşağıda belitmiş olduğumuz noktalara çok dikkat etmeniz gerekmektedir;
Bu dosyanın ;
- UTF-8 karakter kodlamasına uygun bir şekilde hazırlanması
- Web sayfanızın kök dizininde bulunması
- Dosyanın URL’si ile site URL’sinin aynı şekilde olması
Yanlış olan:
Site URL’si: https://www.mobitek.com/
Robots.txt URL’si: https://www.mobitek.com/blog/robots.txt
Doğru olan:
Site URL’i: https://www.mobitek.com/
Robots.txt URL’si: https://www.mobitek.com/robots.txt
