Robots.txt Dosyası Oluşturma ve Önemi

Google botları tarafından çok önemsenen Robots.txt dosyasının olmaması halinde, sayfanız indekslenmeme riski ile karşı karşıya kalabilir. Robots.txt dosyası, arama motorundaki robotları yönlendiren, hangi sayfaların indekslenmesi gerektiğini komutlar ile robotlara bildiren bir text dosyasıdır.

Kullandığınız Hostingde robots.txt dosyasının bulunmaması halinde robotlar hangi sayfaları inceleyeceğini bilemeyeceğinden siteyi indekslemeyebilir. Bu da site sahibi açısından gereksiz yere can sıkıcı bir durum oluşturur.

Eğer sitenizde bir robots.txt dosyasının var olup olmadığını bilmiyorsanız, anlamak için adres bölümüne www.siteadı.com/robots.txt URL’ini girmek yeterli olacaktır.

Örnek kod aşağıdaki gibi olacaktır.

Örnek 1 :

User-agent: *
Disallow:/wp-admin/
Disallow:-wp-includes/
Sitemap: http://www.siteadı.com/sitemap.xml

Örnek 2 :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-includes/
Sitemap: http://www.siteadı.com/sitemap.xml

Örnek 3 :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /wp-content/cache/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /category/*/*
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.siteadı.com/sitemap.xml

Örnek 4 :

User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://www.siteadı.com/sitemap.xml

Belirtilen kod Wordpress için standart olan robots.txt komutudur. Belirtilen komutları artırabilir veya arama motoruna özel komutlar verebilirsiniz. Bunun için internette bir çok hazırda robots.txt dosyası bulabilmeniz de mümkündür.

Ancak kendiniz oluşturmak istiyorsanız bir not defteri oluşturarak adını robots.txt olarak değiştirin. Daha sonra yukarıda belirtilen kodu not defterine yapıştırarak kaydedin. Son olarak Ftp paneline girerek sitenin bulunduğu dizinin içine sürükleyerek bırakın.

Eğer Linux hosting kullanıyorsanız dizininiz httpdocs adlı bir klasörde yer alır. Eğer hosting Linux değil de Asp veya Windows ise ana dizin genelde wwwroot adlı bir klasörde bulunur. Httpdocs klasörüne girerek robots.txt dosyasını içine sürükleyerek bırakın.