Kendi imkanlarıyla SEO yapmak isteyenlerin ya da SEO’ya yeni başlayanların en çok zorlandığı konulardan biri robots.txt dosyası ve bunun ayarlarıdır.

Öncelikle “robots.txt nedir?“, “robots.txt ne işe yarar?” sorularının cevabıyla başlayalım. Bu dosya ve içindeki komutlar, arama motorlarına sitenizin hangi bölümlerini indexleyip, hangilerini indexlememeleri gerektiğini söyler. Dolayısıyla robots.txt dosyası ve içindeki komutların doğru yazılması çok önemlidir. Burada vereceğiniz hatalı bir komut ile tüm sitenizin ya da sitenizin bazı kısımlarının Google’da yer almamasına neden olabilirsiniz.

Robots.txt dosyası nerededir? İçerik yönetim sisteminizin otomatik oluşturduğu ya da sizin elle oluşturacağınız robots.txt dosyası, sitenizin ana dizinindedir. Yani hosting panelinizde ya da ftp bağlantınızda genelde “public html” ismiyle geçen, sitenizin index dosyasının da bulunduğu dizinde yer alır.

Robots.txt dosyası nasıl oluşturulur? Robots.txt dosyası, WordPress, Blogger, Joomla, Shopify, Wix gibi içerik yönetim sistemlerinin tamamı tarafından otomatik olarak oluşturulur ve standart ayarlardadır. Eğer böyle bir içerik yönetim sistemi kullanıyorsanız robots.txt dosyası oluşturma için ekstradan bir şey yapmanıza gerek olmaz. Yine bu içerik yönetim sistemlerinde birazdan değileceğimiz özel durumlar haricinde robots.txt dosyanızı ayarlamanıza da gerek yoktur. Ancak html, html5, özel olarak proglanıp yazılmış php, asp sitelerde robots.txt dosyasının manuel olarak sizin tarafınızdan oluşturulması gerekir. Bunun için, birazdan tarif edeceğimiz yollarla oluşturacağınız dosyayı, sitenizin ana dizinine yüklemeniz yeterlidir.

Ufak bir Google araması ile, yüzlerce hazır robots.txt dosyası oluşturucu olduğunu göreceksiniz. Bunun için Google’a “robots.txt dosyası oluşturma” , “robots.txt generator“, “robots.txt oluşturucu“, “robots txt oluşturma” gibi anahtar kelimeleri yazmanız yeterli.

Ancak buna gerek kalmadan kendiniz de basitçe robots.txt dosyası oluşturabilirsiniz. Bunun için basit bir kelime işlemci programı açın (örneğin Windows için Not Defteri, Mac kullanıyorsanız TextEdit)

İlk komutumuz User-agent, bu satır hangi arama motorlarının sitemizi indexlemesini istediğimizi, hangi arama motorlarında ise sitemizin görünmemesini istediğimizi belirler.

User-agent: *

bu şekilde eklediğiniz takdirde altına ekleyeceğimiz komutlar TÜM arama motorlarını kapsar.

Eğer User-agent: * satırının altına Disallow: / komutu girerseniz, sitenizin tamamı TÜM arama motorlarına yasaklanır. Yani hiçbir arama motorunda listelenmez.

Eğer User-agent: * satının altına Allow: / komutu girerseniz, sitenizin tamamı, TÜM arama motorları tarafından listelenir :

User-agent: *
Allow: /

Diyelim ki, sitenizi belli arama motorlarına yasaklamak, belli arama motorlarına (ya da yasakladıklarınızın dışında tümüne) serbest bırakmak istiyorsunuz. Yani “sitem bazı arama motorlarında gözüksün, bazılarında gözükmesin” diyorsunuz. O zaman;

User-agent: Googlebot
Disallow: /

User-agent: *
Allow: /

Yukarıdaki örnek kodla sitemizin tamamını Google’a yasakladık ancak diğer tüm arama motorlarına izin verdik. Tam tersi için :

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /

Şimdi de sitemizin tamamı için Google’a izin verdik ancak geri kalan tüm arama motorlarına yasakladık. Bu şekilde kombinasyonları genişletebilir ya da daraltabilirsiniz.

Diyelim ki sitenizdeki belli bir dizinin Google’da yer almamasını istiyorsunuz :

User-agent: Googlebot
Disallow: /dizinismi

ya da belli bir sayfanın yer almamasını istiyorsunuz :

User-agent: Googlebot
Disallow: /sayfaismi.php

Ben Googlebot üzerinden örnek verdim ama seçenekler çok. Bütün arama motorlarında gözükmesin, bazılarında gözüksün bazılarında gözükmesin şeklinde yukarıdaki komutlarla kombinasyonları çeşitlendirebilirsiniz.

Burada dikkat etmeniz gereken nokta şu : robots.txt dosyası sitenizin ana dizininde yer alacağı için, izin vermek ya da engellemek istediğiniz dizin ya da dosyanın yolunu da buna göre yazmalısınız. Eğer söz konusu dizin ya da dosya robots.txt dosyanız ile aynı dizinde ise / işaretinden sonra ismini yazmanız yeterli. Eğer başka bir alt dizindeyse tam olarak yolunu gösterin : /dizinadi/sayfaismi.php ya da /dizin1/dizin2 gibi.

Bu şekilde robots.txt dosyasını oluşturduktan sonra dosyayı kaydedin ve ftp ile ya da hostinginizin panelinden dosya yöneticisi arayüzü ile index dosyanızın bulunduğu ana dizine yükleyin. Eğer zaten mevcut bir robots.txt dosyanız varsa ve değişiklik yapmak istiyorsanız, eski robots.txt dosyasını silip yerine yenisini yükleyebilir ya da açıp, içindeki her şeyi silip kendi yazdığınız kodları kopyala-yapıştır yapıp, kaydedebilirsiniz.

Yeni robots.txt dosyanızı Google Search Console üstünden tanıtmanız faydalı olur.

Bunun nasıl yapılacağını Robots.txt Dosyası Nedeniyle Oluşan Hatalar ve Çözümü yazımda anlatmıştım.

Son olarak; WordPress kullanıyorsanız, WordPress robots.txt dosyası düzenleme ve oluşturma ile ilgili bir çok eklenti mevcut. Ancak yine de temel komutları bilmeniz faydanıza olur.

Robots.txt dosyası oluşturma, düzenleme ve robots.txt komutları hakkında en yetkili kaynaktan bilgi almak için şu sayfaları da inceleyebilirsiniz :

Robots.txt dosyası oluşturma

robots.txt Spesifikasyonları

Burada anlatılanların dışında sorularınız olursa seocukim@protonmail.com adresinden ulaşabilirsiniz.