Robots.txt dosyası SEO açısından ne kadar önemli? Robots.txt hataları ve çözüm yolları.

“Bu sitenin robots.txt dosyası nedeniyle söz konusu sonuca ilişkin açıklama mevcut değil” hatası neden kaynaklanır, nasıl çözülür?

Öncelikle Robots.txt dosyası ne işe yarar? Buna bakalım : Sunucuda sanal olarak oluşturulan bu dosya, arama motorlarının botlarının sitedeki davranış kurallarını belirler. Örneğin bu dosyadaki komutlar ile arama motorlarının sitenizi hiç indexlememesini sağlayabilir ya da bazı klasörlerinizi indexlemelerini engelleyebilirsiniz. Tam bu noktada sık düşülen iki hataya değinmek istiyorum :

Birincisi; robots.txt ile sadece arama motoru botları (spider / örümcekler) engellenir. Kullanıcılar, eğer isimlerini (yollarını) biliyorlarsa bu dizinlere ulaşabilirler. Örneğin sunucunuzda /resimler diye bir klasör var ve buradaki resimleri sitenizde yayınlamıyorsunuz. Herkesin de ulaşmasını istemiyorsunuz. Robots.txt dosyasında /resimler klasörünü yasaklarsanız, bu klasör arama sonuçlarında listelenmez. Ancak, herhangi birisi tarayıcısının adres kısmına siteniz.com/resimler yazıp bu klasöre ulaşabilir. Eğer gezinmeyi de engellemek istiyorsanız .htaccess dosyanızda da benzer bir kural oluşturmanız gerek.

İkincisi; hazır içerik yönetim sistemleri (WordPress, Joomla vb.) kullanıyorsanız, admin klasörleri ya da admin panel sayfaları gibi sayfalar için kural oluşturmanıza gerek yok. Bunu duymak hoşunuza gitmeyecek ama Google botları sizden daha akıllı ve siz söylemeden de bunu kendileri anlıyor. Ben şu ana kadar admin dizini Google’da indexlenmiş bir WordPress site görmedim 🙂

Şimdi gelelim zaman zaman karşılaşılan bir hata mesajı ve çözüm yoluna :

Eğer Google’da site:siteniz.com şeklinde ya da sitenizin başlığı (title) ile arama yaptığınızda description (açıklama) alanında “Bu sitenin robots.txt dosyası nedeniyle söz konusu sonuca ilişkin açıklama mevcut değil” şeklinde bir mesaj görüyorsanız, bir şeyler ters gidiyor demektir.

%99 ihtimalle robots.txt dosyanızı yanlış yapılandırmış ve robotları sitenizden yasaklamışsınızdır. Bir diğer ihtimal ise sitenize Google Search Console üzerinden URL kaldırma işlemi gerçekleşmiştir. Bu işlem iptal edilse bile Google önbelleğinin temizlenmesi için bazen dışarıdan müdahale etmek gerekebiliyor.

Birlikte çözelim :

Öncelikle sunucu panelinizden ya da ftp ile ana dizininize bağlanarak, robots.txt dosyanızı açın. Dosyanın içindeki her şeyi silin ve sadece şunları yapıştırarak kaydedin.

User-agent: *

Disallow:

Bu dosyayı sunucunuzun ana dizinine, yani index dosyanızın olduğu dizine yükleyin.

Google Search Console (Google Webmaster Tools) hesabınıza giriş yapın. Soldaki menüde Tarama > Robots.txt Test Aracı nı bulun ve tıklayın. Çıkan pencerede, ortadaki büyük alanda eski (yani az önce siz değiştirmeden önceki) robots.txt içeriği gözüküyor olabilir. Hiçbir şey yapmadan sağ alttaki Gönder tuşuna tıklayın. Çıkan popup ekranda yine hiçbir şey yapmadan 3 nolu Gönder butonuna tıklayın.

Bir dakika bekleyin ve sayfayı yenileyin. Ortada kodların yer aldığı büyük pencere alanında, artık yeni robots.txt içeriğiniz gözüküyor olacak. Test Et butonuna tıklayın, User-agent: * satırı yeşil olacak. Tamamdır. Şimdi yine sol menüden Site Haritaları na tıklayın ve mevcut tanımlı site haritanızı silip, üstteki buton yoluyla yeniden ekleyin.

Bu kadar. 

Şimdi tarayıcı önbelleğinizi temizleyerek tekrar Google araması yapabilirsiniz. Bazen hata Google sonuç ekranında anında çözülürken, bazen değişikliğin gerçekleşmesi 24 saati bulabiliyor. Telaş etmeyin. Düzelecektir.