Robots.txt nedir diye sorulduğunda, bu bir talimat dosyasıdır. Sitenizin kök dizinine yerleştirilen bu metin dosyası, arama motoru botlarına (spider, crawler olarak da bilinir) hangi sayfaları ziyaret edebileceklerini, hangilerini atlayacaklarını söyler.
Googlebot, Bingbot veya başka bir tarayıcı bot sitenize geldiğinde ilk iş olarak /robots.txt adresini kontrol eder. Bu dosyada verilen direktiflere göre hareket eder. Yani bu dosya, sitenizin dijital kapısındaki bir yönlendirme tabelası gibi düşünülebilir.
Peki pratikte ne işe yarar? İşte birkaç temel kullanım senaryosu:
Admin paneli, üye giriş sayfası gibi özel alanların taranmasını engellemek
Test ortamlarının veya yinelenen içeriklerin indekse girmesini önlemek
Crawl bütçesini verimli kullanarak önemli sayfaların daha sık taranmasını sağlamak
Sitemap dosyasının konumunu botlara bildirmek
Belirli botların siteye erişimini tamamen kısıtlamak
Önemli Not: Robots.txt, botlara bir tavsiye niteliğindedir; zorlayıcı bir güvenlik mekanizması değildir. Kötü niyetli botlar bu direktifleri görmezden gelebilir. Gerçek gizlilik için şifreleme veya kimlik doğrulama yöntemleri kullanılmalıdır.
Robots.txt Dosyası Nedir ve Formatı Nasıldır?
Robots.txt dosyası, düz metin formatında yazılmış, belirli bir sözdizimi kurallarına sahip bir konfigürasyon dosyasıdır. Sitenizin ana dizininde, yani /robots.txt yolunda bulunmak zorundadır. Başka bir yere koyduğunuzda botlar tarafından bulunamaz.
Temel Robots.txt Format Kuralları
Robots.txt format yapısı oldukça sade görünse de dikkat edilmesi gereken bazı nüanslar içerir. Her kural bloğu (record) şu iki temel direktiften oluşur:
# Bu bir yorum satırıdır
# User-agent: hangi botu hedef aldığınızı belirtir
User-agent: Googlebot
Disallow: /admin/
Disallow: /test/
Allow: /api/public/
# Tüm botlar için genel kural
User-agent: *
Disallow: /private/
# Sitemap konumu
Sitemap: https://www.siteniz.com/sitemap.xml
User-agent: hangi botun hedef alındığını belirtir. * tüm botları kapsar.
Disallow: botun erişmemesini istediğiniz yolları tanımlar.
Allow: Disallow ile kısıtlanmış bir alanın alt dizinini açmak için kullanılır.
Sitemap: sitenizin XML sitemap adresini belirtir.
Dikkat: Robots.txt büyük-küçük harf duyarlıdır. /Admin/ ile /admin/ farklı yollar olarak değerlendirilir. Ayrıca boş bir Disallow satırı tüm sitenin taranmasına izin verdiği anlamına gelir.
Robots.txt Nasıl Olmalı?
Robots.txt nasıl olmalı sorusu, özellikle yeni proje sahiplerinin kafasını en çok karıştıran konulardan biridir. Yıllar içinde gözlemlenen en yaygın hatalar şunlardır:
Tüm siteyi engelleyen 'Disallow: /' direktifini yanlışlıkla bırakmak
İndekslenmiş olmasını istediğiniz sayfaları engellemek
Robots.txt'i güvenlik mekanizması olarak kullanmaya çalışmak
Canonical tag veya noindex direktifiyle çelişen kurallar oluşturmak
Sitemap yolunu güncel tutmamak
Robots.txt Test Aracı Nasıl Çalışır?
Dosyayı oluşturdunuz, yayına aldınız peki doğru çalışıyor mu? İşte bu noktada robots.txt test aracı devreye giriyor. Bu araçlar, yazdığınız kuralların belirli bir URL için nasıl uygulandığını simüle etmenizi sağlar.
En popüler robots.txt tester Google Search Console bünyesindedir. Google'ın bu aracı, Googlebot'un sitenizi nasıl algıladığını gerçek zamanlı olarak test etmenizi sağlar. Kullanımı son derece basittir:
Google Search Console'a giriş yapın ve ilgili mülkü seçin
Sol menüden 'Dizin Oluşturma' bölümüne geçin
robots.txt test aracını açın
Test etmek istediğiniz URL'yi girin ve 'Test Et' butonuna tıklayın
Araç, o URL'nin engellenip engellenmediğini ve hangi kuralın uygulandığını gösterir
Bunun yanı sıra çeşitli üçüncü taraf robots.txt tester araçları da mevcuttur. Bunlar genellikle dosyanızı yapıştırmanıza veya URL üzerinden çekmenize, ardından farklı botlar için simülasyon yapmanıza izin verir. Özellikle Google dışındaki arama motorlarının (Bing, Yandex vb.) davranışını test etmek isteyenler için faydalı alternatiflerdir.
Robots.txt Kullanımı ve Kuralları
Robots.txt kullanımı söz konusu olduğunda, akılda tutulması gereken bazı temel prensipler vardır. Bu prensipler hem teknik açıdan doğru bir dosya oluşturmanıza hem de arama motorlarıyla sağlıklı bir ilişki kurmanıza yardımcı olur.
Robots.txt Oluşturma: Adım Adım
Robots.txt oluşturma için özel bir yazılıma ihtiyaç duymazsınız. Basit bir metin editörü yeterlidir. Ancak şu adımları dikkatle takip etmek önemlidir:
Dosyayı UTF-8 formatında kaydedin, başka bir kodlama kullanmayın
Dosya adı kesinlikle robots.txt olmalı, büyük harf içermemeli
Dosyayı sitenizin kök dizinine yükleyin: https://siteniz.com/robots.txt
Her User-agent bloğunu boş bir satırla birbirinden ayırın
Yorum satırları için # karakterini kullanın
Robots.txt dosyası oluşturma sürecinde WordPress, Shopify veya diğer büyük CMS platformlarını kullanıyorsanız işiniz çok daha kolaydır. Bu platformların büyük çoğunluğu, admin paneli üzerinden robots.txt dosyasını düzenlemenize olanak tanıyan yerleşik araçlara ya da eklentilere sahiptir. Yoast SEO, Rank Math gibi popüler eklentiler bu dosyayı arayüz üzerinden yönetmenizi sağlar.
Gelişmiş Kullanım Senaryoları
Temel kullanımın ötesine geçmek isteyenler için robots.txt çok daha güçlü bir araç hâline gelebilir. Örneğin wildcard karakteri (*) ve $ sembolü ile çok daha esnek kurallar tanımlanabilir:
# Tüm PDF dosyalarını engelle
User-agent: *
Disallow: /*.pdf$
# URL parametresi içeren tüm sayfaları engelle
Disallow: /*?*
# Sadece belirli bir botu tamamen engelle
User-agent: AhrefsBot
Disallow: /
Robots.txt ve SEO İlişkisi
Pek çok kişinin gözden kaçırdığı nokta şudur: robots.txt, yalnızca teknik bir konfigürasyon dosyası değildir. Doğru kullanıldığında SEO stratejinizin güçlü bir bileşeni olabilir; yanlış kullanıldığında ise tüm çalışmalarınızı yerle bir edebilir.
Arama motorlarının her site için belirli bir 'crawl bütçesi' vardır. Bu bütçe, botun belirli bir zaman diliminde sitenizde kaç sayfa tarayabileceğini ifade eder. Gereksiz sayfaları (eski URL parametreleri, yinelenen içerikler, dahili arama sonuç sayfaları vb.) engellemek, bütçenin değerli sayfalara ayrılmasını sağlar. Bu da önemli içeriklerinizin daha hızlı indekslenmesi anlamına gelir.
Öte yandan dikkat edilmesi gereken kritik bir nokta var: robots.txt ile engellenen bir sayfa indeksten kaldırılmaz. Eğer bir sayfanın arama sonuçlarında görünmesini istemiyorsanız, robots.txt yerine noindex meta etiketini kullanmalısınız. Robots.txt yalnızca taramayı engeller, görünürlüğü değil.
Ayrıca canonical tag stratejinizle robots.txt direktiflerinizin çelişmemesine özen gösterin. Canonical etiketiyle 'bu sayfa asıl içerik' dediğiniz bir URL'yi aynı zamanda robots.txt ile engellerseniz, Google'a çelişkili sinyaller göndermiş olursunuz. Bu durum indeksleme sorunlarına ve sıralama kaybına yol açabilir.