Ücretsiz Robots.txt Testi ve Doğrulayıcı
Bir URL’nin Google, yapay zekâ arama, eğitim ve özel tarayıcılar için izinli mi yoksa engelli mi olduğunu kontrol edin. Canlı bir siteyi test edin veya geçerli kuralı ve satırı görmek için robots.txt içeriği yapıştırın.
Bir tarama kuralını üç adımda test edin.
Proje veya hesap oluşturmadan bir URL'yi kontrol edin. Canlı mod yalnızca web sitesinin herkese açık robots.txt dosyasını okur.
Kaynağı seçin
Bir web sitesinin herkese açık robots.txt dosyasını getirin veya tarayıcınızda gizlice test etmek istediğiniz içeriği yapıştırın.
Tarayıcı seçin
Bir arama, yapay zekâ arama, eğitim, kullanıcı tetiklemeli veya özel tarayıcı ürün belirtecini seçin ve test edilecek URL yolunu girin.
Tam eşleşmeyi okuyun
URL’nin izinli olup olmadığını, hangi grubun uygulandığını ve sonucu belirleyen Allow veya Disallow kuralını ve satırını görün.
Bir tarayıcıya neden izin verildiğini veya engellendiğini anlayın.
Yararlı bir sonuç yalnızca yeşil veya kırmızı bir durum değil, kararın arkasındaki kuralı da göstermelidir.
En özel kural kazanır
Test cihazı en uzun eşleşme davranışını uygular. Aynı ayrıntı düzeyindeki Allow ve Disallow kuralları çakışırsa daha az kısıtlayıcı Allow kuralı kazanır.
Joker ve son eşleştirme
URL yolundaki karakter dizisini eşleştirmek için yıldız, kuralı test edilen URL’nin sonuna sabitlemek için dolar işareti kullanın.
User-agent grupları önemlidir
Tarayıcıya özel grup, genel * grubuna göre önceliklidir. Farklı arama, eğitim ve kullanıcı tetiklemeli agent’lar ayrı ayrı test edilmelidir.
Kural yoksa erişim varsayılan olarak açıktır
Geçerli bir Allow veya Disallow kuralı eşleşmezse robots exclusion protocol kapsamında URL varsayılan olarak izinlidir.
Robots.txt erişimi kontrol eder, arama sonuçlarına dahil edilmeyi değil.
Tarama kontrolü
Allow ve Disallow kuralları, uyumlu bir tarayıcının hangi URL yollarını isteyebileceğini belirtir.
Dizin kontrolü
Bir URL arama sonuçlarında görünmemesi gerektiğinde taranabilir noindex yönergelerini ve arama motoru kaldırma iş akışlarını kullanın.
Robots.txt testi SSS
Tarama kuralları, yapay zekâ tarayıcı belirteçleri, hata durumları ve dizine ekleme hakkında net yanıtlar.
Robots.txt testi ne yapar?
Robots.txt testi, bir tarayıcı user-agent’ını ve URL’yi robots.txt dosyasındaki kurallarla karşılaştırır. Taramanın izinli olup olmadığını, hangi user-agent grubunun uygulandığını ve varsa tam eşleşen kuralı gösterir.
Robots.txt bir sayfanın dizine eklenmesini engeller mi?
Tek başına engellemez. Robots.txt taramayı, dizine eklemeyi değil kontrol eder. Engelli bir URL bağlantılarla yine keşfedilebilir ve tam snippet olmadan görünebilir. Amaç arama sonuçlarından kaldırmaksa taranabilir sayfada uygun bir noindex yönergesi kullanın.
“Varsayılan olarak izinli” ne anlama gelir?
Testin URL’yi engelleyen geçerli bir kural bulamadığı anlamına gelir. Eşleşen user-agent grubu olmayabilir, grubun ilgili kuralı olmayabilir veya kullanılabilir bir robots.txt dosyası bulunmayabilir.
Yapay zekâ tarayıcılarını Googlebot’tan ayrı test edebilir miyim?
Evet. Arama tarayıcıları, yapay zekâ arama tarayıcıları, model eğitimi tarayıcıları ve kullanıcı tetiklemeli getiriciler farklı ürün belirteçleri kullanabilir ve farklı kurallara tabi olabilir. Uygulanan politikayı görmek için her agent’ı ayrı seçin.
Robots.txt içinde * ve $ ne anlama gelir?
Yıldız, URL yolundaki bir karakter dizisini eşleştirir. Dolar işareti, deseni URL’nin sonuna sabitler. Test cihazı en özel geçerli kuralı bulurken her iki deseni de destekler.
Robots.txt 404 veya 403 döndürürse ne olur?
Büyük tarayıcılar genellikle çoğu 4xx yanıtını tarama kısıtlaması yayınlanmamış gibi ele alır. 429 farklıdır; geçici hız sınırlamasını gösterir. Bu nedenle test cihazı canlı durumu belirsiz olarak raporlar.
5xx veya zaman aşımı sonucu neden belirsiz?
Geçici sunucu ya da ağ hatası tarayıcıya izin verildiğini veya engellendiğini kanıtlamaz. Tarayıcılar istekleri duraklatabilir veya önceden önbelleğe alınmış bir robots.txt dosyasını kullanabilir; bu nedenle test cihazı kesin karar sunmaz.
Screpy URL’leri veya yapıştırılan robots.txt içeriğini saklar mı?
Hayır. Yapıştırılan içerik tarayıcınızda analiz edilir ve yüklenmez. Canlı modda yalnızca mevcut kontrol için site, test edilen URL ve seçilen tarayıcı gönderilir; bu girdiler saklanmaz.