Screpy'nin ücretsiz robots.txt oluşturucusu, bot gruplarınızdan, Allow ve Disallow kurallarınızdan ve sitemap URL'lerinizden düz metin dosyası üretir. Yeni bir dosya hazırlamak veya önceden planladığınız kuralları yeniden oluşturmak için kullanabilirsiniz. Sonucu kopyalayın ya da robots.txt olarak indirin, ardından kendi sitenizde yayınlayın.
Oluşturucu mevcut dosyanızı okumaz, canlı URL'leri test etmez ve değişiklikleri kurmaz. Çalışan bir yapılandırmayı değiştirmeden önce kopyasını saklayın ve her botun hangi yolları tarayabilmesi gerektiğini belirleyin. Sözdizimi doğru olan bir dosya da siteniz için yanlış kuralları ifade edebilir.
Robots.txt oluşturucu nasıl kullanılır?
Genel kurallar için * bot grubuyla başlayın. Kural ekle seçeneğini kullanın, Allow veya Disallow seçin ve / ile başlayan bir yol girin. Örneğin yol alanına https://example.com/drafts/ yerine /drafts/ yazın. Yalnızca belirli bir botun farklı kurallara ihtiyacı varsa yeni grup ekleyin.
En fazla 10 farklı bot grubu, tüm gruplarda toplam 50 kural ve 10 sitemap URL'si tanımlayabilirsiniz. Tam bir tarayıcı User-Agent metni yerine Googlebot gibi botun ürün adını kullanın. Yalnızca büyük ve küçük harf farkı olan adlar bu araçta ayrı gruplar sayılmaz.
Her tam HTTP veya HTTPS sitemap adresini ayrı satıra yazın. Ekleyeceğiniz adres yoksa alanı boş bırakın. Dosyayı oluşturun, uyarıları inceleyin ve çıktıyı kopyalayın veya indirin. Kural eklenmeyen bir grupta Allow: / üretilir. Bu nedenle dosyada varsayılan satır bulunsa da eklenen kural sayısı sıfır olabilir. Bunlar oluşturucunun sınırlarıdır; robots.txt protokolünün sınırları değildir.
İzin verilen bir istisnayla robots.txt örneği
Bu kurgusal yapılandırma, taslak klasörünün taranmasını kısıtlarken herkese açık alt klasörü erişilebilir bırakır. Her site için önerilen varsayılan dosya değil, kendi ihtiyacınıza uyarlayabileceğiniz bir örnektir.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Bu grubu kullanan bir bot için beklenen kural kararları şöyledir:
| URL yolu | Tarama kararı | Neden |
|---|---|---|
/products/blue-mug/ |
İzin verilir | Kısıtlamaların hiçbiri eşleşmez. |
/drafts/new-page/ |
Engellenir | Engellenen klasörle eşleşir. |
/drafts/public/style-guide/ |
İzin verilir | Daha uzun Allow yolu istisna oluşturur. |
/drafts |
İzin verilir | /drafts/ yolundaki son eğik çizgiyi içermez. |
Uygulamanız klasörün her iki biçimini de sunuyorsa son satır önemlidir. Sitenizin gerçekten sunduğu URL'leri, eğik çizgi ve sorgu farklılıklarıyla birlikte test edin. Kural kararı dosyaya göre tarama iznini açıklar; HTTP erişilebilirliğini veya indekslenmeyi kanıtlamaz. Sitemap satırı bir dosyanın konumunu gösterir ve Disallow kuralını geçersiz kılmaz.
Joker karakterlerle amaçladığınız yolları eşleştirin
Bir kuralı hem eşleşmesini istediğiniz URL'de hem de taramaya açık kalmasını istediğiniz benzer bir URL'de kontrol edin. Yollar büyük ve küçük harfe duyarlıdır: /Catalog/ ve /catalog/ farklıdır. Eksik eğik çizgi veya fazla geniş bir başlangıç ifadesi etkilenen sayfaları değiştirebilir.
| Desen | Kullanmadan önce kontrol edilecek nokta |
|---|---|
/catalog |
Başlangıç eşleşmesidir; /catalogue/ yoluyla da eşleşir. |
/catalog/ |
Klasörün altındaki yollarla eşleşir, tek başına /catalog ile eşleşmez. |
/catalog$ |
Tam bitişle eşleşir; /catalog/ veya /catalog?sort=price ile eşleşmez. |
/*.pdf$ |
Küçük harfle .pdf biten URL ile eşleşir; uzantıdan sonraki sorgu bu bitişi değiştirir. |
Robots Exclusion Protocol, * karakterini bir karakter dizisi, $ karakterini eşleşmenin sonu olarak tanımlar. Doğrudan yazılan # yorum başlatır. URL'nin parçası olan diyez veya boşluğu kaçışsız yol metni olarak girmek yerine kodlayın. Desenleri açıklayabileceğiniz ve doğrulayabileceğiniz kadar dar tutun. Form, desenlerinizi korur; etkileyebilecekleri her URL'yi hesaplamaz.
Her bota eksiksiz bir kural grubu verin
Genel grubun kısıtlamaları Googlebot'un özel grubuna otomatik olarak eklenmez. Örneğin:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Burada Googlebot grubu /previews/ yolunu kısıtlar, /drafts/ yolunu kısıtlamaz. Googlebot için iki klasör de kısıtlanacaksa ikisini de kendi grubuna ekleyin. Google'ın robots.txt açıklaması, grup seçimini ve eşleştirmeyi anlatır. Eşit özgüllükte çelişen Allow ve Disallow kurallarında Google Allow'u seçer. Aynı kuralı dosyanın daha altına taşımak ona öncelik kazandırmaz.
Bota özel grubu yalnızca amaçladığınız farkı biliyorsanız ekleyin. Arama, eğitim ve kullanıcı isteğiyle çalışan botlar farklı adlar kullanabilir. Bir grubun bir hizmetin tüm etkinliklerini kontrol ettiğini varsaymak yerine, desteklenen botun kurallarını AI Bot Access Tester ile inceleyin.
Kopyalamadan önce oluşturucunun uyarılarını okuyun
Rapor, bilinçli karar vermeniz gereken üç durumu öne çıkarır. Uyarı, kuralları gözden geçirmeniz gerektiğini gösterir; dosyanın kullanılamaz olduğunu kanıtlamaz.
| Uyarı | İncelenecek nokta |
|---|---|
| Tüm siteyi kapsayan Disallow | Grupta Disallow: / bulunur. Geniş kısıtlamanın amaçlı olduğunu doğrulayın ve daha özel Allow istisnalarını inceleyin. |
| Belirli bot grubu | Genel grupta kurallar, başka bir botun da kendi grubu vardır. Bu grubun amaçlanan kısıtlamaları içerdiğini kontrol edin. |
| Aynı yolda Allow ve Disallow | Aynı grupta aynı yol için iki işlem vardır. İstenmeyen çelişkiyi kaldırın; eşit özgüllükte Google Allow'u tercih eder. |
Uyarısız çıktı, canlı tarama denetimi değildir. Bu kontroller, bir kaynağın sayfanın oluşturulması için gerekip gerekmediğini, sitemap'in erişilebilirliğini veya her desenin istediğiniz sayfalarla eşleştiğini belirlemez. Sayfanın ihtiyaç duyduğu stil dosyalarını, betikleri ve görselleri taramaya açık tutun. Genel bir şablonda var diye kaynak klasörlerini topluca engellemeyin.
Robots.txt dosyasını yayınlayın ve canlı yanıtı kontrol edin
Değiştirmeden önce mevcut dosyayı saklayın. Üretilen metni UTF-8 düz metin olarak, fazladan .txt uzantısı olmadan tam robots.txt adıyla yayınlayın. HTTPS kullanan www.example.com sitesi için https://www.example.com/robots.txt adresini kontrol edin. /blog/robots.txt dosyası bütün alan adının kurallarını belirlemez. Protokol, sunucu adı ve port önemlidir.
WordPress, başka bir CMS veya barındırılan site oluşturucusunda önce bu URL'nin nasıl sunulduğunu belirleyin. Fiziksel dosya, eklentinin ürettiği yanıt veya platform ayarı olabilir. İlgili kaynağı güncelleyin; başka yere ikinci bir dosya koymak canlı yanıtı değiştirmeyebilir. Screpy CMS şablonları sunmaz ve dosyayı sizin yerinize yayınlamaz.
Yayınladıktan sonra:
- Oturum açmadan tam robots.txt adresini açın. Giriş ekranı veya HTML sayfası yerine istediğiniz metnin döndüğünü doğrulayın.
- Önemli izinli ve engelli URL'leri Robots.txt Tester ile kontrol edin. İstisnaları ve farklı yol yazımlarını da ekleyin.
- Beklenmeyen yanıtları HTTP Headers Checker ile inceleyin; bildirilen sitemap'i ayrıca Sitemap Checker ile doğrulayın.
Google'ın oluşturma rehberi, yükleme ve herkese açık erişim kontrollerini açıklar. Botlar yayınlanan dosyayı keşfeder; buradan indirmek gönderim değildir. Önbellekteki kopya nedeniyle değişiklik hemen görülmeyebilir.
İndeksleme veya özel sayfalar için doğru kontrolü seçin
Tarama kısıtlamalarını bildirmek için robots.txt kullanın. Amacınız herkese açık bir sayfayı Google Arama'dan uzak tutmaksa, Google noindex kullanımını sayfanın meta etiketi veya HTTP yanıt başlığı üzerinden açıklar. Google'ın talimatı okuyabilmesi için sayfaya erişmesi gerekir. Aynı URL'yi robots.txt ile engellemek bunu önleyebilir. Robots.txt içine Noindex: satırı eklemek Google tarafından desteklenmez.
Çözümü seçmeden önce mevcut talimatları Noindex Checker ile inceleyin. Gizli belgeler veya özel test siteleri için kimlik doğrulama ve uygun erişim kontrolleri kullanın. Herkese açık robots.txt dosyası da noindex talimatı da içeriğin güvenliğini sağlamaz. Daha çok kural oluşturmak, doğru kontrolü seçmenin yerini tutmaz.