AI arama botu kuralları
Alan adı veya tam HTTP/HTTPS URL’si girin. Yol ve sorgu korunur; robots.txt bu adresin kökünden alınır. Bota özel eşleşen grup joker gruptan önceliklidir. Daha uzun eşleşen kural uygulanır; eşit özgüllükte Allow kazanır. En fazla beş yönlendirme izlenir.
AI arama
OAI-SearchBot · Claude-SearchBot · PerplexityBot
AI aramada bulunmak istiyorsanız değiştirmeden önce eşleşen Disallow kuralını inceleyin. Yalnızca robots.txt kuralları kontrol edilir. Gerçek bot erişimi, indeksleme veya kaynak gösterilmesi doğrulanmaz.
Model eğitimi
GPTBot · ClaudeBot
Eğitim botunu engellemek bilinçli bir tercih olabilir. Bu, otomatik olarak SEO sorunu değildir.
Kullanıcı isteğiyle ziyaretler
ChatGPT-User: Kullanıcı isteğiyle yapılan ziyaretlerde robots.txt geçerli olmayabilir.
Claude-User, kullanıcı isteğiyle yapılan ziyaretlerde robots.txt kurallarına uyar.
Perplexity-User: Bu bot, kullanıcı isteğiyle yapılan ziyaretlerde genellikle robots.txt kurallarını dikkate almaz.
İçerik kullanım kontrolleri
Google-Extended: Ayrı bir HTTP tarayıcısını veya Google Arama’yı değil, içerik kullanımını kontrol eder.
Kaynak
Erişilemeyen yanıt, geçersiz belge veya aşılan sınırda sonuç bilinmiyor olur. 404 veya 410 döndüren eksik dosya, robots.txt kısıtlaması bulunmadığı anlamına gelir. robots.txt yanıtı en fazla 512 KiB olabilir.
Noindex Kontrolü · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Keşfedilmesini istediğiniz URL’yi test edin
Yalnızca ana sayfayı değil, herkese açık makale veya ürün URL’sini kontrol edin. / yoluna izin veren bir kural, /private/ kısıtlamasıyla birlikte bulunabilir; sonuç istenen yola bağlıdır. https://example.com/private/report/ için erişimin bilinçli olup olmadığına karar vermeden önce uygulanan grubu ve eşleşen kuralı inceleyin.
Rapor izin verilen, engellenen ve bilinmeyen politika sonuçlarını ayırır. Amacınız keşfedilmekse önce arama botu satırlarını okuyun. Yeşil toplamı her bot kategorisine izin verildiğinin veya içeriğin bir yanıtta gösterileceğinin kanıtı saymayın.
Arama ve eğitim kararlarını ayrı değerlendirin
Site sahibi OAI-SearchBot’a izin verirken GPTBot’u engelleyebilir. Bu tercihler farklı amaçlara hizmet eder: sayfaları aramaya açmak, tüm eğitim botlarına aynı davranmayı gerektirmez. Diğer botları incelerken de bu ayrım önemlidir. Her kullanıcı aracısının amacını yayınlanmış belgelerinden doğrulayın.
Robots.txt değişikliğinden sonra tekrar kontrol edin
Kuralı test edilen URL’nin bulunduğu origin üzerinde düzenleyin, yayınlayın ve aynı URL’yi yeniden çalıştırın. Fazla geniş bir değişikliği yakalamak için kısıtlanan dizinin dışındaki ikinci URL’yi de kontrol edin. Her Disallow satırını kaldırmak yerine bilinçli kısıtlamayı koruyun.
Politika izin verdiği halde erişim başarısızsa kimlik doğrulama, HTTP yanıtları ve sunucu kısıtlamalarını ayrıca araştırın. Araç bunları doğrulayamaz. Yanıt kanıtı için Toplu HTTP Durum Kontrolü, indeksleme yönergeleri için Noindex Kontrolü kullanın.