Screpy’nin AI Bot Access Tester aracı, belirli bir URL için robots.txt politikasını adı belirtilen dokuz bot veya içerik kullanım kontrolü açısından inceler. Yapay zekâ araması, model eğitimi ve kullanıcı isteğiyle yapılan ziyaretleri ayırarak amacınıza uygun kuralı değerlendirmenizi sağlar. Sonuç, yayımlanmış politikanın ne söylediğini gösterir; gerçek botun sayfaya ulaştığını, indekslediğini veya kaynak gösterdiğini kanıtlamaz.
Tam URL’yi ve kaynağını test edin
Bir alan adı veya tam, herkese açık HTTP/HTTPS URL’si girin. Yalnızca alan adı kök yolu kontrol eder; tam adresin yolu ve sorgusu kural değerlendirmesinde korunur. Ürün rehberini merak ediyorsanız ana sayfa sonucunun her yere geçerli olduğunu varsaymak yerine rehberin kendisini test edin.
Araç robots.txt dosyasını verdiğiniz URL’nin kökeninden alır. Farklı alt alan adları ve HTTP/HTTPS kökenleri farklı dosyalara sahip olabilir. Gerçekte yayımladığınız adresi kontrol edin. Kaynak ayrıntıları istenen robots.txt adresini, yönlendirmelerden sonraki son adresini ve kontrol zamanını gösterir. Kaynak için en fazla beş yönlendirme izlenir.
İncelenecek diğer sunucu adlarını bulmak için Subdomain Bulucu kullanın; ardından ilgili her kökenin bot politikasını ayrı kontrol edin. Sertifika kaydı, çalışan bir siteyi veya gerçek bot erişimini doğrulamaz.
Sayfa URL’si burada içeriği analiz edilen sayfa değil, kuralların eşleştirildiği hedeftir. robots.txt dosyasının alınması, hedef makalenin erişilebilir veya okunabilir olduğunu göstermez. Değişiklik öncesi ve sonrası karşılaştırmada test ettiğiniz adresi sonuçla birlikte saklayın.
Arama, eğitim ve kullanıcı isteğiyle yapılan ziyaretleri ayırın
Eğitim botunun engellenmesi otomatik olarak aramada keşfedilme sorunu değildir. Her satırın yeşil olması gerektiğine karar vermeden önce amacını okuyun. Mevcut rapor dokuz kayıt içerir:
| Amaç | Rapordaki kayıtlar | Kategorinin anlamı |
|---|---|---|
| Yapay zekâ araması | OAI-SearchBot, Claude-SearchBot, PerplexityBot | İlgili arama deneyiminde keşfedilme hedefinde bu satırları inceleyin |
| Model eğitimi | GPTBot, ClaudeBot | Eğitimden çıkma tercihi bilinçli ve arama politikasından ayrı olabilir |
| Kullanıcı isteğiyle ziyaret | ChatGPT-User, Claude-User, Perplexity-User | Davranış notunu okuyun; üçü robots.txt dosyasını aynı şekilde değerlendirmez |
| İçerik kullanım kontrolü | Google-Extended | Ayrı HTTP tarayıcısı veya Google Arama sıralama kontrolü olmayan içerik kullanım belirteci |
OpenAI’ın bot belgesi, OAI-SearchBot ile GPTBot’u ayırır ve kullanıcı tarafından başlatılan ChatGPT-User isteklerinde robots.txt kurallarının uygulanmayabileceğini söyler. Aramaya izin verip eğitimi engellemek bu nedenle çelişkili sonuç değil, ayrı bir politika tercihidir.
Anthropic’in bot rehberi, Claude’un arama, eğitim ve kullanıcı isteği araçlarını ayırır; botların robots.txt kurallarına uyduğunu belirtir. Perplexity’nin bot rehberi, arama için PerplexityBot’u, kullanıcı isteğinde genellikle robots.txt kurallarını yok sayan Perplexity-User’dan ayırır.
Google’ın Google-Extended belgesi, içerik kullanım kontrolünü anlatır ve belirtecin Google Arama’ya dahil olmayı veya sıralamayı etkilemediğini belirtir. Bu satırı Googlebot veya bütün Google yapay zekâ arama özelliklerinin testi saymayın. Bot amaçları ve davranışları değişebilir; uzun süre kullanılan politikayı incelerken bu resmî kaynaklara dönün.
Uygulanan grubu ve eşleşen kuralı okuyun
Kanıt, botu, uygulanan grubu, eşleşen Allow veya Disallow kuralını ve kaynak satırını gösterir. Eşleşen özel bot grubu joker grubundan önceliklidir. Geçerli kurallar arasında daha uzun eşleşen yol öncelik alır; eşit özgüllükte Allow kazanır. Eşleşen kısıt yoksa araç bu hedef için uygulanan politikada Disallow bulmamıştır. Açıkça Allow yazmanın zorunlu olduğu anlamına gelmez.
Kurgu bir OAI-SearchBot grubunda /private/ için Disallow ve daha özel /private/public-guide/ için Allow bulunduğunu düşünün. public-guide yolu izinli olurken /private/report/ engelli kalabilir. Bütün yolları engelleyen ayrı GPTBot grubu eklemek OAI-SearchBot kararlarını değiştirmez. Bu bir eşleştirme örneğidir; sitenize yapıştırmanız önerilen politika değildir.
“Bilinmiyor”, “engelli” demek değildir. Kaynağa erişilemiyorsa, belge geçersizse veya sınır aşılmışsa politika kesinleşmez. Kaynak sınırı 512 KiB’dir. robots.txt için 404 veya 410 alınması bu dosyada kısıt bulunmadığını belirtir; kimlik doğrulama ve diğer kontrollerin kalktığını göstermez. Değişiklikten önce kaynak uyarılarını ve satır tanılarını okuyun. Özel bir user agent veya daha ayrıntılı kural incelemesi için Robots.txt Tester kullanın.
Yalnızca değiştirmek istediğiniz politikayı değiştirin
Amaç yapay zekâ aramasında keşfedilmekse arama botlarıyla başlayıp eşleşen kısıtı inceleyin. Her Disallow satırını silmek yerine bilinçli eğitim ve özel yol kısıtlarını koruyun. İlgili kökendeki dosyayı düzenleyip yayımlayın ve aynı tam URL’yi tekrar test edin. Fazla geniş değişikliği yakalamak için engelli kalması gereken bir URL’yi de kontrol edin.
İzinli politika gerçek erişim testi değildir. Araç dokuz botun hepsi adına istek göndermez, trafik kayıtlarını incelemez veya kimlik doğrulama ve sunucu erişim kurallarını doğrulamaz. İzinli satır toplamı görünürlük puanı, eksik dosya da sınırsız erişim garantisi değildir.
HTTP yanıtını Bulk HTTP Status Checker ile ayrıca inceleyin; onun isteği de her gerçek botun ne aldığını kanıtlayamaz. Sayfa düzeyindeki indeksleme yönergeleri için Noindex Checker kullanın. Robots politikası, başarılı getirme, indeksleme ve kaynak seçimi ayrı konulardır. Bir kuralı değiştirmek trafik, önerilme veya kaynak gösterimi garantilemez.
Dosyanızı yayınlamadan önce Markdown yapısını ve bulunan bağlantıları llms.txt Doğrulayıcı ile kontrol edin. İsteğe bağlı HTTP kontrolleri sınırlı sayıda hedefi inceler; bir AI ajanın dosyayı okuduğunu kanıtlamaz.
Daha geniş kaynak incelemesi için AI Arama Hazırlığı Kontrolü ile sayfa HTML’ini, robots politikalarını ve sınırlı keşif dosyalarını birlikte kontrol edin. Teknik bulgular AI görünürlüğünü ölçmez veya atıf garantisi vermez.