Yayıncılar ve içerik kütüphaneleri
Doğrulanmış arama ve yapay zekâ crawler ailelerinin siteyi isteyip istemediğini, önemli içerik yollarının 2xx dışı yanıt verip vermediğini görün.
Yapay Zekâ ve Bot Trafiği Analizi
Screpy projenizle eşleşen Cloudflare alanını bağlayın ve doğrulanmış bot etkinliğinin son yedi gününü inceleyin. Bir crawler ziyaretini yapay zekâ alıntısıyla karıştırmadan crawler kategorilerini, yayıncıları, veri aktarımını, istek trendlerini, başarılı yanıtları ve 2xx dışı URL'leri karşılaştırın.
Cloudflare Bot Analitiğini Bağlayın
Screpy projenizle eşleşen bölgenin doğrulanmış bot isteklerini okumak için Cloudflare bağlantınızı ekleyin. Boş bir tabloyu yorumlamadan önce bağlantıyı ve raporun kapsamını kontrol edin.
- İlgili bölgeye ve analitik verilerine erişebilen etkin bir API tokenı kullanın.
- Screpy, proje alan adını erişilebilir bir bölgeyle eşleştirir; alt alan adları için üst alan adının bölgesi de eşleşebilir.
- Trafik, Cloudflare bölgesini kapsar; yalnızca proje adresini değil, aynı bölgedeki diğer alan adı ve alt alan adlarını da içerebilir.
- Eksik izin, bölge eşleşmemesi veya yedi günlük verinin sunulamaması, verinin kullanılamadığını gösterir; hiç bot isteği olmadığı anlamına gelmez.
Kaynak
Screpy
Screpyexample.comBağlı
Doğrulanmış AI Botlarını Tanıyın
Bağlı veride görünen arama motoru ve AI botlarını bulun. İsim ve yayıncı bilgisi, istek hacmini veya yanıtları incelemeden önce hangi botun istek gönderdiğini ayırt etmenize yardımcı olur.
- İstekleri veride bulunduğunda Googlebot, Bingbot ve desteklenen AI botları gibi tanınan bot ailelerini inceleyin.
- Tablo, Cloudflare’ın doğrulanmış bot olarak sınıflandırdığı trafikle başlar; yalnızca bot adı, her otomatik isteğin doğrulandığını göstermez.
- Bir botun istekleri birden fazla kategoriye yayılıyorsa satırında en çok istek alan kategori gösterilir.
- Bot tablosunu mevcut kategorilerden biriyle filtreleyin; bu seçim ayrı trafik grafiğini filtrelemez.
İstekler
42- Googlebot18
- GPTBot14
- ClaudeBot10
Saatlik Bot Aktivitesini Karşılaştırın
Yoğunlaşan istekleri kategori grafiğinde bulun, ardından aynı yedi günlük dönem için botların küçük trend grafiklerini inceleyin. Mevcut görünüm, özel tarih seçimi yerine sabit bir dönem kullanır.
- Rapor, tamamlanmış saat aralıklarından oluşan yedi günü kapsar ve UTC saat sınırında sona erer.
- İçinde bulunulan tamamlanmamış saat dahil edilmez; grafik her yeni isteği anlık gösteren bir akış değildir.
- En yüksek istek hacmine sahip beş doğrulanmış kategori ayrı gösterilir; kalan kategoriler Diğer altında birleştirilir.
- Botun küçük trend grafiği, isteklerin dönem içindeki dağılımını göstererek kısa bir yoğunlaşma ile sürekli aktiviteyi ayırt etmeye yardımcı olur.
İstekler
1.860Bot İsteklerini ve Veri Aktarımını Ölçün
İstek sayısını ve aktarılan baytları birlikte okuyun. Bu değerler trafik hacmini ve yanıt boyutunu anlatır; tekil kişileri, AI yanıtlarının popülerliğini veya içeriğinizin değerini ölçmez.
- Toplam istek sayısına tekrarlanan istekler de dahildir; bu sayı tekil ziyaretçi veya oturum sayısı değildir.
- Aktarılan baytlar, 2xx dışı yanıtlar dahil Cloudflare üzerinden sunulan yanıtları toplar; içeriğin başarıyla okunduğunu ölçmez.
- Yoğunlaşmayı araştırmadan önce botun hacmini trendi ve yanıt sonuçlarıyla karşılaştırın; bu veriler barındırma maliyetini veya model eğitimini hesaplamaz.
- İstekler
- 1.860
- Veri aktarımı
- 24 MB
Botların HTTP Yanıtlarını Anlayın
Yanıt sınıflandırması ile sorun teşhisini ayırın. Başarısız sütunu tüm 2xx dışı yanıtları içerdiğinden, yüksek sayı tek başına sitenin bozuk olduğunu göstermez.
- HTTP 2xx yanıtları başarılı sayılır; diğer tüm durum kodları başarısız sayısına eklenir.
- 3xx yönlendirmesi amaçlı olabilir; tarama sorunu olarak değerlendirmeden önce hedefini kontrol edin.
- 403 yanıtı bilinçli bir erişim kısıtlamasından kaynaklanabilir; istek kaydı, botun sayfa içeriğini indirdiğini kanıtlamaz.
- Beklenmeyen 404 veya 5xx yanıtlarını, değişiklik yapmadan önce gerçek adresin davranışı ve site ayarlarıyla birlikte araştırın.
HTTP durumu
200GET /HTTP/2 200Botların 2xx Dışı Yanıt Aldığı Adresleri İnceleyin
Botun 2xx dışı sayısını açarak bu yanıtları hangi adreslerde aldığını görün. Adres yolu, durum kodu ve sıklık, SEO veya mühendislik ekibine somut bir inceleme konusu verir.
- Detay görünümü, seçilen botla ve aynı sabit yedi günlük dönemle sınırlıdır.
- Satırlar istenen adres yolunu, HTTP durum kodunu ve istek sayısını birlikte gruplar; aynı yol farklı durum kodlarıyla görünebilir.
- En fazla istek alan satırlar önce gösterilir ve mevcut satırlar sayfalara ayrılır; bu görünüm tek tek istek günlüğü değil, toplulaştırılmış veridir.
- Botu, adres yolunu, durum kodunu ve sayıyı kaydedin; yanıtın amaçlı olup olmadığını kontrol edin ve doğrulanan düzeltmenin ardından sonraki aktiviteyi inceleyin.
SeçiliGPTBot
| URL yolu | HTTP durumu | İstekler |
|---|---|---|
/guides/seo | 404 | 128 |
/guides/seo | 301 | 36 |
/setup | 503 | 12 |
Yapay Zekâ Bot Trafiği hakkında konuşun. SEO MCP ile.
SEO MCP ile mevcut arama, tarama ve bağlı Cloudflare trafik sinyallerinden oluşturulan Quick Wins fırsatlarını sorun. Cloudflare erişimi bu fırsatlarla sınırlıdır; tüm analitik veya bot trafiği panelini kapsamaz.
- Screpy: Merhaba! example.com için Yapay Zekâ Bot Trafiği konusuna bakalım. Ne öğrenmek istersiniz?
- Siz: example.com için trafiğe dayalı hangi Quick Wins fırsatlarını incelemeliyim?
- Screpy: Aynı projedeki arama fırsatlarını ve trafik sinyallerini birlikte inceleyin. Cloudflare fırsatları için bağlı bir bölge ve mevcut veri gerekir; tam analitik ve bot trafiği kayıtları MCP üzerinden sunulmaz. Quick Wins bağlamı: Arama fırsatları: Mevcut proje verileri. Cloudflare sinyalleri: Bağlantı gerekli.
- Siz: Bunu kısa bir eylem planına dönüştür.
- Screpy: Bulguları ve önerileri ayrı tutacağım. Önce kanıtları inceleyin, bir değişiklik seçin ve ardından sonuçlarını kontrol edin. Sonraki adımlarınız: İnceleyin: Her bulgunun kaynağını ve tarihini kontrol edin.. Karar verin: İlk yapacağınız değişikliği seçin.. Doğrulayın: Değişiklikten sonraki sonuçları karşılaştırın..
- Siz: Bulguları sade bir dille açıklayabilir misin?
- Screpy: Evet. Desteklenen bir sonucu sorun; ne gösterdiğini, kaynağını ve hangi noktaların belirsiz olduğunu açıklayabilirim. Eksik verileri uydurmam; öneriler otomatik düzeltme değildir.
Doğrulanmış bot trafiğini odaklı bir teknik incelemeye dönüştürün.
En yoğun kategorilerden başlayın, bir bot seçin ve tekrarlanan 2xx dışı adresleri inceleyin. Somut adres veya erişim sorununu ilgili ekibe iletmeden önce yanıtın amaçlı olup olmadığını kontrol edin.
-
Cloudflare'ı bağlayın ve proje alanıyla eşleştirin
Web sitesi alanını listeleyebilen ve analizleri okuyabilen etkin bir API token'ı kullanın; ardından proje alan adının bağlı bir alanla eşleştiğini doğrulayın.
-
Yedi günlük kategori örüntüsünü okuyun
Tek tek crawler satırlarını açmadan önce süreklilik gösteren etkinlik, ani yoğunluklar, beklenen kategorilerin eksikliği veya büyük bir Diğer dilimi olup olmadığına bakın.
-
Crawler hacmini ve sonuçlarını karşılaştırın
Öncelikle ilgilenilmesi gereken crawler'ı seçmek için istekleri, aktarılan byte miktarını, saatlik trendi, başarılı 2xx yanıtlarını ve 2xx dışı sayıları kullanın.
-
Yolları inceleyin ve amaçlanan yanıtı doğrulayın
Tekrarlanan her yolu ve durumu gözden geçirin, yanıtın kasıtlı olup olmadığını doğrulayın, beklenmeyen yanıtları araştırın ve davranışın değiştiğini sonraki trafik kanıtıyla teyit edin.
Crawler trafiğini gerçek bir kararı etkilediği yerde kullanın.
Bu görünüm, bir ekibin trafik örüntüsünün veya HTTP yanıtının beklenen bir durum olup olmadığına karar verecek kadar web sitesi bağlamına sahip olduğunda en faydalıdır.
SEO ve içerik ekipleri
Crawler etkinliğini indeksleme, alıntı veya yanıt görünürlüğü kanıtı olarak sunmadan taranabilirlik görüşmelerine gerçek istek kanıtı ekleyin.
Ürün ve mühendislik ekipleri
Bir uygulama rotası veya dağıtım teknik inceleme gerektirdiğinde belirli bir crawler'ı, yolu, HTTP durumunu ve istek sayısını ekibe aktarın.
Ajanslar ve çok projeli ekipler
Her müşteriyi veya web sitesi alanını eşleşen Screpy projesine bağlı tutun ve ayrı mülklerde aynı inceleme yöntemini kullanın.
Crawler trafiğinin neyi kanıtlayamayacağını bilin.
Net sınırlar, kanıtın SEO, içerik, mühendislik ve yapay zekâ araması görüşmelerinde daha güvenli kullanılmasını sağlar.
Bir istek yapay zekâ alıntısı değildir
Doğrulanmış bot isteği, erişim girişimini ve yanıtını kaydeder. Engellenen istekler de görünebilir; kayıt, içerik indirmeyi, indekslemeyi, eğitimi, kaynak gösterilmeyi veya AI yanıtına dahil olmayı kanıtlamaz.
Özel geçmiş değil, yedi günlük dönem
Mevcut Screpy görünümü saatlik trend verileriyle sabit yedi günlük bir dönem kullanır. İsteğe göre tarih aralıkları veya uzun vadeli bot geçmişi sunmaz.
Her otomatik istek değil, doğrulanmış trafik
Bu görünüm, bağlı alan için kullanılabilir doğrulanmış bot kategorilerinden oluşturulur. Ham sunucu günlüğü gezgini değildir ve her scraper'ın eksiksiz envanterini sunmaz.
Crawler kontrolü değil, analiz
Screpy etkinliği ve yanıt sonuçlarını raporlar. Mevcut görünüm crawler'ları engellemez, erişim kurallarını değiştirmez, bot uyarıları göndermez veya eksiksiz istek günlüğü dışa aktarması sunmaz.
Sorunuza uygun yapay zekâ araması iş akışını seçin.
Web sitesi istekleri için crawler analizini, izlenen yanıtlar için Yapay Zekâ Görünürlüğü'nü, tekrarlanan bir yanıt sorunu daha geniş bir teknik inceleme gerektirdiğinde ise Web Sitesi Denetimi'ni kullanın.
Doğrulanmış crawler kategorilerini, istek trendlerini, aktarım hacmini, yanıt sonuçlarını ve 2xx dışı yolları yedi gün boyunca inceleyin.
Seçilen istemlerde marka bahsetmelerini, alıntıları, kaynak alan adlarını, yanıt konumunu, duyarlılığı, rakipleri ve ses payını izleyin.
2xx dışı bot istekleri yönlendirmelere, bozuk hedeflere, dahili bağlantı sorunlarına veya tekrarlanan şablon problemlerine işaret ettiğinde sitenin tamamını tarayın.
Yapay Zekâ ve Bot Trafiği Analizi SSS
Bağlı veri kaynağını, sabit raporlama dönemini, doğrulanmış crawler kapsamını, yanıt mantığını, URL ayrıntılı incelemesini ve crawler erişimi ile yapay zekâ yanıt görünürlüğü arasındaki farkı anlayın.
Screpy hangi crawler'ları tanımlayabilir?
Tablo, bağlı analiz kaynağı tarafından doğrulanmış bot olarak kategorize edilen trafikle başlar. İstekler mevcut olduğunda Screpy; Googlebot, Bingbot, OpenAI, Anthropic, Perplexity, Apple, Meta ve tanınan diğer hizmetler gibi crawler aileleri için okunabilir kimlikler ekler. Kullanılabilir satırlar gerçek alan trafiğine bağlıdır.
Başarısız crawler URL'lerini nasıl incelemeliyim?
Etkilenen crawler'ın 2xx dışı istek sayısını açın, her yolu ve HTTP durumunu inceleyin, ardından yanıtın kasıtlı olup olmadığına karar verin. Beklenmeyen yönlendirmeler, 4xx veya 5xx yanıtları; değişiklik yapmadan önce canlı rota, dahili bağlantılar, canonical hedefi, tarama yapılandırması ve daha kapsamlı bir Web Sitesi Denetimiyle karşılaştırılabilir.
Bir crawler isteği ne zaman başarılı veya başarısız sayılır?
Screpy, HTTP 2xx yanıtlarını başarılı kabul eder. 2xx aralığı dışındaki yanıtlar bu görünümde başarısız sayılır; bu nedenle ayrıntılı inceleme yönlendirmelerin yanı sıra istemci ve sunucu hatalarını da içerebilir. Bir yanıtın düzeltilmesi gerekip gerekmediğine karar vermeden önce tam durumu inceleyin.
Yapay zekâ botu trafiği içeriğimin bir yapay zekâ yanıtında göründüğünü kanıtlar mı?
Hayır. Analitik verileri, dönem içindeki doğrulanmış bot isteğini ve yanıtını kaydeder. Engellenen istekler de dahil olabileceğinden, kayıt botun içeriği indirdiğini bile kanıtlamaz. İndekslemeyi, model eğitimini, marka anılmasını, kaynak gösterilmeyi veya yanıta dahil olmayı ortaya koymaz. İzlenen promptları ve kaydedilmiş yanıtları incelemek için AI Görünürlüğü’nü kullanın.
Screpy Yapay Zekâ ve Bot Trafiği neyi ölçer?
Screpy, doğrulanmış bot trafiğinin son yedi gününü raporlamak için projeyle eşleşen Cloudflare alanının analizlerini kullanır. Kontrol panelinde saatlik kategori trendi ve yayıncı, kategori, aktarılan byte, toplam istek, başarılı istek, 2xx dışı istek ve crawler başına trend bilgilerini içeren bir crawler tablosu bulunur.
Bot trafiği verilerinin görünmesi için ne gerekir?
İlgili alanı listeleyebilen ve analizlerini okuyabilen etkin bir Cloudflare API token'ı bağlayın. Screpy daha sonra proje alan adlarını erişilebilir alanlarla eşleştirir. Token'ın analiz izni yoksa, proje alan adı bir alanla eşleşmiyorsa veya o alan için gerekli veri kümesi kullanılamıyorsa kontrol paneli başka veri kullanmak yerine kullanılamıyor durumu gösterir.
Screpy Yapay Zekâ ve Bot Trafiği bir sunucu günlüğü analizörü mü?
Hayır. Screpy, eşleşen Cloudflare bölgesinin mevcut toplulaştırılmış analitik verilerini okur; ham sunucu günlüklerini içe aktarmaz veya her isteği tek tek göstermez. Kategoriler, bot toplamları ve adres detayları farklı gruplamalar ve kaynak sınırları kullanır; tam bir istek defteri olarak değerlendirilmemeli ve birebir aynı toplamları vermeleri beklenmemelidir. Kaynak verisi eksikse kullanılamıyor durumu gösterilir.
Bu sayfadan yapay zekâ crawler'larını engelleyebilir veya robots.txt'yi değiştirebilir miyim?
Hayır. Mevcut özellik bir analiz ve inceleme görünümüdür. Erişim kontrolleri, güvenlik duvarı kuralları, robots yönergeleri, crawler uyarıları, yönlendiren analizleri ve CSV dışa aktarmaları bu Screpy sayfasından yönetilmez.