Yedi günlük trafik trendi
Crawler etkinliğini tek bir ziyarete göre değerlendirmek yerine doğrulanmış bot isteklerinin son yedi gününü saatlik aralıklarda inceleyin.
Doğrulanmış Crawler İstekleri için Yapay Zekâ Botu Trafik Analizi
Screpy projenizle eşleşen Cloudflare alanını bağlayın ve doğrulanmış bot etkinliğinin son yedi gününü inceleyin. Bir crawler ziyaretini yapay zekâ alıntısıyla karıştırmadan crawler kategorilerini, yayıncıları, veri aktarımını, istek trendlerini, başarılı yanıtları ve 2xx dışı URL'leri karşılaştırın.
TL;DR
Çok Uzun; Okumadım
Özeti göster Özeti gizle
TL;DR
Çok Uzun; Okumadım
Screpy Yapay Zekâ ve Bot Trafiği nedir?
Screpy Yapay Zekâ ve Bot Trafiği, doğrulanmış crawler istekleri için Cloudflare'a bağlı bir analiz görünümüdür. Alan etkinliğinin son yedi gününü kategori trendlerine, crawler düzeyinde toplam trafiğe, aktarım hacmine, yanıt sonuçlarına ve yol düzeyinde 2xx dışı ayrıntılı incelemeye dönüştürür. Yapay zekâ yanıtlarındaki görünürlüğü değil, erişim kanıtını ölçer.
Doğru alanı bağlayın
- Alan ve analiz erişimine sahip etkin bir Cloudflare API token'ı ekleyin.
- Screpy, kullanılabilir alanları projelerinizdeki web sitesi alan adlarıyla eşleştirir.
- Gerekli alan veya veri kümesi okunamadığında bu görünüm kullanılamaz durumda kalır.
- Bağlantı tamamlanmadığında başka bir trafik kaynağı sessizce kullanılmaz.
Yedi günlük trendi okuyun
- Geçerli raporlama dönemi son yedi günle sınırlıdır.
- İstek hacmi saatlik aralıklarda gruplanır.
- En yüksek hacimli doğrulanmış bot kategorileri ayrı seriler olarak gösterilir.
- Daha düşük hacimli kategoriler gerektiğinde Diğer serisinde birleştirilir.
Doğrulanmış crawler'ları karşılaştırın
- Crawler adını, yayıncısını ve doğrulanmış kategorisini inceleyin.
- Aktarılan byte miktarını ve toplam istek hacmini karşılaştırın.
- Başarılı 2xx isteklerini 2xx dışı yanıtlardan ayırın.
- İncelemeyi daraltmak için kategori filtresini ve crawler başına sparkline grafiğini kullanın.
2xx dışı yolları inceleyin
- İncelenmesi gereken crawler'ın başarısız istek sayısını açın.
- İstenen yolu, tam HTTP durumunu ve istek sayısını inceleyin.
- Yönlendirmeleri, istemci hatalarını ve sunucu hatalarını amaçlarına göre değerlendirin.
- Bir crawler isteğini indeksleme, eğitim veya alıntı kanıtı olarak sunmayın.
Kontrol panelinin gerçekten kaydettiği crawler kanıtını görün.
Trafik hacmini, kimliği, kategoriyi, aktarım boyutunu, yanıt sonucunu ve yol düzeyindeki hataları birlikte değerlendirin. Her alan crawler erişimiyle ilgili sorunun farklı bir bölümünü yanıtlar.
Doğrulanmış bot kategorileri
En yüksek hacimli doğrulanmış bot kategorilerini yığılmış bir grafikte karşılaştırın; düşük hacimli kategoriler Diğer bölümünde birleştirilir.
Crawler ve yayıncı kimliği
Screpy, doğrulanmış isteği bilinen bir arama, yapay zekâ, izleme veya sosyal crawler ailesiyle eşleştirebildiğinde okunabilir crawler adını ve yayıncıyı görün.
Kategori filtresi
Doğrulanmış crawler tablosunu bağlı alanda bulunan kategorilere göre filtreleyin ve karşılaştırmayı tek bir otomatik trafik sınıfına odaklayın.
Aktarılan byte miktarı
Her crawler'ın raporlama döneminde aldığı yanıt verisi miktarını istek hacmi ve trendiyle birlikte ölçün.
Başarılı ve 2xx dışı istekler
Her crawler isteğini başarılı bir getirme işlemi saymak yerine başarılı 2xx yanıtlarını yönlendirmelerden, istemci hatalarından ve sunucu hatalarından ayırın.
Crawler başına istek sparkline grafiği
Bir crawler'ın yedi günlük dönem boyunca düzenli olarak mı etkin olduğunu, yoksa kısa süreli bir yoğunlukla mı göründüğünü saatlik istek sparkline grafiğiyle görün.
Başarısız URL ayrıntılı incelemesi
Etkilenen yolu, tam HTTP durumunu ve başarısız istek sayısını incelemek için 2xx dışı isteği bulunan herhangi bir crawler'ı açın.
Doğrulanmış bot etkinliği olarak sınıflandırılmış trafikle başlayın.
Screpy, eşleşen Cloudflare alanını okur ve bu görünümü doğrulanmış bot kategorisine sahip isteklerle sınırlar. Böylece her otomatik ziyaretçinin tanımlandığını iddia etmeden analiz odaklı kalır.
- Yedi tam günü saatlik aralıklarda inceleyin
- Önde gelen doğrulanmış bot kategorilerini ve Diğer'i karşılaştırın
- Crawler kanıtını eşleşen web sitesi alanına bağlı tutun
İçeriği kimin istediğini ve sitenin nasıl yanıt verdiğini karşılaştırın.
Crawler tablosu kimliği, yayıncıyı, kategoriyi, aktarım hacmini, toplam istekleri, 2xx başarılarını, 2xx dışı sonuçları ve saatlik sparkline grafiğini tek bir inceleme alanında birleştirir.
- Tabloyu kullanılabilir doğrulanmış kategorilere göre filtreleyin
- İstek hacmini aktarılan byte miktarıyla karşılaştırın
- Tekrarlanan 2xx dışı yanıtları olan crawler'lara öncelik verin
Toplam başarısızlık sayısından etkilenen yollara geçin.
URL yolunu, HTTP durumunu ve tekrarlanan istek sayısını görmek için başarısız istekleri bulunan bir crawler seçin. Bu yaklaşım, her 2xx dışı yanıtı hata varsaymadan teknik incelemeyi daraltır.
Daha fazla bilgi 2xx dışı i̇nceleme- Yönlendirmeleri, istemci hatalarını ve sunucu hatalarını ayırın
- Aynı durumla tekrar tekrar istenen yolları bulun
- Beklenmeyen yanıtları odaklı bir web sitesi denetimine aktarın
Doğrulanmış bot trafiğini odaklı bir teknik incelemeye dönüştürün.
Faydalı sonuç daha büyük bir crawler grafiği değildir. Asıl değer, hangi crawler'ın, kategorinin veya 2xx dışı yolun incelenmesi gerektiğine dair net bir karar vermektir.
- 01
Cloudflare'ı bağlayın ve proje alanıyla eşleştirin
Web sitesi alanını listeleyebilen ve analizleri okuyabilen etkin bir API token'ı kullanın; ardından proje alan adının bağlı bir alanla eşleştiğini doğrulayın.
- 02
Yedi günlük kategori örüntüsünü okuyun
Tek tek crawler satırlarını açmadan önce süreklilik gösteren etkinlik, ani yoğunluklar, beklenen kategorilerin eksikliği veya büyük bir Diğer dilimi olup olmadığına bakın.
- 03
Crawler hacmini ve sonuçlarını karşılaştırın
Öncelikle ilgilenilmesi gereken crawler'ı seçmek için istekleri, aktarılan byte miktarını, saatlik trendi, başarılı 2xx yanıtlarını ve 2xx dışı sayıları kullanın.
- 04
Yolları inceleyin ve amaçlanan yanıtı doğrulayın
Tekrarlanan her yolu ve durumu gözden geçirin, yanıtın kasıtlı olup olmadığını doğrulayın, beklenmeyen yanıtları araştırın ve davranışın değiştiğini sonraki trafik kanıtıyla teyit edin.
Crawler trafiğini gerçek bir kararı etkilediği yerde kullanın.
Bu görünüm, bir ekibin trafik örüntüsünün veya HTTP yanıtının beklenen bir durum olup olmadığına karar verecek kadar web sitesi bağlamına sahip olduğunda en faydalıdır.
Yayıncılar ve içerik kütüphaneleri
Doğrulanmış arama ve yapay zekâ crawler ailelerinin siteyi isteyip istemediğini, önemli içerik yollarının 2xx dışı yanıt verip vermediğini görün.
SEO ve içerik ekipleri
Crawler etkinliğini indeksleme, alıntı veya yanıt görünürlüğü kanıtı olarak sunmadan taranabilirlik görüşmelerine gerçek istek kanıtı ekleyin.
Ürün ve mühendislik ekipleri
Bir uygulama rotası veya dağıtım teknik inceleme gerektirdiğinde belirli bir crawler'ı, yolu, HTTP durumunu ve istek sayısını ekibe aktarın.
Ajanslar ve çok projeli ekipler
Her müşteriyi veya web sitesi alanını eşleşen Screpy projesine bağlı tutun ve ayrı mülklerde aynı inceleme yöntemini kullanın.
Crawler trafiğinin neyi kanıtlayamayacağını bilin.
Net sınırlar, kanıtın SEO, içerik, mühendislik ve yapay zekâ araması görüşmelerinde daha güvenli kullanılmasını sağlar.
Bir istek yapay zekâ alıntısı değildir
Doğrulanmış crawler isteği, bir botun URL'ye ulaştığını gösterir. Sayfanın indekslendiğini, eğitimde kullanıldığını, alıntılandığını veya bir yapay zekâ yanıtına dahil edildiğini kanıtlamaz.
Özel geçmiş değil, yedi günlük dönem
Mevcut Screpy görünümü saatlik trend verileriyle sabit yedi günlük bir dönem kullanır. İsteğe göre tarih aralıkları veya uzun vadeli bot geçmişi sunmaz.
Her otomatik istek değil, doğrulanmış trafik
Bu görünüm, bağlı alan için kullanılabilir doğrulanmış bot kategorilerinden oluşturulur. Ham sunucu günlüğü gezgini değildir ve her scraper'ın eksiksiz envanterini sunmaz.
Crawler kontrolü değil, analiz
Screpy etkinliği ve yanıt sonuçlarını raporlar. Mevcut görünüm crawler'ları engellemez, erişim kurallarını değiştirmez, bot uyarıları göndermez veya eksiksiz istek günlüğü dışa aktarması sunmaz.
Sorunuza uygun yapay zekâ araması iş akışını seçin.
Web sitesi istekleri için crawler analizini, izlenen yanıtlar için Yapay Zekâ Görünürlüğü'nü, tekrarlanan bir yanıt sorunu daha geniş bir teknik inceleme gerektirdiğinde ise Web Sitesi Denetimi'ni kullanın.
Doğrulanmış crawler kategorilerini, istek trendlerini, aktarım hacmini, yanıt sonuçlarını ve 2xx dışı yolları yedi gün boyunca inceleyin.
Seçilen istemlerde marka bahsetmelerini, alıntıları, kaynak alan adlarını, yanıt konumunu, duyarlılığı, rakipleri ve ses payını izleyin.
2xx dışı bot istekleri yönlendirmelere, bozuk hedeflere, dahili bağlantı sorunlarına veya tekrarlanan şablon problemlerine işaret ettiğinde sitenin tamamını tarayın.
Yapay zekâ botu trafik analizi sorularının yanıtları.
Bağlı veri kaynağını, sabit raporlama dönemini, doğrulanmış crawler kapsamını, yanıt mantığını, URL ayrıntılı incelemesini ve crawler erişimi ile yapay zekâ yanıt görünürlüğü arasındaki farkı anlayın.
Screpy Yapay Zekâ ve Bot Trafiği neyi ölçer?
Screpy, doğrulanmış bot trafiğinin son yedi gününü raporlamak için projeyle eşleşen Cloudflare alanının analizlerini kullanır. Kontrol panelinde saatlik kategori trendi ve yayıncı, kategori, aktarılan byte, toplam istek, başarılı istek, 2xx dışı istek ve crawler başına trend bilgilerini içeren bir crawler tablosu bulunur.
Bot trafiği verilerinin görünmesi için ne gerekir?
İlgili alanı listeleyebilen ve analizlerini okuyabilen etkin bir Cloudflare API token'ı bağlayın. Screpy daha sonra proje alan adlarını erişilebilir alanlarla eşleştirir. Token'ın analiz izni yoksa, proje alan adı bir alanla eşleşmiyorsa veya o alan için gerekli veri kümesi kullanılamıyorsa kontrol paneli başka veri kullanmak yerine kullanılamıyor durumu gösterir.
Screpy hangi crawler'ları tanımlayabilir?
Tablo, bağlı analiz kaynağı tarafından doğrulanmış bot olarak kategorize edilen trafikle başlar. İstekler mevcut olduğunda Screpy; Googlebot, Bingbot, OpenAI, Anthropic, Perplexity, Apple, Meta ve tanınan diğer hizmetler gibi crawler aileleri için okunabilir kimlikler ekler. Kullanılabilir satırlar gerçek alan trafiğine bağlıdır.
Bir crawler isteği ne zaman başarılı veya başarısız sayılır?
Screpy, HTTP 2xx yanıtlarını başarılı kabul eder. 2xx aralığı dışındaki yanıtlar bu görünümde başarısız sayılır; bu nedenle ayrıntılı inceleme yönlendirmelerin yanı sıra istemci ve sunucu hatalarını da içerebilir. Bir yanıtın düzeltilmesi gerekip gerekmediğine karar vermeden önce tam durumu inceleyin.
Yapay zekâ botu trafiği içeriğimin bir yapay zekâ yanıtında göründüğünü kanıtlar mı?
Hayır. Bir istek yalnızca doğrulanmış bir crawler'ın raporlama döneminde URL'ye ulaştığını kanıtlar. İndekslemeyi, model eğitimini, marka bahsetmesini, alıntıyı, sıralama konumunu veya bir yanıta dahil edilmeyi kanıtlamaz. Soru izlenen istemler ve yanıtlarla ilgiliyse Yapay Zekâ Görünürlüğü'nü kullanın.
Screpy Yapay Zekâ ve Bot Trafiği bir sunucu günlüğü analizörü mü?
Hayır. Eşleşen Cloudflare alanının toplu analizlerini okur ve odaklı bir doğrulanmış crawler görünümü sunar. Ham Apache, Nginx, CDN veya uygulama günlüklerini almaz; her bir isteği ayrı bir olay olarak göstermez.
Bu sayfadan yapay zekâ crawler'larını engelleyebilir veya robots.txt'yi değiştirebilir miyim?
Hayır. Mevcut özellik bir analiz ve inceleme görünümüdür. Erişim kontrolleri, güvenlik duvarı kuralları, robots yönergeleri, crawler uyarıları, yönlendiren analizleri ve CSV dışa aktarmaları bu Screpy sayfasından yönetilmez.
Başarısız crawler URL'lerini nasıl incelemeliyim?
Etkilenen crawler'ın 2xx dışı istek sayısını açın, her yolu ve HTTP durumunu inceleyin, ardından yanıtın kasıtlı olup olmadığına karar verin. Beklenmeyen yönlendirmeler, 4xx veya 5xx yanıtları; değişiklik yapmadan önce canlı rota, dahili bağlantılar, canonical hedefi, tarama yapılandırması ve daha kapsamlı bir Web Sitesi Denetimiyle karşılaştırılabilir.
Hangi doğrulanmış crawler'ların sitenize ulaştığını ve isteklerin nerede başarısız olduğunu görün.
Eşleşen Cloudflare alanını bağlayın, yedi günlük crawler örüntüsünü inceleyin, yanıt sonuçlarını karşılaştırın ve tekrarlanan 2xx dışı yolları doğru teknik bağlamla araştırın.