Wydawcy i biblioteki treści
Sprawdź, czy zweryfikowane rodziny crawlerów wyszukiwarek i AI żądają witryny oraz czy ważne ścieżki treści zwracają odpowiedzi inne niż 2xx.
Analityka ruchu AI i botów
Połącz strefę Cloudflare przypisaną do projektu Screpy i przeanalizuj aktywność zweryfikowanych botów z ostatnich siedmiu dni. Porównuj kategorie crawlerów, wydawców, transfer danych, trendy żądań, udane odpowiedzi i adresy URL inne niż 2xx, nie myląc wizyty crawlera z cytowaniem przez AI.
Połącz analitykę botów Cloudflare
Połącz Cloudflare, aby odczytać żądania zweryfikowanych botów w strefie przypisanej do projektu Screpy. Zanim zinterpretujesz pustą tabelę, sprawdź połączenie i zakres raportu.
- Użyj aktywnego tokena API z dostępem do odpowiedniej strefy i jej danych analitycznych.
- Screpy dopasowuje domenę projektu do dostępnej strefy; subdomena może pasować do strefy domeny nadrzędnej.
- Ruch obejmuje tę strefę Cloudflare i może uwzględniać inne nazwy hostów w strefie, nie tylko host projektu.
- Brak uprawnień, dopasowanej strefy lub danych z siedmiu dni powoduje stan niedostępności; nie dowodzi zerowej liczby żądań botów.
Źródło
Screpy
Screpyexample.comPołączono
Rozpoznawaj zweryfikowane crawlery AI
Znajdź rodziny crawlerów wyszukiwarek i AI obecne w połączonych danych. Nazwa i wydawca pomagają ustalić nadawcę żądań przed analizą ich liczby lub odpowiedzi.
- Sprawdzaj znane rodziny, takie jak Googlebot, Bingbot i obsługiwane crawlery AI, gdy ich żądania występują w danych.
- Tabela bazuje na ruchu sklasyfikowanym przez Cloudflare jako zweryfikowane boty; sama nazwa crawlera nie weryfikuje każdego automatycznego żądania.
- Jeśli żądania crawlera obejmują kilka kategorii, jego wiersz pokazuje kategorię z największą liczbą żądań.
- Filtruj tabelę crawlerów według dostępnej kategorii; ten wybór nie filtruje osobnego wykresu ruchu.
Żądania
42- Googlebot18
- GPTBot14
- ClaudeBot10
Porównuj godzinową aktywność botów
Znajdź skupiska żądań na wykresie kategorii, a potem sprawdź miniwykresy crawlerów z tych samych siedmiu dni. Obecny widok używa stałego okresu bez dowolnego wyboru dat.
- Raport obejmuje siedem dni zakończonych przedziałów godzinowych i kończy się na granicy godziny UTC.
- Niepełna bieżąca godzina jest pomijana; wykres nie jest strumieniem każdego nowego żądania na żywo.
- Pięć zweryfikowanych kategorii z największym ruchem występuje osobno; dodatkowe kategorie są łączone jako Inne.
- Miniwykres crawlera pokazuje rozkład jego żądań, pomagając odróżnić krótki skok od ciągłej aktywności.
Żądania
1860Mierz żądania botów i transfer danych
Odczytuj liczbę żądań razem z przesłanymi bajtami. Opisują wielkość ruchu i rozmiar odpowiedzi, nie unikalne osoby, popularność odpowiedzi AI ani wartość treści.
- Suma obejmuje również powtarzane żądania; nie odpowiada liczbie unikalnych odwiedzających ani sesji.
- Bajty sumują odpowiedzi dostarczone przez Cloudflare, również inne niż 2xx; nie mierzą udanego odczytania treści.
- Porównaj liczbę żądań, trend i wyniki crawlera przed analizą skoku; te dane nie wyliczają kosztów hostingu ani trenowania modeli.
- Żądania
- 1860
- Transfer danych
- 24 MB
Zrozum odpowiedzi HTTP dla crawlerów
Oddziel klasyfikację odpowiedzi od diagnozy. Kolumna nieudanych żądań obejmuje wszystkie odpowiedzi inne niż 2xx; wysoka liczba sama w sobie nie oznacza awarii witryny.
- Odpowiedzi HTTP 2xx liczą się jako udane; wszystkie pozostałe statusy trafiają do liczby nieudanych żądań.
- Przekierowanie 3xx może być zamierzone. Sprawdź cel, zanim uznasz je za problem z crawlem.
- Status 403 może wynikać z celowego ograniczenia dostępu; żądanie nie dowodzi, że crawler pobrał treść strony.
- Przeanalizuj nieoczekiwane odpowiedzi 404 lub 5xx względem rzeczywistej ścieżki i konfiguracji witryny, zanim zdecydujesz o zmianie.
Status HTTP
200GET /HTTP/2 200Sprawdź ścieżki z odpowiedziami innymi niż 2xx
Otwórz liczbę odpowiedzi innych niż 2xx dla crawlera, aby zobaczyć ich ścieżki. Ścieżka, status i częstotliwość dają zespołom SEO lub technicznym konkretny punkt do analizy.
- Widok szczegółów obejmuje wybranego crawlera i ten sam stały okres siedmiu dni.
- Wiersze grupują żądaną ścieżkę, status HTTP i liczbę żądań; ta sama ścieżka może wystąpić z różnymi statusami.
- Największe liczby żądań są na początku, z podziałem dostępnych wierszy na strony. To dane zagregowane, nie log poszczególnych żądań.
- Zapisz crawler, ścieżkę, status i liczbę, sprawdź, czy odpowiedź jest zamierzona, a po zweryfikowanej poprawce przejrzyj późniejszą aktywność.
WybranoGPTBot
| Ścieżka URL | Status HTTP | Żądania |
|---|---|---|
/guides/seo | 404 | 128 |
/guides/seo | 301 | 36 |
/setup | 503 | 12 |
Porozmawiaj o AI Bot Traffic. Z SEO MCP.
Pytaj przez SEO MCP o Quick Wins z dostępnych danych wyszukiwania, crawla i ruchu połączonego Cloudflare. Dostęp obejmuje te możliwości, nie cały panel analityki ani ruchu botów.
- Screpy: Cześć! Przyjrzyjmy się AI Bot Traffic dla example.com. Co chcesz wiedzieć?
- Ty: Które Quick Wins związane z ruchem sprawdzić dla example.com?
- Screpy: Sprawdź możliwości wyszukiwania i sygnały ruchu w tym samym projekcie. Możliwości Cloudflare wymagają połączonej strefy i dostępnych danych; pełne rekordy analityki i ruchu botów nie są udostępniane przez MCP. Kontekst Quick Wins: Możliwości wyszukiwania: Dostępne dane projektu. Sygnały Cloudflare: Wymagane połączenie.
- Ty: Zamień to w krótki plan działania.
- Screpy: Oddzielę ustalenia od rekomendacji. Sprawdź dowody, wybierz jedną zmianę i później zweryfikuj wyniki. Twoje następne kroki: Sprawdź: Zweryfikuj źródło i datę każdego ustalenia.. Zdecyduj: Wybierz pierwszą zmianę.. Zweryfikuj: Porównaj wyniki po zmianie..
- Ty: Możesz wyjaśnić dowody prostymi słowami?
- Screpy: Tak. Zapytaj o obsługiwany wynik, a wyjaśnię, co pokazuje, skąd pochodzi i co pozostaje niepewne. Brakujące dane pozostają niedostępne; rekomendacje nie są automatycznymi poprawkami.
Zamień zweryfikowany ruch botów w ukierunkowany przegląd techniczny.
Zacznij od najbardziej aktywnych kategorii, wybierz crawler i sprawdź powtarzające się ścieżki z odpowiedziami innymi niż 2xx. Zweryfikuj zamierzoną odpowiedź, zanim przekażesz konkretny problem ścieżki lub dostępu odpowiedzialnemu zespołowi.
-
Połącz Cloudflare i dopasuj strefę projektu
Użyj aktywnego tokena API mogącego wyświetlać strefę witryny i odczytywać analitykę, a następnie potwierdź dopasowanie domeny projektu do połączonej strefy.
-
Odczytaj siedmiodniowy wzorzec kategorii
Przed otwarciem wierszy crawlerów szukaj stałej aktywności, nagłych skoków, brakujących oczekiwanych kategorii lub dużego segmentu Inne.
-
Porównaj wolumen i wyniki crawlerów
Użyj żądań, przesłanych bajtów, trendu godzinowego, udanych odpowiedzi 2xx i liczby innych niż 2xx, aby wybrać crawler wymagający uwagi.
-
Sprawdź ścieżki i zweryfikuj zamierzoną odpowiedź
Przejrzyj każdą powtarzaną ścieżkę i status, potwierdź jej celowość, zbadaj nieoczekiwane odpowiedzi i użyj późniejszych danych ruchu, aby potwierdzić zmianę zachowania.
Wykorzystuj ruch crawlerów, gdy zmienia realną decyzję.
Widok jest najbardziej przydatny, gdy zespół ma wystarczający kontekst witryny, aby ocenić, czy wzorzec ruchu lub odpowiedź HTTP jest oczekiwana.
Zespoły SEO i treści
Dodaj dane o rzeczywistych żądaniach do rozmów o crawlowności, nie przedstawiając aktywności crawlera jako dowodu indeksowania, cytowań ani widoczności odpowiedzi.
Zespoły produktu i inżynierii
Przekaż konkretny crawler, ścieżkę, status HTTP i liczbę żądań, gdy trasa aplikacji lub wdrożenie wymaga analizy technicznej.
Agencje i zespoły wieloprojektowe
Połącz każdą strefę klienta lub witryny z właściwym projektem Screpy i stosuj tę samą metodę przeglądu dla osobnych usług.
Wiedz, czego ruch crawlerów nie dowodzi.
Jasne ograniczenia sprawiają, że dane są bezpieczniejsze w rozmowach o SEO, treściach, inżynierii i wyszukiwaniu AI.
Żądanie nie jest cytowaniem AI
Żądanie zweryfikowanego crawlera rejestruje próbę dostępu i odpowiedź. Mogą wystąpić również żądania zablokowane; zapis nie dowodzi pobrania treści, indeksowania, trenowania, cytowania ani uwzględnienia w odpowiedzi AI.
Siedem dni, nie własna historia
Bieżący widok Screpy używa stałego okresu siedmiu dni z trendem godzinowym. Nie zapewnia dowolnych zakresów ani długoterminowej historii botów.
Zweryfikowany ruch, nie każde żądanie automatyczne
Widok bazuje na zweryfikowanych kategoriach botów dostępnych dla połączonej strefy. Nie jest eksploratorem surowych logów ani pełnym inwentarzem scraperów.
Analityka, nie sterowanie crawlerami
Screpy raportuje aktywność i wyniki odpowiedzi. Widok nie blokuje crawlerów, nie zmienia zasad dostępu, nie wysyła alertów ani nie eksportuje pełnego logu.
Wybierz proces wyszukiwania AI dopasowany do pytania.
Użyj analityki crawlerów dla żądań witryny, AI Visibility dla monitorowanych odpowiedzi lub Website Audit przy powtarzającym się problemie odpowiedzi.
Przeglądaj siedem dni zweryfikowanych kategorii crawlerów, trendy żądań, transfer, wyniki odpowiedzi i ścieżki inne niż 2xx.
Monitoruj wybrane prompty pod kątem wzmianek marki, cytowań, domen źródłowych, pozycji odpowiedzi, sentymentu, konkurentów i udziału głosu.
Wykonaj crawl witryny, gdy żądania botów z odpowiedziami innymi niż 2xx wskazują na przekierowania, niedziałające adresy docelowe, problemy z linkami wewnętrznymi lub powtarzające się błędy szablonu.
Odpowiedzi na pytania o analitykę ruchu botów AI.
Poznaj połączone źródło danych, stały okres raportowania, zakres zweryfikowanych crawlerów, logikę odpowiedzi, szczegóły URL-i i różnicę między dostępem crawlera a widocznością odpowiedzi AI.
Co mierzy Screpy AI & Bot Traffic?
Screpy wykorzystuje analitykę ze strefy Cloudflare dopasowanej do projektu, aby raportować zweryfikowany ruch botów z ostatnich siedmiu dni. Dashboard zawiera godzinowy trend kategorii i tabelę crawlerów z wydawcą, kategorią, przesłanymi bajtami, liczbą żądań, udanymi żądaniami, żądaniami non-2xx oraz trendem każdego crawlera.
Które crawlery może identyfikować Screpy?
Tabela zaczyna od ruchu sklasyfikowanego przez połączone źródło jako zweryfikowane boty. Screpy dodaje czytelne tożsamości znanych rodzin crawlerów, takich jak Googlebot, Bingbot, OpenAI, Anthropic, Perplexity, Apple, Meta i inne rozpoznane usługi, gdy ich żądania są obecne. Wiersze zależą od rzeczywistego ruchu strefy.
Czy Screpy AI & Bot Traffic analizuje logi serwera?
Nie. Screpy odczytuje dostępne zagregowane dane analityczne dopasowanej strefy Cloudflare; nie importuje surowych logów serwera ani nie pokazuje każdego zdarzenia żądania. Kategorie, sumy crawlerów i szczegóły ścieżek używają różnych grupowań i limitów źródła. Nie są pełnym rejestrem żądań i nie muszą dawać identycznych sum. Brakujące dane źródłowe są oznaczane jako niedostępne.
Czy ruch botów AI dowodzi, że treść pojawiła się w odpowiedzi AI?
Nie. Analityka rejestruje żądanie i odpowiedź zweryfikowanego crawlera w okresie raportowania. Może obejmować żądania zablokowane, więc nie dowodzi nawet pobrania treści przez crawler. Nie potwierdza indeksowania, trenowania modelu, wzmianki marki, cytowania ani uwzględnienia w odpowiedzi. Użyj Widoczności w AI do analizy monitorowanych promptów i zapisanych odpowiedzi.
Jak analizować nieudane URL-e crawlerów?
Otwórz liczbę non-2xx dla danego crawlera, sprawdź każdą ścieżkę i status HTTP, a następnie ustal, czy odpowiedź jest zamierzona. Nieoczekiwane przekierowania oraz odpowiedzi 4xx lub 5xx porównaj z aktywną route, linkami wewnętrznymi, celem canonical, konfiguracją crawlu i szerszym Website Audit przed zmianą.
Co jest udanym lub nieudanym żądaniem crawlera?
Screpy uznaje odpowiedzi HTTP 2xx za udane. Odpowiedzi spoza zakresu 2xx są w tym widoku nieudane, więc szczegóły mogą obejmować przekierowania oraz błędy klienta i serwera. Przed poprawką sprawdź dokładny status.
Co jest potrzebne, zanim pojawią się dane ruchu botów?
Połącz aktywny token API Cloudflare, który może wyświetlać odpowiednią strefę i odczytywać jej analitykę. Screpy dopasuje domeny projektów do dostępnych stref. Jeśli token nie ma uprawnień analitycznych, domena projektu nie pasuje do strefy lub zbiór danych jest niedostępny, dashboard pokaże stan niedostępności.
Czy Screpy może blokować crawlery AI lub zmieniać robots.txt z tej strony?
Nie. To widok analityki i analizy. Kontrole dostępu, reguły firewalla, dyrektywy robots, alerty crawlerów, analityka odsyłaczy i eksporty CSV nie są zarządzane z tej strony Screpy.