Publishers en contentbibliotheken
Zie of geverifieerde zoek- en AI-crawlerfamilies de site opvragen en of belangrijke contentpaden niet-2xx-antwoorden geven.
Analyse van AI- en botverkeer
Koppel de Cloudflare-zone die bij je Screpy-project hoort en bekijk de laatste zeven dagen geverifieerde botactiviteit. Vergelijk crawlercategorieën, publishers, dataverkeer, verzoektrends, geslaagde antwoorden en niet-2xx-URL's zonder een crawlerbezoek te verwarren met een AI-citaat.
Koppel Cloudflare-botanalyses
Koppel Cloudflare om geverifieerde botverzoeken voor de zone van je Screpy-project te bekijken. Controleer verbinding en bereik voordat je een lege tabel interpreteert.
- Gebruik een actieve API-token met toegang tot de betreffende zone en de bijbehorende analysegegevens.
- Screpy koppelt het projectdomein aan een toegankelijke zone; voor een subdomein kan dit de zone van het bovenliggende domein zijn.
- Het verkeer omvat die Cloudflare-zone en kan andere hostnamen binnen de zone bevatten, naast de hostnaam van het project.
- Ontbrekende rechten, geen bijpassende zone of onbeschikbare zevendaagse gegevens geven een niet-beschikbaarstatus; dit bewijst niet dat er nul botverzoeken waren.
Bron
Screpy
Screpyexample.comVerbonden
Herken geverifieerde AI-crawlers
Vind de zoekmachine- en AI-crawlerfamilies die in de gekoppelde gegevens voorkomen. Naam en uitgever helpen bepalen wie verzoeken stuurde voordat je volume of antwoorden onderzoekt.
- Bekijk bekende families zoals Googlebot, Bingbot en ondersteunde AI-crawlers wanneer hun verzoeken aanwezig zijn.
- De tabel begint met verkeer dat Cloudflare als geverifieerde bots classificeert; een crawlernaam alleen verifieert niet elk geautomatiseerd verzoek.
- Als een crawler verzoeken in meerdere categorieën heeft, toont de rij de categorie met het hoogste verzoekvolume.
- Filter de crawlertabel op een beschikbare categorie; deze keuze filtert niet de afzonderlijke verkeersgrafiek.
Verzoeken
42- Googlebot18
- GPTBot14
- ClaudeBot10
Vergelijk botactiviteit per uur
Herken geconcentreerde verzoeken in de categoriegrafiek en bekijk daarna de crawlersparklines over dezelfde zeven dagen. De huidige weergave gebruikt een vast venster zonder vrije datumselectie.
- De rapportperiode omvat zeven dagen met voltooide uurintervallen en eindigt op een UTC-uurgrens.
- Het lopende, onvolledige uur is uitgesloten; de grafiek is geen live weergave van elk nieuw verzoek.
- De vijf geverifieerde categorieën met het meeste verkeer verschijnen apart; extra categorieën worden samengevoegd als Overige.
- De sparkline van een crawler toont de verdeling van verzoeken en helpt een korte piek van aanhoudende activiteit te onderscheiden.
Verzoeken
1.860Meet botverzoeken en gegevensoverdracht
Lees verzoekaantallen en overgedragen bytes samen. Ze beschrijven verkeersvolume en antwoordgrootte, niet unieke personen, populariteit van AI-antwoorden of de waarde van je inhoud.
- Het totaal omvat ook herhaalde verzoeken; het staat niet gelijk aan unieke bezoekers of sessies.
- De bytes tellen via Cloudflare verstuurde antwoorden op, inclusief niet-2xx-antwoorden; ze meten niet of inhoud succesvol is gelezen.
- Vergelijk volume, trend en antwoordresultaten van een crawler voordat je een piek onderzoekt; deze cijfers berekenen geen hostingkosten of modeltraining.
- Verzoeken
- 1.860
- Gegevensoverdracht
- 24 MB
Begrijp HTTP-antwoorden aan crawlers
Maak onderscheid tussen antwoordclassificatie en diagnose. De kolom met mislukte verzoeken bevat elk niet-2xx-antwoord; een hoog aantal bewijst op zichzelf geen defecte website.
- HTTP-2xx-antwoorden tellen als geslaagd; alle andere statussen tellen mee als mislukte verzoeken.
- Een 3xx-omleiding kan bedoeld zijn. Controleer het doel voordat je die als crawlprobleem behandelt.
- Een 403 kan een bewuste toegangsbeperking weerspiegelen; het verzoek bewijst niet dat de crawler de pagina-inhoud heeft gedownload.
- Onderzoek onverwachte 404- of 5xx-antwoorden aan de hand van de werkelijke route en websiteconfiguratie voordat je iets wijzigt.
HTTP-status
200GET /HTTP/2 200Onderzoek crawlerpaden met niet-2xx-antwoorden
Open het niet-2xx-aantal van een crawler om te zien waar verzoeken die antwoorden kregen. Pad, status en frequentie bieden SEO- of technische teams een concreet onderzoekspunt.
- De detailweergave betreft de gekozen crawler en dezelfde vaste periode van zeven dagen.
- Rijen groeperen aangevraagd pad, HTTP-status en verzoekaantal; hetzelfde pad kan met verschillende statussen voorkomen.
- Hogere verzoekaantallen staan eerst, met paginering van beschikbare rijen. Dit is een geaggregeerde weergave, geen logboek van individuele verzoeken.
- Noteer crawler, pad, status en aantal, controleer of het antwoord bedoeld is en bekijk latere activiteit na een geverifieerde oplossing.
GeselecteerdGPTBot
| URL-pad | HTTP-status | Verzoeken |
|---|---|---|
/guides/seo | 404 | 128 |
/guides/seo | 301 | 36 |
/setup | 503 | 12 |
Praat over AI-bottraffic. Met SEO MCP.
Vraag via SEO MCP naar Quick Wins uit beschikbare zoek-, crawl- en gekoppelde Cloudflare-verkeerssignalen. De toegang omvat deze kansen, niet het volledige analytics- of botverkeerdashboard.
- Screpy: Hallo! Laten we AI-bottraffic voor example.com bekijken. Wat wil je weten?
- Jij: Welke verkeersgerichte Quick Wins moet ik voor example.com bekijken?
- Screpy: Bekijk zoekkansen en verkeerssignalen van hetzelfde project. Cloudflare-kansen vereisen een gekoppelde zone en beschikbare gegevens; volledige analytics- en botverkeerrecords zijn niet toegankelijk via MCP. Quick Wins-context: Zoekkansen: Beschikbare projectgegevens. Cloudflare-signalen: Verbinding vereist.
- Jij: Maak daar een kort actieplan van.
- Screpy: Ik houd bevindingen en aanbevelingen apart. Bekijk het bewijs, kies één wijziging en controleer daarna de resultaten. Je volgende stappen: Bekijk: Controleer bron en datum van elke bevinding.. Beslis: Kies de eerste wijziging.. Verifieer: Vergelijk de resultaten na de wijziging..
- Jij: Kun je het bewijs in gewone taal uitleggen?
- Screpy: Ja. Vraag naar een ondersteund resultaat en ik leg uit wat het toont, waar het vandaan komt en wat onzeker blijft. Ontbrekende gegevens blijven onbeschikbaar; aanbevelingen zijn geen automatische oplossingen.
Maak van geverifieerde bottraffic een gericht technisch onderzoek.
Begin bij de drukste categorieën, kies een crawler en onderzoek terugkerende niet-2xx-paden. Controleer het bedoelde antwoord voordat je een specifiek route- of toegangsprobleem aan het verantwoordelijke team doorgeeft.
-
Koppel Cloudflare en de projectzone
Gebruik een actieve API-token die de websitezone kan weergeven en analyses kan lezen; bevestig daarna dat het projectdomein een overeenkomende verbonden zone heeft.
-
Lees het zevendaagse categoriepatroon
Let op aanhoudende activiteit, plotselinge pieken, ontbrekende verwachte categorieën of een groot segment Overig voordat je losse crawlerregels opent.
-
Vergelijk crawlervolume en resultaten
Gebruik verzoeken, overgedragen bytes, uurtrend, geslaagde 2xx-antwoorden en niet-2xx-aantallen om de crawler te kiezen die eerst aandacht nodig heeft.
-
Controleer paden en de bedoelde reactie
Bekijk herhaalde paden en statussen, bevestig of ze opzettelijk zijn, onderzoek onverwachte antwoorden en gebruik later verkeer om de verandering te bevestigen.
Gebruik crawlerverkeer wanneer het een echte beslissing verandert.
De weergave is het nuttigst wanneer een team genoeg websitecontext heeft om te bepalen of een verkeerspatroon of HTTP-antwoord verwacht is.
SEO- en contentteams
Voeg echt verzoekbewijs toe aan crawlbaarheidsgesprekken zonder crawleractiviteit als bewijs voor indexering, citaties of antwoordzichtbaarheid te presenteren.
Product- en engineeringteams
Draag crawler, pad, HTTP-status en verzoekaantal over wanneer een applicatieroute of deployment technisch onderzoek nodig heeft.
Bureaus en teams met meerdere projecten
Houd elke klant- of websitezone gekoppeld aan het juiste Screpy-project en gebruik dezelfde methode voor afzonderlijke properties.
Weet wat crawlerverkeer niet kan bewijzen.
Duidelijke grenzen maken het bewijs veiliger in SEO-, content-, engineering- en AI-zoekgesprekken.
Een verzoek is geen AI-citaat
Een geverifieerd crawlerverzoek registreert een toegangspoging en het antwoord daarop. Ook geblokkeerde verzoeken kunnen verschijnen; dit bewijst geen inhoudsdownload, indexering, training, citatie of opname in een AI-antwoord.
Zeven dagen, geen aangepaste geschiedenis
De huidige Screpy-weergave gebruikt een vaste periode van zeven dagen met uurtrends. Vrije datumbereiken of langdurige bothistorie worden niet beloofd.
Geverifieerd verkeer, niet elk geautomatiseerd verzoek
De weergave gebruikt geverifieerde botcategorieën uit de verbonden zone. Het is geen verkenner van ruwe serverlogs en geen volledige inventaris van scrapers.
Analyse, geen crawlerbesturing
Screpy rapporteert activiteit en antwoordresultaten. De huidige weergave blokkeert geen crawlers, wijzigt geen toegangsregels, stuurt geen botwaarschuwingen en exporteert geen volledig verzoeklog.
Kies de AI-zoekworkflow die bij de vraag past.
Gebruik crawleranalyse voor websiteverzoeken, AI Visibility voor gemonitorde antwoorden of Website Audit wanneer een terugkerend antwoordprobleem breder technisch onderzoek vereist.
Bekijk zeven dagen geverifieerde crawlercategorieën, verzoektrends, overdrachtsvolume, antwoordresultaten en niet-2xx-paden.
Monitor geselecteerde prompts op merkvermeldingen, citaties, brondomeinen, antwoordpositie, sentiment, concurrenten en share of voice.
Crawl de bredere site wanneer niet-2xx-botverzoeken wijzen op omleidingen, kapotte bestemmingen, interne-linkproblemen of terugkerende templatefouten.
Vragen over AI-bottrafficanalyse beantwoord.
Begrijp de verbonden bron, vaste rapportperiode, reikwijdte van geverifieerde crawlers, antwoordlogica, URL-detailweergave en het verschil tussen crawler-toegang en zichtbaarheid in AI-antwoorden.
Wat meet Screpy AI & Bot Traffic?
Screpy gebruikt analyses van de Cloudflare-zone die aan een project is gekoppeld om de laatste zeven dagen geverifieerde bottraffic te rapporteren. Het dashboard bevat een uurtrend per categorie en een crawltabel met publisher, categorie, overgedragen bytes, verzoektotalen, geslaagde en niet-2xx-verzoeken en een trend per crawler.
Hoe onderzoek ik mislukte crawler-URL's?
Open het niet-2xx-aantal van de getroffen crawler, bekijk elk pad en HTTP-status en bepaal of de reactie opzettelijk is. Vergelijk onverwachte omleidingen, 4xx- of 5xx-antwoorden met de live route, interne links, canonieke bestemming, crawlconfiguratie en een bredere Website Audit voordat je iets wijzigt.
Is Screpy AI & Bot Traffic een serverloganalysator?
Nee. Screpy leest beschikbare geaggregeerde analyses voor de gekoppelde Cloudflare-zone; het verwerkt geen ruwe serverlogs en toont niet elk verzoek. Categorieën, crawlertotalen en paddetails gebruiken verschillende groeperingen en bronlimieten. Ze zijn geen volledig verzoeklogboek en hoeven niet exact dezelfde totalen te geven. Ontbrekende brongegevens worden als niet beschikbaar getoond.
Kan Screpy AI-crawlers blokkeren of robots.txt wijzigen?
Nee. Deze functie is bedoeld voor analyse en onderzoek. Toegangscontroles, firewallregels, robots-directieven, crawlerwaarschuwingen, referralanalyse en CSV-export worden niet vanaf deze Screpy-pagina beheerd.
Welke crawlers kan Screpy herkennen?
De tabel begint met verkeer dat door de verbonden bron als geverifieerde bots is gecategoriseerd. Screpy voegt leesbare identiteiten toe voor bekende families zoals Googlebot, Bingbot, OpenAI, Anthropic, Perplexity, Apple, Meta en andere herkende diensten wanneer hun verzoeken aanwezig zijn. De rijen hangen af van echt zoneverkeer.
Wat is nodig voordat bottraffic verschijnt?
Koppel een actieve Cloudflare-API-token die de relevante zone kan weergeven en analyses kan lezen. Screpy koppelt projectdomeinen aan toegankelijke zones. Bij ontbrekende rechten, geen overeenkomst of een ontbrekende dataset toont het dashboard niet beschikbaar in plaats van vervangende data.
Wat geldt als een geslaagd of mislukt crawlerverzoek?
Screpy telt HTTP 2xx-antwoorden als geslaagd. Antwoorden buiten 2xx gelden in deze weergave als mislukt; de detailweergave kan dus omleidingen en client- of serverfouten bevatten. Controleer de exacte status voordat je beslist of een oplossing nodig is.
Bewijst AI-bottraffic dat mijn content in een AI-antwoord verscheen?
Nee. De analyses registreren het verzoek en antwoord van een geverifieerde crawler in de rapportperiode. Geblokkeerde verzoeken kunnen meetellen, dus dit bewijst niet eens dat de crawler inhoud downloadde. Het toont geen indexering, modeltraining, merkvermelding, citaat of opname in een antwoord aan. Gebruik AI-zichtbaarheid voor gemonitorde prompts en opgeslagen antwoorden.