AI और बॉट ट्रैफ़िक विश्लेषण

अपने Screpy प्रोजेक्ट से मेल खाने वाला Cloudflare ज़ोन जोड़ें और पिछले सात दिनों की सत्यापित बॉट गतिविधि देखें। क्रॉलर श्रेणियाँ, प्रकाशक, डेटा ट्रांसफ़र, अनुरोध रुझान, सफल रिस्पॉन्स और non-2xx URL तुलना करें। क्रॉलर के आने को AI में उद्धरण मिलने का प्रमाण न मानें।

बॉट ट्रैफ़िक देखें प्लान तुलना करें

सत्यापित क्रॉलर, अनुरोधों के रुझान, ट्रांसफर किए गए डेटा और प्रतिक्रिया की स्थिति दिखाने वाला Screpy बॉट ट्रैफ़िक डैशबोर्ड

Cloudflare बॉट विश्लेषण जोड़ें

अपने Screpy प्रोजेक्ट से मेल खाने वाले ज़ोन के सत्यापित बॉट अनुरोध पढ़ने के लिए Cloudflare जोड़ें। खाली तालिका का अर्थ निकालने से पहले कनेक्शन और रिपोर्ट का दायरा जाँचें।

संबंधित ज़ोन और उसके विश्लेषण डेटा तक पहुँच वाला सक्रिय API टोकन इस्तेमाल करें।
Screpy प्रोजेक्ट डोमेन को उपलब्ध ज़ोन से मिलाता है; सबडोमेन के लिए मुख्य डोमेन का ज़ोन भी मेल खा सकता है।
ट्रैफ़िक उस पूरे Cloudflare ज़ोन का होता है; उसमें प्रोजेक्ट के होस्टनाम के अलावा उसी ज़ोन के अन्य होस्टनाम शामिल हो सकते हैं।
अनुमति, मेल खाते ज़ोन या सात दिनों के डेटा की कमी पर अनुपलब्ध स्थिति दिखती है; यह शून्य बॉट अनुरोध होने का प्रमाण नहीं है।

प्रोजेक्ट कनेक्शन जानें

स्रोत

Screpy

example.comजुड़ा हुआ

सत्यापित AI क्रॉलर पहचानें

जुड़े डेटा में मौजूद खोज और AI क्रॉलर समूह खोजें। नाम और प्रकाशक की जानकारी अनुरोध मात्रा या रिस्पॉन्स जाँचने से पहले बताती है कि अनुरोध किसने भेजे।

अनुरोध मौजूद होने पर Googlebot, Bingbot और समर्थित AI क्रॉलर जैसे पहचाने जाने वाले समूह देखें।
तालिका Cloudflare द्वारा सत्यापित बॉट के रूप में वर्गीकृत ट्रैफ़िक से शुरू होती है; केवल क्रॉलर का नाम हर स्वचालित अनुरोध सत्यापित नहीं करता।
क्रॉलर के अनुरोध कई श्रेणियों में हों तो उसकी पंक्ति सबसे अधिक अनुरोध वाली श्रेणी दिखाती है।
उपलब्ध श्रेणी से क्रॉलर तालिका फ़िल्टर करें; यह चयन अलग ट्रैफ़िक चार्ट को फ़िल्टर नहीं करता।

AI उत्तरों में ब्रांड उल्लेख ट्रैक करें

अनुरोध

Googlebot
18
GPTBot
14
ClaudeBot
10

घंटेवार बॉट गतिविधि तुलना करें

श्रेणी चार्ट में केंद्रित अनुरोध पहचानें, फिर उन्हीं सात दिनों के क्रॉलर मिनी-चार्ट देखें। वर्तमान दृश्य मनचाही तारीख चुनने के बजाय निश्चित अवधि इस्तेमाल करता है।

रिपोर्ट में सात दिनों के पूरे हो चुके घंटेवार अंतराल होते हैं और अवधि UTC घंटे की सीमा पर समाप्त होती है।
वर्तमान अधूरा घंटा शामिल नहीं होता; चार्ट हर नए अनुरोध का लाइव फ़ीड नहीं है।
सबसे अधिक अनुरोध वाली पाँच सत्यापित श्रेणियाँ अलग दिखती हैं; अतिरिक्त श्रेणियाँ अन्य के रूप में जुड़ती हैं।
क्रॉलर का मिनी-चार्ट अनुरोधों का वितरण दिखाता है और छोटे उछाल को लगातार गतिविधि से अलग पहचानने में मदद करता है।

ट्रैफ़िक-आधारित Quick Wins जानें

अनुरोध

1,860

बॉट अनुरोध और डेटा ट्रांसफ़र मापें

अनुरोध संख्या और ट्रांसफ़र किए गए बाइट साथ पढ़ें। वे ट्रैफ़िक मात्रा और रिस्पॉन्स आकार बताते हैं, अलग-अलग लोगों, AI उत्तरों की लोकप्रियता या सामग्री के मूल्य को नहीं मापते।

कुल संख्या में दोहराए गए अनुरोध भी गिने जाते हैं; यह यूनिक विज़िटर या सत्रों की संख्या नहीं है।
बाइट Cloudflare से भेजे गए रिस्पॉन्स जोड़ते हैं, non-2xx रिस्पॉन्स समेत; वे सामग्री सफलतापूर्वक पढ़े जाने का माप नहीं हैं।
उछाल जाँचने से पहले क्रॉलर की मात्रा, रुझान और परिणाम तुलना करें; ये आँकड़े होस्टिंग लागत या मॉडल प्रशिक्षण नहीं गिनते।

विज़िटर विश्लेषण जानें

अनुरोध: 1,860
डेटा ट्रांसफ़र: 24 MB

क्रॉलर के HTTP रिस्पॉन्स समझें

रिस्पॉन्स का वर्गीकरण और समस्या का निदान अलग रखें। असफल अनुरोध कॉलम में हर non-2xx रिस्पॉन्स आता है; अधिक संख्या अकेले वेबसाइट खराब होने का प्रमाण नहीं है।

HTTP 2xx रिस्पॉन्स सफल गिने जाते हैं; बाकी सभी स्थिति कोड असफल अनुरोध संख्या में आते हैं।
3xx रीडायरेक्ट जानबूझकर हो सकता है। उसे क्रॉल समस्या मानने से पहले गंतव्य जाँचें।
403 इच्छित पहुँच प्रतिबंध का परिणाम हो सकता है; अनुरोध यह साबित नहीं करता कि क्रॉलर ने पेज की सामग्री डाउनलोड की।
क्या बदलना है तय करने से पहले अप्रत्याशित 404 या 5xx रिस्पॉन्स को वास्तविक रूट और साइट सेटिंग के साथ जाँचें।

वेबसाइट ऑडिट से जाँचें

HTTP स्थिति

200

GET /HTTP/2 200

Non-2xx क्रॉलर पाथ जाँचें

क्रॉलर की non-2xx संख्या खोलकर देखें कि उसके अनुरोधों को कहाँ ये रिस्पॉन्स मिले। पाथ, स्थिति और आवृत्ति SEO या इंजीनियरिंग टीम को ठोस जाँच का आधार देते हैं।

विस्तृत दृश्य चुने हुए क्रॉलर और उसी निश्चित सात दिनों की अवधि तक सीमित होता है।
पंक्तियाँ अनुरोधित पाथ, HTTP स्थिति और अनुरोध संख्या साथ समूहित करती हैं; एक पाथ अलग स्थिति कोड के साथ दिख सकता है।
अधिक अनुरोध वाली पंक्तियाँ पहले आती हैं और उपलब्ध पंक्तियाँ कई पेज में बँटती हैं। यह समेकित दृश्य है, अलग-अलग अनुरोध का लॉग नहीं।
क्रॉलर, पाथ, स्थिति और संख्या लिखें, जाँचें कि रिस्पॉन्स इच्छित है या नहीं और सत्यापित सुधार के बाद की गतिविधि देखें।

काम न करने वाले गंतव्य जाँचें

चयनितGPTBot

URL पाथ	HTTP स्थिति	अनुरोध
`/guides/seo`	404	128
`/guides/seo`	301	36
`/setup`	503	12

AI बॉट ट्रैफ़िक पर बात करें। SEO MCP के साथ।

SEO MCP से उपलब्ध खोज, क्रॉल और जुड़े Cloudflare ट्रैफ़िक संकेतों पर आधारित Quick Wins पूछें। Cloudflare पहुँच इन अवसरों तक सीमित है, पूरे विश्लेषण या बॉट ट्रैफ़िक डैशबोर्ड तक नहीं।

Screpy SEO MCP के बारे में जानें अपना AI सहायक जोड़ें

सत्यापित बॉट ट्रैफ़िक को केंद्रित तकनीकी समीक्षा में बदलें।

सबसे सक्रिय श्रेणियों से शुरू करें, क्रॉलर चुनें और दोहराए गए non-2xx पाथ जाँचें। किसी विशेष रूट या पहुँच समस्या को जिम्मेदार टीम को देने से पहले इच्छित रिस्पॉन्स सत्यापित करें।

Cloudflare जोड़ें और प्रोजेक्ट ज़ोन का मिलान करें

ऐसा सक्रिय API टोकन इस्तेमाल करें जो वेबसाइट ज़ोन सूचीबद्ध कर सके और एनालिटिक्स पढ़ सके। फिर पुष्टि करें कि प्रोजेक्ट डोमेन से मेल खाने वाला ज़ोन जुड़ा है।
सात दिनों का श्रेणी पैटर्न समझें

अलग-अलग क्रॉलर की पंक्तियाँ खोलने से पहले लगातार गतिविधि, अचानक तेज़ अनुरोध, अपेक्षित श्रेणियों की अनुपस्थिति या बड़े अन्य हिस्से पर ध्यान दें।
क्रॉलर की मात्रा और परिणाम तुलना करें

अनुरोध, ट्रांसफ़र किए गए बाइट, घंटेवार रुझान, सफल 2xx रिस्पॉन्स और non-2xx संख्या से तय करें कि किस क्रॉलर पर पहले ध्यान देना है।
पाथ जाँचें और इच्छित रिस्पॉन्स सत्यापित करें

हर दोहराए गए पाथ और स्थिति की समीक्षा करें, पुष्टि करें कि वह जानबूझकर है या नहीं, अप्रत्याशित रिस्पॉन्स जाँचें और बाद के ट्रैफ़िक साक्ष्य से व्यवहार बदलने की पुष्टि करें।

क्रॉलर ट्रैफ़िक वहाँ इस्तेमाल करें जहाँ उससे वास्तविक निर्णय बदलता है।

यह दृश्य तब सबसे उपयोगी है जब टीम के पास वेबसाइट का पर्याप्त संदर्भ हो ताकि वह तय कर सके कि ट्रैफ़िक पैटर्न या HTTP रिस्पॉन्स अपेक्षित है या नहीं।

प्रकाशक और सामग्री लाइब्रेरी

देखें कि सत्यापित खोज और AI क्रॉलर समूह साइट से अनुरोध कर रहे हैं या नहीं और महत्वपूर्ण सामग्री पाथ non-2xx रिस्पॉन्स देते हैं या नहीं।

SEO और सामग्री टीमें

क्रॉल किए जा सकने पर चर्चा में वास्तविक अनुरोध साक्ष्य जोड़ें, बिना क्रॉलर गतिविधि को इंडेक्सिंग, उद्धरण या उत्तरों में विज़िबिलिटी का प्रमाण बताए।

उत्पाद और इंजीनियरिंग टीमें

एप्लिकेशन रूट या डिप्लॉयमेंट की तकनीकी जाँच आवश्यक हो तो विशिष्ट क्रॉलर, पाथ, HTTP स्थिति और अनुरोध संख्या सौंपें।

एजेंसियाँ और कई प्रोजेक्ट की टीमें

हर क्लाइंट या वेबसाइट ज़ोन को मेल खाने वाले Screpy प्रोजेक्ट से जोड़े रखें और अलग-अलग प्रॉपर्टी पर समान समीक्षा तरीका इस्तेमाल करें।

समझें कि क्रॉलर ट्रैफ़िक क्या साबित नहीं कर सकता।

स्पष्ट सीमाएँ SEO, सामग्री, इंजीनियरिंग और AI खोज की चर्चाओं में साक्ष्य के सही उपयोग में मदद करती हैं।

अनुरोध AI उद्धरण नहीं है

सत्यापित क्रॉलर अनुरोध पहुँच का प्रयास और उसका रिस्पॉन्स दर्ज करता है। ब्लॉक हुए अनुरोध भी दिख सकते हैं; इससे सामग्री डाउनलोड, इंडेक्सिंग, प्रशिक्षण, उद्धरण या AI उत्तर में शामिल होने का प्रमाण नहीं मिलता।

सात दिन, मनचाहा इतिहास नहीं

वर्तमान Screpy दृश्य घंटेवार रुझान डेटा के साथ निश्चित सात दिनों की अवधि इस्तेमाल करता है। यह मनचाही तारीख सीमाएँ या लंबे समय का बॉट इतिहास देने का वादा नहीं करता।

सत्यापित ट्रैफ़िक, हर स्वचालित अनुरोध नहीं

दृश्य जुड़े ज़ोन के लिए उपलब्ध सत्यापित बॉट श्रेणियों से बनता है। यह कच्चे सर्वर लॉग की जाँच या हर स्क्रेपर की पूरी सूची नहीं है।

विश्लेषण, क्रॉलर नियंत्रण नहीं

Screpy गतिविधि और रिस्पॉन्स परिणाम बताता है। वर्तमान दृश्य क्रॉलर ब्लॉक नहीं करता, पहुँच नियम नहीं बदलता, बॉट अलर्ट नहीं भेजता और पूरा अनुरोध लॉग निर्यात नहीं करता।

प्रश्न के अनुरूप AI खोज कार्यप्रवाह चुनें।

वेबसाइट अनुरोधों के लिए क्रॉलर विश्लेषण, निगरानी किए गए उत्तरों के लिए AI Visibility या दोहराई गई रिस्पॉन्स समस्या की व्यापक तकनीकी जाँच के लिए Website Audit इस्तेमाल करें।

AI और बॉट ट्रैफ़िक

सात दिनों की सत्यापित क्रॉलर श्रेणियाँ, अनुरोध रुझान, ट्रांसफ़र मात्रा, रिस्पॉन्स परिणाम और non-2xx पाथ देखें।

बॉट ट्रैफ़िक का विश्लेषण करें

AI विज़िबिलिटी

चुने हुए प्रॉम्प्ट पर ब्रांड उल्लेख, उद्धरण, स्रोत डोमेन, उत्तर में स्थान, भावना, प्रतिस्पर्धी और शेयर ऑफ़ वॉइस की निगरानी करें।

AI विज़िबिलिटी ट्रैक करें

वेबसाइट ऑडिट

non-2xx बॉट अनुरोध रीडायरेक्ट, काम न करने वाले गंतव्य, आंतरिक लिंक समस्या या बार-बार की टेम्पलेट समस्या दिखाएँ तो व्यापक साइट क्रॉल करें।

वेबसाइट का ऑडिट करें

AI और बॉट ट्रैफ़िक विश्लेषण के सामान्य प्रश्न

जुड़े डेटा स्रोत, निश्चित रिपोर्टिंग अवधि, सत्यापित क्रॉलर दायरे, रिस्पॉन्स गणना, URL की विस्तृत जाँच और क्रॉलर पहुँच तथा AI उत्तर विज़िबिलिटी का अंतर समझें।

असफल क्रॉलर URL की जाँच कैसे करूँ?

प्रभावित क्रॉलर की non-2xx संख्या खोलें, हर पाथ और HTTP स्थिति देखें, फिर तय करें कि रिस्पॉन्स जानबूझकर है या नहीं। बदलाव से पहले अप्रत्याशित रीडायरेक्ट, 4xx या 5xx रिस्पॉन्स को लाइव रूट, आंतरिक लिंक, कैनोनिकल गंतव्य, क्रॉल कॉन्फ़िगरेशन और व्यापक Website Audit से जाँचा जा सकता है।

Screpy AI & Bot Traffic क्या मापता है?

Screpy प्रोजेक्ट से मेल खाने वाले Cloudflare ज़ोन के एनालिटिक्स से पिछले सात दिनों का सत्यापित बॉट ट्रैफ़िक बताता है। डैशबोर्ड में घंटेवार श्रेणी रुझान और प्रकाशक, श्रेणी, ट्रांसफ़र किए गए बाइट, कुल अनुरोध, सफल अनुरोध, non-2xx अनुरोध तथा हर क्रॉलर का रुझान दिखाने वाली तालिका होती है।

बॉट ट्रैफ़िक डेटा दिखने से पहले क्या आवश्यक है?

सक्रिय Cloudflare API टोकन जोड़ें जो संबंधित ज़ोन सूचीबद्ध कर सके और उसका एनालिटिक्स पढ़ सके। फिर Screpy प्रोजेक्ट डोमेन का मिलान उपलब्ध ज़ोन से करता है। टोकन में एनालिटिक्स अनुमति न हो, प्रोजेक्ट डोमेन ज़ोन से मेल न खाता हो या आवश्यक डेटासेट ज़ोन में अनुपलब्ध हो तो डैशबोर्ड वैकल्पिक डेटा के बजाय अनुपलब्ध स्थिति दिखाता है।

क्या AI बॉट ट्रैफ़िक साबित करता है कि मेरी सामग्री AI उत्तर में आई?

नहीं। विश्लेषण रिपोर्ट अवधि में सत्यापित क्रॉलर का अनुरोध और रिस्पॉन्स दर्ज करता है। ब्लॉक हुए अनुरोध भी शामिल हो सकते हैं, इसलिए यह क्रॉलर द्वारा सामग्री डाउनलोड किए जाने तक का प्रमाण नहीं है। इससे इंडेक्सिंग, मॉडल प्रशिक्षण, ब्रांड उल्लेख, उद्धरण या उत्तर में शामिल होना साबित नहीं होता। निगरानी किए गए प्रॉम्प्ट और सहेजे गए उत्तर देखने के लिए AI विज़िबिलिटी इस्तेमाल करें।

Screpy कौन से क्रॉलर पहचान सकता है?

तालिका जुड़े एनालिटिक्स स्रोत द्वारा सत्यापित बॉट के रूप में वर्गीकृत ट्रैफ़िक से शुरू होती है। अनुरोध मौजूद होने पर Screpy Googlebot, Bingbot, OpenAI, Anthropic, Perplexity, Apple, Meta और अन्य पहचानी गई सेवाओं जैसे ज्ञात क्रॉलर समूहों के पढ़ने योग्य नाम जोड़ता है। उपलब्ध पंक्तियाँ ज़ोन के वास्तविक ट्रैफ़िक पर निर्भर हैं।

सफल या असफल क्रॉलर अनुरोध किसे माना जाता है?

Screpy HTTP 2xx रिस्पॉन्स को सफल गिनता है। इस दृश्य में 2xx सीमा के बाहर वाले रिस्पॉन्स असफल गिने जाते हैं, इसलिए विस्तृत जाँच में रीडायरेक्ट और क्लाइंट तथा सर्वर त्रुटियाँ शामिल हो सकती हैं। सुधार आवश्यक है या नहीं तय करने से पहले सटीक स्थिति जाँचें।

क्या Screpy AI & Bot Traffic सर्वर लॉग विश्लेषक है?

नहीं। Screpy मेल खाते Cloudflare ज़ोन का उपलब्ध समेकित विश्लेषण पढ़ता है; कच्चे सर्वर लॉग नहीं लेता और हर अनुरोध घटना नहीं दिखाता। श्रेणियाँ, क्रॉलर के कुल आँकड़े और पाथ विवरण अलग समूहों और स्रोत सीमाओं का इस्तेमाल करते हैं। इन्हें अनुरोधों का पूरा बहीखाता न मानें और सभी कुल संख्याओं के बिल्कुल मेल खाने की अपेक्षा न करें। स्रोत डेटा न हो तो अनुपलब्ध स्थिति दिखती है।

क्या इस पेज से Screpy AI क्रॉलर ब्लॉक कर सकता है या robots.txt बदल सकता है?

नहीं। वर्तमान सुविधा विश्लेषण और जाँच का दृश्य है। पहुँच नियंत्रण, फ़ायरवॉल नियम, robots निर्देश, क्रॉलर अलर्ट, रेफ़रल एनालिटिक्स और CSV निर्यात इस Screpy पेज से प्रबंधित नहीं होते।