शुरुआती URL और क्रॉल का दायरा
प्रोजेक्ट की वेबसाइट से शुरू करें और चुनी गई क्रॉल क्षमता तथा गहराई के भीतर उपलब्ध आंतरिक लिंक का अनुसरण करें।
- प्रोजेक्ट स्तर पर क्रॉल का दायरा
- आंतरिक URL की खोज
- पूर्ण क्रॉल के रिकॉर्ड की सूची
तकनीकी साइट विश्लेषण के लिए SEO क्रॉलर टूल
URL एक-एक करके जाँचने के बजाय क्लाउड क्रॉल चलाएँ और आंतरिक लिंक से वेबसाइट की संरचना समझें। क्रॉल क्षमता, गहराई, JavaScript रेंडरिंग, एक साथ चलने वाले अनुरोधों की संख्या और अनुरोधों के बीच अंतराल निर्धारित करें। फिर हर तकनीकी पैटर्न के पीछे मौजूद Pages, Links और Images के वास्तविक रिकॉर्ड देखें।
TL;DR
संक्षिप्त सारांश
सारांश दिखाएँ सारांश छिपाएँ
TL;DR
संक्षिप्त सारांश
SEO क्रॉलर क्या करता है?
Screpy SEO Crawler प्रोजेक्ट की वेबसाइट से शुरू करता है, चुने गए दायरे में उपलब्ध आंतरिक लिंक का अनुसरण करता है और Pages, Links तथा Images की सूचियाँ बनाता है। टीमें खोज और अनुरोध के व्यवहार को निर्धारित कर सकती हैं, तकनीकी पैटर्न के पीछे मौजूद वास्तविक रिकॉर्ड देख सकती हैं, फ़िल्टर किया गया डेटा एक्सपोर्ट कर सकती हैं और वेबसाइट में बदलाव के बाद तुलना योग्य क्रॉल स्नैपशॉट बना सकती हैं।
दायरा और पहुँच
- Screpy निर्धारित URL क्षमता और क्रॉल गहराई के भीतर प्रोजेक्ट की वेबसाइट से उपलब्ध आंतरिक लिंक का अनुसरण करता है।
- Screpy क्रॉल की स्थिति और पहुँच का संदर्भ दर्ज करता है, ताकि अवरुद्ध रिस्पॉन्स को ऑन-पेज SEO की कमी न समझ लिया जाए।
क्रॉल नियंत्रण
- Screpy में URL क्षमता, लिंक गहराई और क्लाइंट-साइड सामग्री के लिए वैकल्पिक JavaScript रेंडरिंग निर्धारित की जा सकती है।
- जब वेबसाइट को धीमी क्रॉलिंग चाहिए, तो Screpy में एक साथ चलने वाले अनुरोधों की संख्या और उनके बीच अंतराल नियंत्रित किए जा सकते हैं।
तकनीकी सूचियाँ
- Screpy Pages में URL रिस्पॉन्स, गहराई, रीडायरेक्ट, कैनोनिकल, मेटाडेटा, हेडिंग, इंडेक्स किए जा सकने की स्थिति और संबंधित पेज संकेत दर्ज होते हैं।
- Screpy Links और Images में गंतव्य तथा एसेट को उनकी स्थिति, विशेषताओं, उपयोग और क्रॉल किए गए स्रोत पेज से जोड़ा जाता है।
सत्यापन और एक्सपोर्ट
- Screpy हर पूर्ण क्रॉल को तारीख वाले स्नैपशॉट के रूप में सहेजता है, जिसकी समान दायरे वाले बाद के क्रॉल से तुलना की जा सकती है।
- Screpy के फ़िल्टर और CSV या Excel एक्सपोर्ट से क्रॉल रिकॉर्ड को कार्यान्वयन और सत्यापन के लिए केंद्रित कार्यसूची में बदला जा सकता है।
SEO क्रॉलर क्या खोज सकता है, इसे नियंत्रित करें।
उपयोगी क्रॉल की शुरुआत स्पष्ट दायरे और पहुँच से होती है। Screpy में टीमें जाँच की जा रही वेबसाइट के अनुसार खोज, रेंडरिंग, अनुरोध की गति, रिपोर्ट और दोबारा विश्लेषण को समायोजित कर सकती हैं।
अधिकतम URL क्षमता
वेबसाइट और प्लान के अनुरूप क्रॉल क्षमता चुनें। कवरेज समझने से पहले देखें कि पूर्ण क्रॉल उस सीमा तक पहुँचा था या नहीं।
- प्लान के अनुसार URL क्षमता
- कवरेज सीमा का संदर्भ
- चुनी गई सीमा के आधार पर कवरेज की व्याख्या
नियंत्रित करें कि शुरुआती पेज से Screpy आंतरिक लिंक के कितने स्तरों तक जाए, और संरचना में गहराई पर मौजूद महत्वपूर्ण URL पहचानें।
- क्रॉल किए गए पेज की गहराई दर्ज होती है
- गहराई पर मौजूद पेज की जाँच
- संरचना की समीक्षा
JavaScript रेंडरिंग
जब महत्वपूर्ण लिंक या पेज तत्व शुरुआती HTML रिस्पॉन्स में मौजूद न हों, तो क्लाइंट-साइड सामग्री रेंडर करें।
- रेंडर किए गए पेज की वैकल्पिक क्रॉलिंग
- क्लाइंट-साइड लिंक की खोज
- रेंडर की गई सामग्री का विश्लेषण
समानांतर अनुरोध और अनुरोधों के बीच अंतराल
हर सर्वर या एप्लिकेशन पर एक ही अनुरोध पैटर्न लागू करने के बजाय वेबसाइट के अनुसार क्रॉल की गति समायोजित करें।
- एक साथ चलने वाले अनुरोधों का नियंत्रण
- अनुरोधों के बीच निर्धारित किया जा सकने वाला अंतराल
- अनुरोध दर की सीमा को ध्यान में रखकर क्रॉलिंग
robots नियम, फ़ायरवॉल, बॉट सुरक्षा, रिस्पॉन्स स्टेटस और लौटाए गए HTML की जाँच करके SEO निष्कर्ष और अवरुद्ध क्रॉल के बीच अंतर करें।
- ScrepyBot की पहुँच की जाँच
- robots.txt की समीक्षा
- अवरुद्ध रिस्पॉन्स या सत्यापन चुनौती का संदर्भ
फ़िल्टर की जा सकने वाली क्रॉल रिपोर्ट
पूरी साइट की कुल संख्या से किसी पैटर्न के पीछे मौजूद वास्तविक पेज, लिंक और इमेज तक जाएँ। फिर कार्यान्वयन के लिए फ़िल्टर किए गए रिकॉर्ड एक्सपोर्ट करें।
- Pages, Links और Images की सूचियाँ
- समस्या और रिकॉर्ड फ़िल्टर
- CSV और Excel एक्सपोर्ट
तारीख वाले क्रॉल स्नैपशॉट
हर पूर्ण क्रॉल को स्नैपशॉट के रूप में सहेजें, तुलना योग्य सेटिंग से विश्लेषण दोहराएँ और डिप्लॉयमेंट के बाद हुए बदलाव सत्यापित करें।
- पुराने क्रॉल का चयन
- पहले और बाद की तुलना
- नियमित तकनीकी समीक्षा
हर खोजे गए URL को क्रॉल रिकॉर्ड के रूप में जाँचें।
पूर्ण क्रॉल से URL की फ़िल्टर की जा सकने वाली सूची बनाएँ। हर URL मैन्युअल रूप से खोले बिना रिस्पॉन्स स्टेटस, अंतिम गंतव्य, क्रॉल गहराई, रिस्पॉन्स समय, मेटाडेटा, हेडिंग, कैनोनिकल, इंडेक्स किए जा सकने की स्थिति, सामग्री, संरचित डेटा, सोशल टैग और संबंधित पेज संकेत देखें।
और जानें: pages रिपोर्ट- पूरी सूची फ़िल्टर करें या किसी एक तकनीकी पैटर्न पर ध्यान दें
- अलग-अलग टेम्पलेट और अनुभागों के प्रतिनिधि URL की तुलना करें
- कार्यान्वयन के लिए ज़रूरी वास्तविक पेज रिकॉर्ड एक्सपोर्ट करें
गंतव्य को उसका संदर्भ देने वाले हर स्रोत पेज से जोड़कर देखें।
आंतरिक और बाहरी गंतव्य के रिस्पॉन्स स्टेटस, एंकर टेक्स्ट, विशेषताएँ, उपयोग की संख्या और क्रॉल किए गए स्रोत पेज देखें। काम न करने वाले या रीडायरेक्ट होने वाले URL के आधार पर नेविगेशन, सामग्री, टेम्पलेट या कंपोनेंट में विशिष्ट सुधार तय किया जा सकता है।
और जानें: links रिपोर्ट- एक सूची में असफल और रीडायरेक्ट होने वाले गंतव्य खोजें
- हर गंतव्य का संदर्भ देने वाले पेज तक पहुँचें
- आंतरिक संरचना को बाहरी संदर्भों से अलग समझें
इमेज की उपलब्धता और लोडिंग को पेज पर उसके उपयोग के साथ देखें।
क्रॉल किए गए इमेज स्रोतों के समूह बनाएँ। किसी एसेट को बदलने से पहले रिस्पॉन्स स्टेटस, alt टेक्स्ट, आयाम, रिस्पॉन्सिव विशेषताएँ, लोडिंग व्यवहार, स्रोत का प्रकार और उसे उपयोग करने वाले हर पेज की जाँच करें।
और जानें: images रिपोर्ट- अनुपलब्ध, पहुँच से बाहर और अधूरे इमेज रिकॉर्ड खोजें
- alt टेक्स्ट, आयाम, srcset, sizes और लोडिंग देखें
- बार-बार उपयोग होने वाले एसेट के क्रॉल किए गए स्रोत पेज तक पहुँचें
शुरुआती स्थिति दर्ज करें, वेबसाइट बदलें और फिर क्रॉल करें।
हर पूर्ण क्रॉल को तारीख वाला स्नैपशॉट मानें। रिलीज़, माइग्रेशन, नेविगेशन में बदलाव या तकनीकी सुधार के बाद तुलना योग्य सेटिंग से विश्लेषण दोहराएँ। केवल बदलती कुल संख्या पर निर्भर होने के बजाय प्रभावित URL पैटर्न सत्यापित करें।
और जानें: क्रॉल स्नैपशॉट- पूर्ण परिणाम बदले बिना पुराने क्रॉल चुनें
- डिप्लॉयमेंट से पहले और बाद में समान दायरे की तुलना करें
- वेबसाइट के वास्तविक बदलाव को अलग क्रॉल सेटिंग के प्रभाव से अलग समझें
क्रॉल से ऐसे प्रमाण जुटाएँ जिन्हें आप सत्यापित कर सकें।
दायरा स्पष्ट रखें, किसी पैटर्न के पीछे मौजूद रिकॉर्ड जाँचें, मूल कार्यान्वयन सुधारें और अगले क्रॉल से परिणाम की पुष्टि करें।
- 01
क्रॉल की व्याख्या से पहले उसे निर्धारित करें
शुरुआती URL, URL क्षमता, लिंक गहराई, JavaScript मोड, समानांतर अनुरोधों की संख्या, अनुरोधों के बीच अंतराल, robots नियम और क्रॉलर की पहुँच की पुष्टि करें। ये सेटिंग तय करती हैं कि स्नैपशॉट किन चीज़ों का प्रतिनिधित्व कर सकता है।
- 02
आंतरिक लिंक से साइट की संरचना सामने आने दें
Screpy निर्धारित दायरे में उपलब्ध आंतरिक पाथ का अनुसरण करता है और हर खोजे गए URL, रिस्पॉन्स, गहराई, गंतव्य, लिंक संबंध तथा संबंधित पेज या इमेज डेटा को दर्ज करता है।
- 03
पैटर्न के पीछे मौजूद वास्तविक रिकॉर्ड फ़िल्टर करें
सुधार चुनने से पहले Pages, Links और Images रिपोर्ट से कुल संख्या के पीछे मौजूद प्रतिनिधि URL, स्रोत पेज, रीडायरेक्ट व्यवहार, मेटाडेटा, कैनोनिकल या इमेज उपयोग देखें।
- 04
सुधार प्रकाशित करें और तुलना योग्य स्नैपशॉट बनाएँ
वेबसाइट बदलने के बाद एक और क्रॉल चलाएँ। दायरा और सेटिंग तुलना योग्य रखें। फिर सत्यापित करें कि लक्षित URL और मूल पैटर्न सही कारण से बदले हैं।
वेबसाइट की संरचना बदलने से पहले और बाद में क्रॉलर उपयोग करें।
क्रॉल डेटा तब सबसे उपयोगी होता है जब टीम को अभी याद हो कि क्या बदला है। अधिक जोखिम वाले काम से पहले शुरुआती स्थिति दर्ज करें और उसे जारी करने के बाद तुलना योग्य स्नैपशॉट बनाएँ।
वेबसाइट माइग्रेशन और URL में बदलाव
लॉन्च से पहले महत्वपूर्ण URL, रीडायरेक्ट, अंतिम गंतव्य, कैनोनिकल और आंतरिक पाथ दर्ज करें। फिर उसी दायरे में नई संरचना क्रॉल करें।
JavaScript वेबसाइट और एप्लिकेशन
जब नेविगेशन या महत्वपूर्ण पेज सामग्री ब्राउज़र में बनती हो, तो JavaScript रेंडरिंग उपयोग करें। फिर पुष्टि करें कि वे URL क्रॉल की सूची में आते हैं।
आंतरिक लिंक और साइट की संरचना
कमज़ोर तरीके से जुड़ी या मुश्किल से खोजी जा सकने वाली महत्वपूर्ण सामग्री पहचानने के लिए क्रॉल गहराई, स्रोत पेज, एंकर, विशेषताएँ और बार-बार आने वाले नेविगेशन पाथ देखें।
रिलीज़ और टेम्पलेट की निगरानी
रूटिंग, नेविगेशन, CMS, टेम्पलेट और कंपोनेंट बदलने के बाद फिर क्रॉल करें। इससे कार्यान्वयन का संदर्भ ताज़ा रहते हुए बार-बार आने वाली तकनीकी समस्याएँ पकड़ने में मदद मिलती है।
जब डिप्लॉयमेंट मॉडल, क्रॉल नियंत्रण, कस्टम डेटा एक्सट्रैक्शन, नियमित निगरानी, टीम की पहुँच और रिपोर्टिंग निर्णय को प्रभावित करें, तो Screpy की तुलना Screaming Frog से करें।
मूल क्रॉल डेटा या प्राथमिकता वाला वेबसाइट ऑडिट चुनें
खोज के पाथ समझने और पेज, लिंक तथा इमेज रिकॉर्ड जाँचने के लिए SEO Crawler उपयोग करें। जब टीम को समूहों में व्यवस्थित निष्कर्ष, समस्याओं की प्राथमिकता और तकनीकी स्थिति की व्यापक समीक्षा चाहिए, तो Website Audit उपयोग करें।
क्लाउड क्रॉल निर्धारित करें, पहुँच योग्य URL का नक्शा बनाएँ और तकनीकी पैटर्न के पीछे मौजूद Pages, Links तथा Images के मूल रिकॉर्ड देखें।
पूर्ण क्रॉल को समूहों में व्यवस्थित निष्कर्ष, प्रभावित URL पैटर्न, प्राथमिकताओं, एक्सपोर्ट और सुधार सत्यापित करने की दोहराने योग्य प्रक्रिया में बदलें।
क्रॉल के प्रमाण अपनी वेबसाइट के मॉडल के अनुसार उपयोग करें।
साझा टेम्पलेट और बदलते URL समूह SaaS की ग्राहक प्राप्ति वेबसाइट तथा ईकॉमर्स कैटलॉग के लिए अलग-अलग जोखिम पैदा करते हैं।
लैंडिंग पेज, दस्तावेज़, साझा टेम्पलेट और रिलीज़ के बाद आई समस्याओं को ग्राहक प्राप्ति के एक संयुक्त माध्यम के रूप में देखें।
श्रेणी और उत्पाद पेज के प्रकारों, काम न करने वाले खरीदारी पाथ और कैटलॉग की संरचना में बदलाव का ऑडिट करें।
Screpy दस्तावेज़
अपनी वेबसाइट क्रॉल करना सीखें
क्रॉल का दायरा निर्धारित करने, क्रॉलर को पहुँच देने, Pages, Links और Images रिपोर्ट समझने तथा अधूरे परिणामों का कारण जानने के लिए Screpy की मार्गदर्शिकाएँ देखें।
SEO क्रॉलर से जुड़े आम सवाल
क्रॉल में खोज, दायरा, JavaScript रेंडरिंग, पहुँच, अनुरोध की गति, रिपोर्ट, स्नैपशॉट और क्रॉल डेटा तथा वेबसाइट ऑडिट का अंतर समझें।
SEO क्रॉलर क्या है?
SEO क्रॉलर वेबसाइट के URL से शुरू करता है, निर्धारित दायरे में उपलब्ध आंतरिक लिंक का अनुसरण करता है और पहुँचने वाले पेज तथा संसाधनों की तकनीकी जानकारी दर्ज करता है। इससे बनी सूची टीमों को खोज के पाथ, रिस्पॉन्स कोड, रीडायरेक्ट, कैनोनिकल, आंतरिक लिंक, मेटाडेटा, इमेज और साइट पर बार-बार आने वाले पैटर्न जाँचने में मदद करती है।
SEO क्रॉलर और वेबसाइट ऑडिट में क्या अंतर है?
SEO क्रॉलर तकनीकी सूची बनाता है, जिसमें खोजे गए URL, रिस्पॉन्स, पाथ, पेज डेटा, लिंक, इमेज और क्रॉल का संदर्भ शामिल होते हैं। Website Audit उस क्रॉल को समूहों में व्यवस्थित निष्कर्ष, प्रभावित पैटर्न, प्राथमिकताओं और सुधार सत्यापित करने की प्रक्रिया के रूप में समझाता है। खोज और मूल रिकॉर्ड चाहिए तो क्रॉलर उपयोग करें; वेबसाइट की स्थिति की व्यापक समीक्षा और प्राथमिकता वाली कार्रवाई चाहिए तो ऑडिट उपयोग करें।
Pages, Links और Images रिपोर्ट में क्या शामिल है?
Pages में क्रॉल किए गए URL और उनके रिस्पॉन्स, गहराई, मेटाडेटा, हेडिंग, कैनोनिकल, इंडेक्स किए जा सकने की स्थिति, सामग्री, संरचित डेटा, सोशल तथा संबंधित संकेत दर्ज होते हैं। Links में गंतव्य को स्थिति, एंकर, विशेषताओं, उपयोग और स्रोत पेज से जोड़ा जाता है। Images में इमेज स्रोतों को रिस्पॉन्स, alt टेक्स्ट, आयाम, लोडिंग संबंधी विशेषताओं और पेज पर उपयोग के साथ समूहित किया जाता है।
क्या मैं समय के साथ क्रॉल परिणामों की तुलना कर सकता हूँ?
हाँ। हर पूर्ण क्रॉल तारीख वाला स्नैपशॉट है। रिलीज़ या सुधार के बाद नया क्रॉल चलाएँ और समान दायरे तथा सेटिंग वाले स्नैपशॉट की तुलना करें, ताकि कवरेज या समस्याओं की कुल संख्या में बदलाव को अलग क्रॉल कॉन्फ़िगरेशन के प्रभाव से न मिलाया जाए।
क्या क्रॉलर काम न करने वाले लिंक और रीडायरेक्ट पाथ खोज सकता है?
हाँ। Links रिपोर्ट असफल या रीडायरेक्ट होने वाले गंतव्य पहचानने और उनका संदर्भ देने वाले क्रॉल किए गए पेज तक पहुँचने में मदद करती है। इससे डेवलपर और संपादकों को केवल गंतव्य URL के बजाय सुधारने के लिए विशिष्ट स्रोत पेज, साझा कंपोनेंट या टेम्पलेट मिलता है।
क्या क्रॉलर के हर निष्कर्ष को ठीक करने से बेहतर रैंकिंग की गारंटी मिलती है?
नहीं। क्रॉल डेटा तकनीकी स्थितियाँ खोजने और सत्यापित करने में मदद करता है, लेकिन रैंकिंग प्रासंगिकता, सामग्री की गुणवत्ता, विश्वसनीयता, प्रतिस्पर्धा, माँग, इंडेक्सिंग और सर्च इंजन द्वारा हर पेज की व्याख्या पर भी निर्भर करती है। क्रॉलर फ़िल्टर को जाँच के प्रमाण मानें, रैंकिंग बढ़ाने के स्वचालित निर्देश नहीं।
Screpy वेबसाइट के पेज कैसे खोजता है?
Screpy प्रोजेक्ट की वेबसाइट से शुरू करता है और निर्धारित URL क्षमता तथा क्रॉल गहराई के भीतर उपलब्ध आंतरिक लिंक का अनुसरण करता है। पेज का लिंक न होने, चुनी गई गहराई से बाहर होने, अवरुद्ध होने, प्रोजेक्ट के होस्ट से बाहर रीडायरेक्ट होने, JavaScript रेंडरिंग पर निर्भर होने या अनुपयोगी सामग्री लौटाने के कारण वह सूची में नहीं आ सकता।
क्या Screpy JavaScript वेबसाइट क्रॉल कर सकता है?
जिन वेबसाइट के महत्वपूर्ण लिंक या सामग्री ब्राउज़र में बनते हैं, उनके लिए Screpy वैकल्पिक JavaScript सेटिंग देता है। रेंडरिंग उन साइटों पर खोज बेहतर कर सकती है, लेकिन robots नियम, प्रमाणीकरण, फ़ायरवॉल, बॉट सत्यापन चुनौतियाँ, टाइमआउट या निर्धारित क्रॉल दायरे को दरकिनार नहीं करती।
अधिकतम URL और क्रॉल गहराई क्या नियंत्रित करते हैं?
अधिकतम URL यह सीमा तय करता है कि क्रॉल कितने खोजे गए URL सहेज सकता है। क्रॉल गहराई शुरुआती पेज से Screpy द्वारा अनुसरण किए जाने वाले आंतरिक लिंक स्तरों की संख्या सीमित करती है। इनमें से कोई भी सेटिंग बढ़ाने से अवरुद्ध पहुँच, अनुपस्थित आंतरिक लिंक, रीडायरेक्ट, अनुरोध दर की सीमाएँ या अनुपयोगी रिस्पॉन्स ठीक नहीं होते।
क्या Screpy सुरक्षित या अवरुद्ध वेबसाइट क्रॉल कर सकता है?
क्रॉलर को लॉगिन, CAPTCHA, ब्राउज़र सत्यापन चुनौती, फ़ायरवॉल अवरोध या अनुरोध दर की सीमा के कारण अस्वीकृति के बिना वास्तविक पेज मिलना चाहिए। हर सुरक्षा स्तर पर ScrepyBot और दस्तावेज़ों में दिए गए क्रॉलर IP को अनुमति दें, robots.txt में पहुँच की पुष्टि करें और जाँचें कि सफल रिस्पॉन्स में वास्तविक पेज का HTML है।
क्या मैं Screpy की वेबसाइट क्रॉल करने की गति नियंत्रित कर सकता हूँ?
हाँ। समानांतर अनुरोधों की सेटिंग नियंत्रित करती है कि एक साथ कितने अनुरोध चलें, और अंतराल की सेटिंग अनुरोधों के बीच समय जोड़ती है। जब होस्ट स्वचालित ट्रैफ़िक की दर सीमित करे या अचानक आए कई अनुरोधों से परेशानी हो, तो समानांतर अनुरोध घटाएँ या अंतराल बढ़ाएँ।
अगर मैं पहले से Google Search Console उपयोग करता हूँ, तो क्या SEO क्रॉलर चाहिए?
दोनों अलग प्रश्नों के उत्तर देते हैं। Search Console Google Search का प्रदर्शन और चुनिंदा इंडेक्सिंग जानकारी दिखाता है। SEO क्रॉलर सक्रिय रूप से आपके आंतरिक लिंक का अनुसरण करता है और तकनीकी सूची बनाता है, जिसे आप Google के समस्या बताने या ट्रैफ़िक बदलने से पहले जाँच सकते हैं।
SI SEO जानना चाहते हैं?
Super Intelligence शब्दावली समझें और वेबसाइट ऑडिट, सर्च रिसर्च, रैंकिंग व AI विज़िबिलिटी को Screpy के एक व्यावहारिक कार्यप्रवाह में जोड़ें।