पेज वास्तव में जो जवाब भेजता है उसे जाँचें
पेज का पूरा URL पेस्ट करके जाँच शुरू करें। Screpy अंतिम HTTP जवाब और HTML पढ़कर robots meta टैग, Googlebot टैग और X-Robots-Tag हेडर में noindex खोजता है। यह अधिकतम पाँच रीडायरेक्ट का अनुसरण करके अंतिम गंतव्य दिखाता है। यह सार्वजनिक जवाब का तत्काल निरीक्षण है, पूरी वेबसाइट की क्रॉलिंग या Google इंडेक्स की खोज नहीं।
बदलाव से पहले स्रोत खोजें
HTML निर्देश आमतौर पर पेज टेम्पलेट, SEO प्लगइन या CMS सेटिंग से आता है। WordPress में पेज की SEO सेटिंग और साइट की खोज दृश्यता सेटिंग दोनों देखें। हेडर का निर्देश HTTP जवाब बनाने वाले कॉन्फ़िगरेशन से आता है। Meta टैग हटाने से हेडर नहीं हटता। PDF और चित्र URL में HTML के बिना हेडर निर्देश हो सकते हैं।
प्रमाण तालिका क्रॉलर का दायरा बनाए रखती है। सामान्य नियम और Googlebot नियम दोनों लागू हो सकते हैं; none में noindex शामिल है। अन्य क्रॉलरों के नियम अलग दिखते हैं। उपकरण body के meta टैग भी पढ़ता है, लेकिन script, comment और template में उदाहरण markup को अनदेखा करता है। indexifembedded और समाप्ति नियमों की अलग व्याख्या मिलती है।
रंगों के साथ जाँच का दायरा भी पढ़ें
लाल का अर्थ लागू noindex देखा गया। हरे का अर्थ पूरी तरह जाँचे गए स्रोतों में noindex नहीं मिला; यह इंडेक्सिंग का वादा नहीं है। पीला अधूरी जाँच या समीक्षा की ज़रूरत बताता है। जवाब प्राप्त करने में विफलता पर परिणाम अज्ञात रहता है। जवाब 2 MiB से बड़ा हो तो पढ़े जा सकने वाले प्रमाण रहते हैं, लेकिन noindex की अनुपस्थिति की पुष्टि नहीं हो सकती। भुगतान या आंतरिक खोज पेजों पर noindex उचित हो सकता है; इसे तभी हटाएँ जब पेज खोज में मिलना चाहिए।
क्रॉल पहुँच और इंडेक्सिंग अलग जाँचें
निर्देश पढ़ने के लिए Google को पेज तक पहुँचना होता है। क्रॉल नियमों के लिए Robots.txt Tester, canonical घोषणाओं के लिए Canonical Tag Checker और व्यापक पेज समीक्षा के लिए On-Page SEO Checker उपयोग करें। सुधार प्रकाशित होने पर यह जाँच दोहराएँ और Search Console में URL निरीक्षण करें। यह उपकरण JavaScript नहीं चलाता, robots.txt नहीं पढ़ता और Google ने URL इंडेक्स किया है या नहीं, यह निर्धारित नहीं करता।
AI बॉट एक्सेस परीक्षक: केवल robots.txt नियमों की जाँच होती है। वास्तविक बॉट एक्सेस, इंडेक्सिंग या उद्धरण की पुष्टि नहीं होती।