Screpy का Noindex Checker एक URL के प्राप्त HTML और X-Robots-Tag प्रतिक्रिया हेडर में इंडेक्सिंग निर्देश जाँचता है। वह निर्देश, उसका स्रोत और Google वेब खोज पर उसका लागू होना दिखाता है। अनचाहा प्रतिबंध जाँचने या जानबूझकर लगाए नियम की पुष्टि के लिए प्रमाण देखें। टूल मिली हुई प्रतिक्रिया बताता है, यह नहीं कि Google ने पेज इंडेक्स किया है या नहीं।
अंतिम प्रतिक्रिया जाँचें, Google का इंडेक्स नहीं
पूरा सार्वजनिक HTTP या HTTPS URL डालकर जाँच चलाएँ। Screpy अधिकतम पाँच रीडायरेक्ट अनुसरण करके अंतिम प्रतिक्रिया देखता है। माँगा गया और अंतिम पता मिलाएँ: पुराना उत्पाद URL श्रेणी पर जाए तो निर्देश उस श्रेणी की प्रतिक्रिया के हैं, पुराने उत्पाद के पिछले HTML के नहीं।
HTML में robots और Googlebot meta tag के साथ हेडर पढ़े जाते हैं। PDF या अन्य non-HTML संसाधन में HTML tag लागू नहीं होते; X-Robots-Tag हेडर फिर भी निर्देश दे सकता है। PDF के HTML स्रोत पर “लागू नहीं” का अर्थ विफल fetch नहीं है।
टूल JavaScript नहीं चलाता, robots.txt नहीं पढ़ता और Google इंडेक्स में खोज नहीं करता। वह अलग आगंतुकों या crawler की हर प्रतिक्रिया भी नहीं दोहराता। सफल निदान रिक्वेस्ट केवल वही दिखाती है जो उसे मिला। वास्तविक crawl access, rendering के बदलाव और दर्ज index status अलग सत्यापित करने होंगे।
Google वेब खोज पर लागू निर्देश पहचानें
स्रोत, मूल मान, crawler का दायरा और लागू होना एक साथ पढ़ें। सामान्य robots और खास Googlebot निर्देश दोनों लागू हो सकते हैं। केवल दूसरे crawler का नियम अपने आप Google वेब खोज को सीमित नहीं करता।
यह काल्पनिक उदाहरण बताता है कि एक आश्वस्त करने वाला मान पर्याप्त क्यों नहीं। यह किसी वास्तविक साइट का स्कैन नहीं है।
| देखा गया स्रोत | उदाहरण मान | इस जाँच के लिए अर्थ |
|---|---|---|
| HTML robots meta tag | index, follow | केवल इस निर्देश में noindex नहीं |
| HTML Googlebot meta tag | noindex | सामान्य index के बावजूद Google web पर लागू |
| X-Robots-Tag हेडर | noindex | दूसरा लागू स्रोत; HTML हटाने से नहीं हटता |
| otherbot के लिए हेडर | otherbot: noindex | इस जाँच के Google web दायरे से बाहर का प्रमाण |
पहले तीन साथ हों तो एक और index जोड़ने से लागू noindex रद्द नहीं होता। Google का robots specification टकराव में अधिक प्रतिबंधात्मक निर्देश समझाता है। none में noindex और nofollow दोनों शामिल हैं। अकेला nofollow अलग निर्देश है; इसका अर्थ पेज पर noindex होना नहीं।
पार्सर body में robots meta tag भी पहचानता है। साफ़ markup के लिए गलत जगह का tag head में रखें, लेकिन body में होने से उसे निष्प्रभावी न मानें। comment, script या template content में उदाहरण tag यहाँ सक्रिय निर्देश नहीं माने जाते।
परिणाम के साथ जाँच का दायरा पढ़ें
“Noindex मिला” का अर्थ है कि लागू निर्देश देखा गया। दूसरा स्रोत पूरा न जाँचा गया हो तब भी यह सकारात्मक प्रमाण सही रह सकता है। इससे Google द्वारा निर्देश पहले ही प्रोसेस किया जाना या प्रतिबंध का गलती से लगा होना साबित नहीं होता।
“Noindex नहीं मिला” के लिए संबंधित स्रोत पूरी तरह जाँचे जाने चाहिए। हरा रंग केवल जाँची गई प्रतिक्रिया में यह निर्देश न होना बताता है, crawl, canonical चयन या indexing की गारंटी नहीं। “अज्ञात” बताता है कि प्रमाण अनुपस्थिति स्थापित नहीं कर सकते। अधूरे या अनुपलब्ध स्रोत को पास मानने की जगह विवरण पढ़ें।
2 MiB से बड़ी प्रतिक्रिया पढ़ने योग्य प्रमाण छोड़ सकती है, लेकिन पूरी जाँच नहीं होने देती। 100 निर्देश की सीमा, अपठनीय encoding या अस्पष्ट syntax भी दायरा कम कर सकते हैं। प्रतिबंध न होने का निष्कर्ष देने से पहले access या व्याख्या की समस्या सुधारकर फिर जाँचें।
खास निष्कर्ष अलग देखें। noindex के साथ indexifembedded होने पर Google दूसरे पेज में एम्बेड हुई सामग्री इंडेक्स कर सकता है; यह सामान्य रूप से पेज का noindex रद्द नहीं करता। unavailable_after अलग समीक्षा वाली समाप्ति तारीख बताता है। गलत या अनिश्चित तारीख को पुष्ट समाप्ति नहीं माना जाता और उसका प्रमाण noindex निर्णय की जगह नहीं लेता।
स्रोत सुधारकर प्रकाशित URL फिर जाँचें
पहले तय करें कि पेज खोज में दिखना चाहिए या नहीं। checkout या आंतरिक खोज पेज पर noindex जानबूझकर हो सकता है। निर्देश प्रमाणीकरण या गोपनीय डेटा की सुरक्षा नहीं है; इसे access control की जगह न रखें।
अनचाहे HTML निर्देश के लिए SEO setting, template और tag बनाने वाली साझा setting देखें। हेडर के लिए उसे जोड़ने वाला configuration बदलें। एक स्रोत बदलने से दूसरा नहीं हटता। सुधार प्रकाशित करके उसी URL के सभी लागू स्रोत फिर देखें, रीडायरेक्ट के अंतिम गंतव्य सहित।
Google की noindex गाइड के अनुसार निर्देश पढ़ने के लिए crawler को संसाधन तक पहुँचना होगा। robots.txt का प्रतिबंध इसे रोक सकता है; Google robots.txt के अंदर noindex नहीं मानता। crawl नियमों के लिए Robots.txt Tester और canonical निर्देशों के लिए Canonical Tag Checker इस्तेमाल करें।
प्रकाशित प्रतिक्रिया की पुष्टि के बाद Search Console में दर्ज स्थिति और उपलब्ध live check देखें। Google को दोबारा crawl करके बदलाव प्रोसेस करना होगा। noindex हटाने से शामिल होना या तुरंत परिणामों में लौटना सुनिश्चित नहीं होता।
IndexNow सेटअप अलग से जाँचने के लिए IndexNow चेकर इस्तेमाल करें। यह URL भेजे बिना सत्यापन फ़ाइल पढ़कर कुंजी मिलाता है; खोज इंजन की स्वीकृति या इंडेक्सिंग की पुष्टि नहीं करता।