अधिकतम 20 सार्वजनिक URL पर noindex और nofollow निर्देशों की तुलना करने के लिए बल्क मेटा रोबोट्स चेकर इस्तेमाल करें। यह HTML के robots टैग और X-Robots-Tag रिस्पॉन्स हेडर पढ़ता है, फिर चुने गए क्रॉलर के दायरे के अनुसार देखे गए नतीजों को समूहों में दिखाता है। इससे कई पेज टेम्पलेट में अनचाहे बहिष्करण का पता लगाने या बदलाव के बाद जानबूझकर किए गए बहिष्करण की जाँच करने में मदद मिलती है। रिपोर्ट उन रिस्पॉन्स का विवरण देती है जिन्हें चेकर पढ़ सका; यह तय नहीं करती कि Google ने उन पेजों को इंडेक्स किया है या नहीं।
उपयोगी URL बैच और क्रॉलर का दायरा चुनें
जिन पेजों पर जाँचने वाले बदलाव का असर पड़ा है, उनसे शुरू करें। प्रोडक्ट टेम्पलेट बदलने के बाद कई प्रोडक्ट URL और एक कैटेगरी पेज शामिल करें। माइग्रेशन के बाद महत्वपूर्ण लैंडिंग पेज और वे URL शामिल करें जिन्हें रीडायरेक्ट होना चाहिए। छोटा प्रतिनिधि बैच अलग-अलग पेज प्रकारों का व्यवहार तुलना करने में मदद करता है; इससे पूरी वेबसाइट का व्यवहार एक जैसा होना साबित नहीं होता।
तय करें कि किन पेजों को खोज में आने के योग्य होना चाहिए और किन्हें जानबूझकर बाहर रखा गया है। उदाहरण के लिए, सार्वजनिक प्रोडक्ट पेज और धन्यवाद पेज की जरूरतें अलग हो सकती हैं। noindex चेतावनी पर तब ध्यान दें जब वह उस जरूरत के विरुद्ध हो, केवल इसलिए नहीं कि उसमें चेतावनी का आइकन है।
पूरे HTTP या HTTPS URL चिपकाएँ, हर पंक्ति में एक, और 20 से अधिक गैर-खाली पंक्तियाँ न दें। सामान्यीकृत होने के बाद दोहराए गए URL एक बार जाँचे जाते हैं, लेकिन सीमा से बड़ी सूची भेजने से पहले डुप्लिकेट हटाएँ। टूल दिए गए पतों की जाँच करता है; डोमेन के दूसरे पेज खोजता या साइटमैप आयात नहीं करता।
सामान्य घोषणाओं के साथ Googlebot-विशिष्ट घोषणाओं की व्याख्या करने के लिए Googlebot चुनें। सामान्य क्रॉलर का विकल्प सामान्य घोषणाओं पर ध्यान देता है। यह चुनाव बदलता है कि रिपोर्ट में कौन से निर्देश लागू होंगे। इससे अनुरोध वास्तविक Googlebot विज़िट नहीं बन जाता और यह साबित नहीं होता कि Google को समान रिस्पॉन्स मिलता है।
noindex, noindex नहीं मिला और अज्ञात नतीजे समझें
सारांश और फ़िल्टर देखे गए noindex नतीजे के अनुसार URL समूहित करते हैं। Noindex चेतावनी का अर्थ है कि लागू noindex निर्देश मिला। हरे Noindex नहीं मिला बैज का अर्थ है कि लागू स्रोत पूरी तरह पढ़े गए और ऐसा निर्देश नहीं मिला। अज्ञात का अर्थ है कि चेकर नकारात्मक नतीजा तय नहीं कर सका। हरा रंग इंडेक्स होने की पुष्टि नहीं करता, और तटस्थ अज्ञात बैज यह नहीं बताता कि पेज इंडेक्सिंग की अनुमति देता है।
नतीजे के साथ HTTP स्टेटस, अंतिम URL और साक्ष्य भी पढ़ें। यदि दिया गया URL रीडायरेक्ट होता है, तो निर्देश इस जाँच में पहुँचे अंतिम रिस्पॉन्स के होते हैं। अकेला स्टेटस कोड नहीं बताता कि robots घोषणा मौजूद है या नहीं। अलग nofollow मान भी देखें; सारांश दोनों निर्देशों का संयुक्त स्कोर नहीं है।
ये उदाहरण दिखाते हैं कि पेज के उद्देश्य से अगला कदम कैसे बदलता है। ये किसी वास्तविक वेबसाइट के स्कैन के नतीजे नहीं हैं।
| पेज का उद्देश्य | पढ़े गए साक्ष्य | क्या करें |
|---|---|---|
| सार्वजनिक प्रोडक्ट खोज में आना चाहिए | लागू noindex मिला |
उसका टैग या हेडर खोजें और अनचाहे बहिष्करण की जाँच करें |
| धन्यवाद पेज खोज से बाहर रहना चाहिए | जानबूझकर लगाया गया noindex मिला |
पुष्टि करें कि घोषणा और क्रॉलर का दायरा जरूरत के अनुरूप हैं |
| सार्वजनिक लेख खोज में आना चाहिए | noindex नहीं; स्रोत पूरी तरह पढ़े गए |
लेख खोज में नहीं है तो अन्य इंडेक्सिंग जाँच करें |
| कोई भी पेज, स्रोत पढ़ा नहीं जा सका | noindex की पुष्टि नहीं; कवरेज अधूरी |
निर्देश बदलने से पहले गायब साक्ष्य की जाँच करें |
आंशिक रिस्पॉन्स से भी निश्चित सकारात्मक नतीजा मिल सकता है: पढ़े जा सकने वाले हेडर में noindex मौजूद हो, तो HTML न पढ़े जाने पर भी वह साक्ष्य है। उलटा निष्कर्ष निकालने के लिए पर्याप्त कवरेज चाहिए। PDF या दूसरे गैर-HTML संसाधन के लिए HTML कवरेज लागू नहीं हो सकती है; प्रासंगिक स्रोत उसका रिस्पॉन्स हेडर है। लागू नहीं और अनुपलब्ध अलग स्थितियाँ बताते हैं।
HTML टैग और X-Robots-Tag साथ जाँचें
HTML टैग और रिस्पॉन्स हेडर अलग निर्देश दे सकते हैं। उदाहरण के लिए, मान लें अंतिम HTML में है:
<meta name="robots" content="index, follow">
उसके रिस्पॉन्स में यह भी है:
X-Robots-Tag: noindex
HTML में index जोड़ने से लागू हेडर का noindex निष्प्रभावी नहीं होता। Google का robots निर्देश संदर्भ समझाता है कि कई घोषणाएँ कैसे मिलकर लागू होती हैं और प्रतिबंधात्मक निर्देश टकराव कैसे सुलझाते हैं। इस उदाहरण में बार-बार HTML टैग बदलने के बजाय हेडर की सेटिंग देखें। रिपोर्ट हर घोषणा का स्रोत, क्रॉलर और मूल मान सुरक्षित रखती है, ताकि प्रासंगिक निर्देश मिल सके।
दायरा भी महत्वपूर्ण है। index, follow वाला सामान्य robots टैग और noindex वाला googlebot टैग साथ मौजूद हो सकते हैं। Googlebot चुनने पर विशिष्ट बहिष्करण शामिल होता है; सामान्य विकल्प सामान्य घोषणाएँ देखता है। इसलिए नतीजे अलग हो सकते हैं, जबकि कोई भी जाँच वास्तविक Google इंडेक्सिंग का माप नहीं है।
संक्षिप्त none का अर्थ noindex और nofollow दोनों है। अन्य घोषणाओं की अधिक विस्तृत व्याख्या जरूरी हो सकती है: उदाहरण के लिए, indexifembedded दूसरी जगह एम्बेड किए गए कॉन्टेंट से संबंधित है। यह बैच सारांश दो संकेत दर्ज करता है; हर निर्देश, एम्बेड करने की स्थिति या खोज सुविधा पर पूरा फैसला नहीं देता। अपवाद की जाँच करते समय मूल साक्ष्य सुरक्षित रखें।
nofollow को इंडेक्सिंग से अलग रखें
Noindex पेज को खोज नतीजों में शामिल करने से संबंधित है। पेज-स्तर का nofollow उस पेज के लिंक का अनुसरण करने से संबंधित है। noindex, follow घोषणा अपने आप में विरोधाभासी नहीं है: मालिक पेज को बाहर रखना चाह सकता है, लेकिन उसके लिंक खोजे जाने के लिए उपलब्ध रखना चाह सकता है। हर सीमित करने वाले निर्देश को गलती मानने के बजाय पेज के उद्देश्य के अनुसार इन चुनावों की समीक्षा करें।
बैच चेकर पेज-स्तर की घोषणाएँ रिपोर्ट करता है। यह हर लिंक का rel="nofollow", sponsored या ugc एट्रिब्यूट नहीं जाँचता। इसलिए पेज-स्तर के nofollow के लिए «नहीं» नतीजा यह तय नहीं करता कि हर अलग लिंक कैसे चिह्नित है।
लिंक की पहचान के लिए Google की गाइड यह भी बताती है कि लिंक किए गए URL दूसरे स्रोतों से खोजे जा सकते हैं। यहाँ nofollow देखा जाना साबित नहीं करता कि उन गंतव्यों को कभी क्रॉल या इंडेक्स नहीं किया जाएगा। यदि सवाल इस पेज के अपने बहिष्करण का है, तो उसके noindex साक्ष्य पर लौटें।
निर्देश बदलने से पहले अज्ञात नतीजों की जाँच करें
टैग गायब होने का अनुमान लगाने के बजाय कवरेज और साक्ष्य से शुरू करें। असफल अनुरोध, अपठनीय दस्तावेज़ या असमर्थित घोषणा चेकर को फैसला लेने से रोक सकती है। अंतिम URL उपलब्ध हो तो देखें कि वह अपेक्षित गंतव्य ही है। लॉगिन पेज पर रीडायरेक्ट या पहुँच अस्वीकार करने वाला रिस्पॉन्स मूल पेज के सामान्य सार्वजनिक कॉन्टेंट का साक्ष्य नहीं है।
यह चेकर HTTP रिस्पॉन्स पढ़ता है; रेंडर किया हुआ पेज बनाने के लिए JavaScript नहीं चलाता। स्क्रिप्ट चलने के बाद ही जुड़ने वाले निर्देश इस दृश्य से बाहर हैं। इसी तरह, लॉगिन माँगने वाला, स्वचालित पहुँच रोकने वाला या विज़िटर के अनुसार रिस्पॉन्स बदलने वाला पेज ब्राउज़र में दिखने वाला कॉन्टेंट उपलब्ध नहीं करा सकता। अज्ञात पंक्ति को केवल हरा करने के लिए उपयोगी निर्देश न हटाएँ। पहले तय करें कि वास्तव में क्या पढ़ा जा सका, फिर सार्वजनिक रिस्पॉन्स उपलब्ध होने पर दोबारा प्रयास करें।
जब किसी एक URL की घोषणाओं और अपवादों को विस्तार से देखना हो, तो Noindex Checker इस्तेमाल करें। उस पेज की अलग जाँच करते समय बैच नतीजे को तुलना के रिकॉर्ड के रूप में रखें।
क्रॉल की अनुमति अलग सवाल है। यह टूल robots.txt नहीं पढ़ता; रास्तों के उन नियमों के लिए Robots.txt Tester इस्तेमाल करें। पेज का noindex निर्देश देखने के लिए Google को पेज तक पहुँच चाहिए। इसलिए क्रॉल ब्लॉक और बहिष्करण साथ लगाने पर अलग पहुँच जाँच जरूरी है, भले ही यह चेकर URL प्राप्त कर सके।
निष्कर्ष निर्यात करें और वही पेज दोबारा जाँचें
CSV डाउनलोड करने से पहले उस समूह को फ़िल्टर करें जिसकी जाँच करनी है। CSV में दिखाई दे रही पंक्तियों का URL और स्टेटस वर्गीकरण होता है। यह संक्षिप्त कार्य सूची है, robots साक्ष्य का पूरा निर्यात नहीं: हर मूल घोषणा, nofollow मान या रिस्पॉन्स का पूरा विवरण इसमें नहीं होता। प्राप्तकर्ता को विस्तृत साक्ष्य और कवरेज की जानकारी चाहिए तो पूरा रिपोर्ट JSON में डाउनलोड करें।
दोहराई जा सकने वाली सुधार प्रक्रिया के लिए:
- दिए गए URL, चुना हुआ क्रॉलर दायरा और मूल रिपोर्ट साथ रखें। निष्कर्षों के साथ हर पेज का अपेक्षित व्यवहार लिखें।
- घोषणा का स्रोत खोजें। अनचाहा HTML टैग संबंधित पेज या टेम्पलेट में सुधारें; अनचाहा हेडर उसे प्रकाशित करने वाली सेटिंग में सुधारें। जानबूझकर किए गए बहिष्करण बनाए रखें।
- अपडेट किए गए सार्वजनिक रिस्पॉन्स उपलब्ध होने पर वही बैच और दायरा दोबारा चलाएँ। गिनती के साथ मूल साक्ष्य भी तुलना करें; कुल संख्या समान होने पर भी URL का समूह अलग हो सकता है।
- बची हुई अज्ञात पंक्तियों की अलग जाँच करें, उन्हें हल हुई न गिनें।
यदि बदला हुआ रिस्पॉन्स सही है लेकिन Google का नतीजा नहीं बदला, तो यह क्षणिक निरीक्षण अकेले उसकी प्रोसेसिंग स्थिति नहीं समझा सकता। Google की noindex समस्या समाधान गाइड Google को क्या मिला, यह देखने के लिए URL Inspection और Page Indexing रिपोर्ट की ओर भेजती है। सफल दोबारा जाँच अभी देखे गए रिस्पॉन्स की पुष्टि करती है, तुरंत नए क्रॉल या निश्चित खोज नतीजे की नहीं।