मुफ़्त Robots.txt टेस्टर और वैलिडेटर

robots.txt टेस्टर किसी क्रॉलर के user-agent और URL की तुलना robots.txt फ़ाइल के नियमों से करता है। यह बताता है कि क्रॉल करने की अनुमति है या नहीं, कौन सा user-agent समूह लागू होता है और यदि कोई नियम मेल खाता है तो वह सटीक नियम कौन सा है।

इसका मतलब है कि टेस्टर को URL ब्लॉक करने वाला कोई लागू नियम नहीं मिला। ऐसा तब हो सकता है जब कोई user-agent समूह मेल न खाए, मेल खाने वाले समूह में संबंधित नियम न हो या इस्तेमाल योग्य robots.txt फ़ाइल मौजूद न हो।

प्रमुख क्रॉलर आम तौर पर अधिकांश 4xx प्रतिक्रियाओं को ऐसे मानते हैं जैसे कोई क्रॉल प्रतिबंध प्रकाशित नहीं किया गया हो। 429 प्रतिक्रिया अलग है क्योंकि यह अस्थायी अनुरोध सीमा का संकेत देती है, इसलिए टेस्टर लाइव स्थिति को अनिर्धारित बताता है।

अपने आप नहीं। Robots.txt क्रॉलिंग नियंत्रित करता है, इंडेक्सिंग नहीं। ब्लॉक किया गया URL फिर भी लिंक के माध्यम से मिल सकता है और पूरे स्निपेट के बिना खोज परिणामों में दिखाई दे सकता है। खोज परिणामों से हटाना उद्देश्य हो तो क्रॉल किए जा सकने वाले पेज पर उपयुक्त noindex निर्देश इस्तेमाल करें।