Robots.txt टेस्टर जाँचता है कि वेबसाइट के नियम चुने गए क्रॉलर को किसी खास URL का अनुरोध करने की अनुमति देते हैं या नहीं। लाइव फ़ाइल जाँचें या मसौदा पेस्ट करें, फिर मेल खाने वाला समूह, निर्देश और पंक्ति देखें। परिणाम उन नियमों के अनुसार क्रॉल की अनुमति समझाता है; यह पुष्टि नहीं करता कि बॉट ने पेज देखा है या URL इंडेक्स हुआ है।
Robots.txt का स्रोत और URL चुनें
वेबसाइट अभी जो सार्वजनिक फ़ाइल दे रही है, उसे पढ़ने के लिए लाइव साइट इस्तेमाल करें। https://example.com, पाथ /products/item और जाँचने वाला क्रॉलर दर्ज करें। Screpy /robots.txt का अनुरोध करता है; जाँचा गया पेज प्राप्त नहीं करता और पूरी साइट क्रॉल नहीं करता।
अप्रकाशित मसौदे के लिए robots.txt पेस्ट करें इस्तेमाल करें। पेस्ट किए गए टेक्स्ट का विश्लेषण बिना अपलोड किए आपके ब्राउज़र में होता है। वेबसाइट का पता संदर्भ के तौर पर दें, ताकि टेस्टर लक्ष्य URL तय कर सके।
प्रोटोकॉल और होस्ट का नाम बिल्कुल सही रखें: https://example.com, http://example.com और https://www.example.com अलग ओरिजिन हैं। केवल डोमेन देने पर HTTPS इस्तेमाल होता है। जाँच का पूरा URL दर्ज की गई वेबसाइट के समान ओरिजिन का होना चाहिए; पाथ उसी के आधार पर पूरा होता है। / जाँचने से सिर्फ़ होमपेज का पाथ जाँचा जाता है। दूसरा URL जाँचते समय उसके वास्तविक बड़े और छोटे अक्षर तथा क्वेरी पैरामीटर बनाए रखें।
क्रॉलर का प्रीसेट चुनें या ब्राउज़र के पूरे user-agent हेडर की जगह ExampleBot जैसा कस्टम प्रोडक्ट टोकन दर्ज करें।
Robots.txt जाँच का परिणाम पढ़ें
स्थिति को उसके समर्थन में दी गई जानकारी के साथ पढ़ें, विशेष रूप से मेल खाने वाले समूह और हाइलाइट की गई पंक्ति को।
| स्थिति | अर्थ | क्या देखें |
|---|---|---|
| अनुमति है — हरा | मेल खाने वाला Allow नियम इस URL की अनुमति देता है। |
निर्णायक निर्देश और पंक्ति। |
| अवरुद्ध — लाल | मेल खाने वाला Disallow नियम इस URL को रोकता है। |
क्या पाथ और क्रॉलर आपकी मंशा के अनुसार हैं। |
| डिफ़ॉल्ट रूप से अनुमति है — नीला | कोई लागू पाथ नियम इस URL को सीमित नहीं करता। | चुना हुआ समूह और क्या उपयोग योग्य लाइव फ़ाइल मिली। |
| निर्धारित नहीं — पीला | लाइव जाँच नियम के आधार पर निर्णय स्थापित नहीं कर सकती। | स्रोत की प्रतिक्रिया या फ़ाइल प्राप्त करने की चेतावनी। |
लाइव जाँच में पहले robots.txt का URL और HTTP स्थिति देखें। यह टेस्टर 404, 403 और 429 को छोड़कर अन्य 4xx प्रतिक्रियाओं को ऐसे मानता है जैसे कोई प्रतिबंध प्रकाशित नहीं है। अनुरोध सीमा, सर्वर विफलता या अनसुलझा रीडायरेक्ट निर्णय को अनिर्धारित छोड़ते हैं; टाइमआउट परिणाम की जगह त्रुटि दिखा सकता है। इन स्थितियों से स्पष्ट Disallow साबित नहीं होता। वास्तविक क्रॉलर कैश की गई फ़ाइल इस्तेमाल कर सकते हैं या विफलताओं को अलग तरह से संभाल सकते हैं; Google अपने प्रतिक्रिया नियम बताता है।
अप्रत्याशित डिफ़ॉल्ट परिणाम पर भरोसा करने से पहले पार्सिंग की चेतावनियाँ देखें। गलत लिखा निर्देश या कोलन न होने से इच्छित नियम इस्तेमाल नहीं हो सकता है। Screpy अधिकतम शुरुआती 500 KiB प्रोसेस करता है और कटे हुए कंटेंट की सूचना देता है। कंटेंट कटने पर निर्णय प्रोसेस किए गए हिस्से के लिए होता है; बाद के नियम नहीं जाँचे गए हैं।
समझें कि कौन सा robots.txt नियम लागू होता है
क्रॉलर का विशिष्ट समूह User-agent: * से प्राथमिकता रखता है; दोनों समूहों के नियम एक साथ विरासत में नहीं मिलते। लागू समूह में सबसे लंबे मिलान वाला पाथ नियम प्रभावी होता है। समान विशिष्टता वाले Allow और Disallow नियम मेल खाने पर Allow लागू होता है। उसी विशिष्ट एजेंट के मेल खाने वाले समूह जोड़े जा सकते हैं, इसलिए दोहराए गए समूह भी देखें। ये सिद्धांत रोबोट एक्सक्लूज़न प्रोटोकॉल में बताए गए हैं।
यह उदाहरण नीति पेस्ट करें और नीचे दी गई जाँचों की तुलना करें:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| क्रॉलर | जाँचा गया पाथ | अपेक्षित परिणाम | कारण |
|---|---|---|---|
| Bingbot | /private/report |
अवरुद्ध | सभी पर लागू /private/ नियम मेल खाता है। |
| Bingbot | /private/help/guide |
अनुमति है | लंबा /private/help/ अपवाद प्रभावी होता है। |
| Googlebot | /private/report |
डिफ़ॉल्ट रूप से अनुमति है | उसके विशिष्ट समूह में कोई नियम मेल नहीं खाता; सामान्य प्रतिबंध विरासत में नहीं मिलता। |
| Googlebot | /preview/page |
अवरुद्ध | उसका विशिष्ट /preview/ नियम मेल खाता है। |
यह उदाहरण नियमों का मिलान दिखाता है, सुरक्षित निजी क्षेत्र नहीं। पाथ में बड़े और छोटे अक्षर अलग माने जाते हैं: /Private/ और /private/ अलग हैं। पाथ पैटर्न में * अक्षरों के क्रम से मेल खाता है और $ अंत को चिह्नित करता है। उदाहरण के लिए Disallow: /*.pdf$ का मिलान /guide.pdf से होता है, लेकिन /guide.pdf?download=1 से नहीं। मिलते-जुलते रूपों का परिणाम समान मानने के बजाय इस्तेमाल किए जाने वाले सटीक URL को जाँचें।
खोज और AI क्रॉलर अलग-अलग जाँचें
चुना हुआ प्रोडक्ट टोकन लागू नियम बदलता है। खोज इंजन की क्रॉलिंग की चिंता हो तो Googlebot और Bingbot अलग-अलग जाँचें। AI एजेंटों के लिए खोज, मॉडल प्रशिक्षण और उपयोगकर्ता के अनुरोध पर पेज प्राप्त करने को अलग समझें; यह न मानें कि एक नियम सबको कवर करता है।
उदाहरण के लिए OAI-SearchBot ChatGPT की खोज के लिए है, जबकि GPTBot वह कंटेंट क्रॉल करता है जो मॉडल प्रशिक्षण में इस्तेमाल हो सकता है। ChatGPT-User उपयोगकर्ता द्वारा शुरू की गई कुछ कार्रवाइयाँ संभालता है और OpenAI के क्रॉलर दस्तावेज़ों के अनुसार robots.txt नियम उन अनुरोधों पर लागू नहीं भी हो सकते हैं।
प्रीसेट चुनने पर उस टोकन को फ़ाइल के नियमों के अनुसार परखा जाता है। लाइव जाँच चुने हुए बॉट की पहचान का दावा नहीं करती, उसके अनुरोधों को प्रमाणित नहीं करती और यह साबित नहीं करती कि वह दिखाई गई नीति मानता है। उपयोगकर्ता द्वारा सक्रिय टोकन के लिए अवरुद्ध परिणाम नियम की व्याख्या है, अनुरोध बंद होने की गारंटी नहीं।
नियम सुधारें और लाइव फ़ाइल फिर जाँचें
संबंधित नियम में सबसे छोटा ज़रूरी बदलाव करें, फिर इच्छित प्रतिबंध और बनाए रखने वाला अपवाद दोनों जाँचें।
- वर्तमान फ़ाइल को पेस्ट मोड में कॉपी करें और उसी URL तथा क्रॉलर से अप्रत्याशित परिणाम दोहराएँ।
- मेल खाने वाला निर्देश या समूह सुधारें। प्रभावित पाथ और पास का ऐसा URL जाँचें जिसे अनुमति प्राप्त या अवरुद्ध रहना चाहिए।
- हर संबंधित क्रॉलर के लिए दोहराएँ। सफल Googlebot जाँच Bingbot या GPTBot का परिणाम तय नहीं करती।
- अपनी वेबसाइट पर फ़ाइल प्रकाशित करने के बाद लाइव मोड में आकर जाँचें दोहराएँ। पुष्टि करें कि प्राप्त फ़ाइल और मेल खाने वाली पंक्ति बदलाव दिखाती हैं। टूल की ताज़ा प्रतिक्रिया साबित नहीं करती कि वास्तविक क्रॉलर ने अपनी कैश की गई कॉपी अपडेट की है।
खोज से हटाना लक्ष्य हो तो केवल Disallow पर्याप्त नहीं है। Google को पेज क्रॉल करने में सक्षम होना चाहिए, ताकि वह उसका noindex निर्देश पढ़ सके। गोपनीय कंटेंट को प्रमाणीकरण से सुरक्षित रखें, robots.txt से नहीं। Google क्रॉल रोकने की सीमाएँ समझाता है। पेज के HTML और HTTP निर्देश, उनका स्रोत और Google वेब खोज पर लागू होना देखने के लिए Noindex जाँच इस्तेमाल करें।
रिपोर्ट Sitemap: घोषणाएँ भी सूचीबद्ध करती है; पता मिलना उसके XML को सत्यापित नहीं करता और न ही इंडेक्सिंग साबित करता है। उस अलग जाँच के लिए उसे साइटमैप चेकर में खोलें। क्रॉलर की पहुँच सही होने पर भी पेज की और जाँच चाहिए तो उसके पेज-स्तरीय SEO संकेत देखने के लिए ऑन-पेज SEO चेकर इस्तेमाल करें। AI क्रॉलर के नियमों की तुलना AI बॉट एक्सेस परीक्षक से करें। यह केवल robots.txt जाँचता है; वास्तविक पहुँच, इंडेक्सिंग या उद्धरण की पुष्टि नहीं करता।