Screpy का AI Bot Access Tester किसी सटीक URL की robots.txt नीति नौ नामित bot या content-use control के लिए जाँचता है। यह AI खोज, मॉडल प्रशिक्षण और उपयोगकर्ता के कहने पर होने वाले दौरे अलग करता है, ताकि उद्देश्य के अनुसार नियम देखें। परिणाम प्रकाशित नीति बताता है, किसी वास्तविक bot का पेज तक पहुँचना, इंडेक्स करना या उद्धृत करना साबित नहीं करता।
सही URL और उसका origin जाँचें
डोमेन या पूरा सार्वजनिक HTTP/HTTPS URL दें। केवल डोमेन से मूल पथ जाँचा जाता है; पूरे पते का path और query नियम मिलाते समय बना रहता है। उत्पाद गाइड की चिंता हो तो होमपेज का परिणाम सभी जगह लागू मानने की बजाय वही गाइड जाँचें।
टूल दिए गए URL के origin से robots.txt लाता है। अलग subdomain और HTTP/HTTPS origin के अलग फ़ाइल हो सकते हैं। वास्तव में प्रकाशित पता जाँचें। स्रोत विवरण में robots.txt का माँगा गया पता, रीडायरेक्ट के बाद अंतिम पता और समय दिखता है। स्रोत के अधिकतम पाँच रीडायरेक्ट अनुसरण किए जाते हैं।
जाँचने के लिए अन्य होस्ट खोजने में सबडोमेन फ़ाइंडर इस्तेमाल करें और फिर हर संबंधित ओरिजिन की बॉट नीति अलग से जाँचें। प्रमाणपत्र रिकॉर्ड सक्रिय वेबसाइट या बॉट की वास्तविक पहुँच की पुष्टि नहीं करता।
पेज URL यहाँ नियम मिलाने का लक्ष्य है, सामग्री विश्लेषण का नहीं। robots.txt मिल जाने से लेख का सुलभ या पढ़ने योग्य होना साबित नहीं होता। बदलाव से पहले-बाद तुलना में जाँचा हुआ पता परिणाम के साथ रखें।
AI खोज, प्रशिक्षण और उपयोगकर्ता के दौरे अलग रखें
प्रशिक्षण crawler ब्लॉक होना अपने आप खोज में मिलने की समस्या नहीं। हर पंक्ति को हरा करने से पहले उसका उद्देश्य पढ़ें। मौजूदा रिपोर्ट में नौ प्रविष्टियाँ हैं:
| उद्देश्य | रिपोर्ट की प्रविष्टियाँ | अर्थ |
|---|---|---|
| AI खोज | OAI-SearchBot, Claude-SearchBot, PerplexityBot | संबंधित खोज अनुभव में खोजे जाने के लिए ये पंक्तियाँ देखें |
| मॉडल प्रशिक्षण | GPTBot, ClaudeBot | प्रशिक्षण से बाहर रखना जानबूझकर और खोज नीति से अलग हो सकता है |
| उपयोगकर्ता के अनुरोध पर दौरा | ChatGPT-User, Claude-User, Perplexity-User | व्यवहार नोट पढ़ें; तीनों robots.txt को समान तरीके से नहीं मानते |
| सामग्री उपयोग नियंत्रण | Google-Extended | उपयोग का token, अलग HTTP crawler या Google ranking control नहीं |
OpenAI का crawler दस्तावेज़ OAI-SearchBot और GPTBot अलग बताता है तथा कहता है कि उपयोगकर्ता द्वारा शुरू ChatGPT-User अनुरोध पर robots.txt लागू न भी हो। खोज की अनुमति देकर प्रशिक्षण रोकना अलग नीति निर्णय है, विरोधाभास नहीं।
Anthropic की bot गाइड Claude के खोज, प्रशिक्षण और उपयोगकर्ता agent अलग करती है तथा robots.txt का पालन बताती है। Perplexity का दस्तावेज़ खोज वाले PerplexityBot को Perplexity-User से अलग करता है; बाद वाला उपयोगकर्ता के अनुरोध पर सामान्यतः robots.txt अनदेखा करता है।
Google का Google-Extended दस्तावेज़ सामग्री उपयोग बताता है और स्पष्ट करता है कि token Google Search में शामिल होने या ranking को प्रभावित नहीं करता। उस पंक्ति को Googlebot या Google की हर AI खोज सुविधा की जाँच न मानें। उद्देश्य और व्यवहार बदल सकते हैं; लंबे समय वाली नीति पर इन आधिकारिक स्रोतों को देखें।
लागू समूह और मेल खाता नियम पढ़ें
प्रमाण में bot, लागू समूह, मेल खाता Allow या Disallow और स्रोत की पंक्ति होती है। मेल खाता खास bot समूह wildcard समूह से पहले आता है। लागू नियमों में अधिक लंबा मेल खाता path जीतता है; समान विशिष्टता पर Allow जीतता है। मेल खाता प्रतिबंध नहीं होने का अर्थ है कि उस लक्ष्य के लिए लागू नीति में Disallow नहीं मिला। अलग Allow पंक्ति अनिवार्य नहीं।
काल्पनिक OAI-SearchBot समूह में /private/ के लिए Disallow और अधिक खास /private/public-guide/ के लिए Allow सोचें। गाइड खुली और /private/report/ बंद रह सकती है। सभी path रोकने वाला अलग GPTBot समूह जोड़ने से OAI-SearchBot के निर्णय नहीं बदलते। यह मिलान का उदाहरण है, साइट में चिपकाने की सुझाई नीति नहीं।
अज्ञात का अर्थ ब्लॉक नहीं। अनुपलब्ध स्रोत, अमान्य दस्तावेज़ या सीमा पार होने पर नीति अनिर्णीत रहती है। स्रोत सीमा 512 KiB है। robots.txt न मिले और 404 या 410 आए तो उस फ़ाइल में प्रतिबंध नहीं मिला, यह नहीं कि लॉगिन या अन्य नियंत्रण हट गए। बदलने से पहले स्रोत चेतावनी और पंक्ति निदान पढ़ें। अपने user agent या अधिक जाँच के लिए Robots.txt Tester इस्तेमाल करें।
केवल इच्छित नीति बदलें
AI खोज में मिलना उद्देश्य हो तो खोज bot की पंक्तियों और मिले प्रतिबंध से शुरू करें। हर Disallow मिटाने की बजाय प्रशिक्षण और निजी path के जानबूझकर लगाए प्रतिबंध रखें। सही origin की फ़ाइल बदलकर प्रकाशित करें और वही सटीक URL फिर जाँचें। बहुत व्यापक बदलाव पकड़ने के लिए ऐसा URL भी जाँचें जिसे बंद रहना चाहिए।
अनुमति वाली नीति वास्तविक पहुँच की जाँच नहीं। टूल नौ agent की तरह रिक्वेस्ट नहीं भेजता, traffic log नहीं देखता और authentication या server access rule सत्यापित नहीं करता। अनुमति वाली कुल पंक्तियाँ दृश्यता स्कोर नहीं और गायब फ़ाइल असीमित पहुँच की गारंटी नहीं।
HTTP प्रमाण Bulk HTTP Status Checker से अलग देखें; उसकी रिक्वेस्ट भी यह सिद्ध नहीं करती कि हर असली bot को क्या मिलता है। पेज के indexing निर्देश के लिए Noindex Checker इस्तेमाल करें। नीति, सफल fetch, indexing और उद्धरण के लिए चयन अलग प्रश्न हैं। एक नियम बदलने से traffic, सिफ़ारिश या उद्धरण की गारंटी नहीं मिलती।
फ़ाइल प्रकाशित करने से पहले llms.txt वैलिडेटर से Markdown संरचना और मिले लिंक जाँचें। वैकल्पिक HTTP जाँच सीमित लक्ष्य देखती है; किसी AI एजेंट द्वारा फ़ाइल पढ़े जाने का प्रमाण नहीं देती।
व्यापक स्रोत समीक्षा के लिए AI खोज तैयारी जाँच से पेज HTML, robots नीति और सीमित खोज फ़ाइलें साथ देखें। तकनीकी निष्कर्ष AI दृश्यता नहीं मापते और उद्धरण की गारंटी नहीं देते।