AI खोज बॉट के नियम
डोमेन या पूरा HTTP/HTTPS URL दर्ज करें। पाथ और क्वेरी सुरक्षित रहते हैं; robots.txt उसी स्रोत से प्राप्त होता है। मेल खाने वाले विशिष्ट बॉट समूह को वाइल्डकार्ड पर प्राथमिकता मिलती है। लंबे मेल खाने वाले नियम पहले लागू होते हैं; समान विशिष्टता पर Allow जीतता है। अधिकतम पाँच रीडायरेक्ट का अनुसरण होता है।
AI खोज
OAI-SearchBot · Claude-SearchBot · PerplexityBot
AI खोज में दिखना चाहते हैं तो बदलाव से पहले मेल खाने वाला Disallow नियम देखें। केवल robots.txt नियमों की जाँच होती है। वास्तविक बॉट एक्सेस, इंडेक्सिंग या उद्धरण की पुष्टि नहीं होती।
मॉडल प्रशिक्षण
GPTBot · ClaudeBot
प्रशिक्षण बॉट को रोकना जानबूझकर लिया गया निर्णय हो सकता है। यह अपने आप SEO समस्या नहीं है।
उपयोगकर्ता के अनुरोध पर विज़िट
ChatGPT-User: उपयोगकर्ता के अनुरोध पर होने वाली विज़िट पर robots.txt लागू नहीं भी हो सकता है।
Claude-User उपयोगकर्ता के अनुरोध पर विज़िट में robots.txt का पालन करता है।
Perplexity-User: यह बॉट उपयोगकर्ता के अनुरोध पर विज़िट करते समय आम तौर पर robots.txt को अनदेखा करता है।
सामग्री के उपयोग का नियंत्रण
Google-Extended: यह सामग्री के उपयोग को नियंत्रित करता है, किसी अलग HTTP क्रॉलर या Google खोज को नहीं।
स्रोत
अनुपलब्ध उत्तर, अमान्य दस्तावेज़ या सीमा पार होने पर परिणाम अज्ञात होता है। 404 या 410 स्थिति में फ़ाइल न होने पर robots.txt प्रतिबंध न होने का अनुमान लगाया जाता है। robots.txt उत्तर की सीमा 512 KiB है।
Noindex जाँच · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
वह URL जाँचें जिसे खोजा जाना चाहिए
केवल होमपेज नहीं, सार्वजनिक लेख या उत्पाद का URL जाँचें। / की अनुमति देने वाला नियम /private/ की रोक के साथ मौजूद हो सकता है; परिणाम माँगे गए पथ पर निर्भर है। https://example.com/private/report/ के लिए रोक का उद्देश्य तय करने से पहले लागू समूह और मेल खाता नियम देखें।
रिपोर्ट अनुमति, रोक और अज्ञात नीति परिणाम अलग करती है। खोज में दिखाई देना लक्ष्य हो तो पहले खोज बॉट की पंक्तियाँ पढ़ें। हरा कुल हर श्रेणी की अनुमति या किसी उत्तर में सामग्री का उल्लेख सुनिश्चित नहीं करता।
खोज और प्रशिक्षण के निर्णय अलग रखें
OAI-SearchBot को अनुमति देकर GPTBot रोक सकते हैं। दोनों निर्णयों के उद्देश्य अलग हैं: खोज के लिए पेज उपलब्ध करने का अर्थ सभी प्रशिक्षण बॉट को समान अनुमति देना नहीं है। दूसरे बॉट के लिए भी यह अंतर महत्वपूर्ण है। हर यूज़र एजेंट का उद्देश्य उसके प्रकाशित दस्तावेज़ में जाँचें।
Robots.txt बदलने के बाद दोबारा जाँचें
जाँचे गए URL के ओरिजिन पर नियम बदलें, प्रकाशित करें और उसी URL को फिर जाँचें। बहुत व्यापक बदलाव पकड़ने के लिए प्रतिबंधित डायरेक्टरी के बाहर दूसरा URL भी देखें। सभी Disallow पंक्तियाँ हटाने के बजाय जानबूझकर लगाई रोक बनाए रखें।
नीति अनुमति देती हो लेकिन पहुँच विफल हो, तो प्रमाणीकरण, HTTP उत्तर और सर्वर प्रतिबंध अलग जाँचें। यह चेकर उन नियंत्रणों की पुष्टि नहीं करता। उत्तर के लिए बुल्क HTTP स्टेटस चेकर और इंडेक्सिंग निर्देशों के लिए Noindex चेकर इस्तेमाल करें।