Screpy का मुफ़्त robots.txt जेनरेटर आपके क्रॉलर समूहों, Allow और Disallow नियमों तथा साइटमैप URL से एक सामान्य टेक्स्ट फ़ाइल बनाता है। नई फ़ाइल तैयार करने या पहले तय किए गए नियम दोबारा बनाने के लिए इसका इस्तेमाल करें। परिणाम कॉपी करें या robots.txt डाउनलोड करके अपनी वेबसाइट पर प्रकाशित करें।
जेनरेटर आपकी मौजूदा फ़ाइल नहीं पढ़ता, प्रकाशित URL की जांच नहीं करता और कोई बदलाव इंस्टॉल नहीं करता। काम कर रही व्यवस्था को बदलने से पहले उसकी कॉपी रखें और तय करें कि हर क्रॉलर किन पाथ का अनुरोध कर सके। सही सिंटैक्स वाली फ़ाइल भी आपकी वेबसाइट के लिए गलत नीति बता सकती है।
Robots.txt जेनरेटर कैसे इस्तेमाल करें
सामान्य नियमों के लिए * क्रॉलर समूह से शुरुआत करें। नियम जोड़ें, Allow या Disallow चुनें और / से शुरू होने वाला पाथ लिखें। उदाहरण के लिए, https://example.com/drafts/ के बजाय /drafts/ लिखें। दूसरा समूह तभी जोड़ें जब किसी खास क्रॉलर के लिए अलग नियम चाहिए हों।
आप अधिकतम 10 अलग क्रॉलर समूह, सभी समूहों में कुल 50 स्पष्ट नियम और 10 साइटमैप URL तय कर सकते हैं। ब्राउज़र की पूरी User-Agent स्ट्रिंग के बजाय Googlebot जैसा क्रॉलर का पहचान टोकन लिखें। केवल बड़े और छोटे अक्षरों का अंतर रखने वाले नाम इस टूल में अलग समूह नहीं माने जाते।
हर पूरा HTTP या HTTPS साइटमैप पता अलग पंक्ति में लिखें। देने के लिए कोई पता न हो तो यह फ़ील्ड खाली रखें। फ़ाइल बनाएं, चेतावनियां पढ़ें और परिणाम कॉपी या डाउनलोड करें। स्पष्ट नियम न रखने वाला समूह Allow: / बनाता है। इसलिए फ़ाइल में यह डिफ़ॉल्ट पंक्ति होने पर भी जोड़े गए नियमों की संख्या शून्य हो सकती है। ये जेनरेटर की सीमाएं हैं, robots.txt प्रोटोकॉल की नहीं।
अनुमति वाले अपवाद के साथ robots.txt का उदाहरण
यह काल्पनिक व्यवस्था ड्राफ़्ट फ़ोल्डर की क्रॉलिंग सीमित करती है, लेकिन उसके सार्वजनिक सबफ़ोल्डर को खुला रखती है। यह अपनी जरूरत के अनुसार बदलने का उदाहरण है, हर वेबसाइट के लिए सुझाई गई डिफ़ॉल्ट फ़ाइल नहीं।
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
इस समूह का इस्तेमाल करने वाले क्रॉलर के लिए अपेक्षित निर्णय हैं:
| URL पाथ | क्रॉल का निर्णय | कारण |
|---|---|---|
/products/blue-mug/ |
अनुमति है | कोई पाबंदी मेल नहीं खाती। |
/drafts/new-page/ |
अनुमति नहीं है | प्रतिबंधित फ़ोल्डर मेल खाता है। |
/drafts/public/style-guide/ |
अनुमति है | लंबा Allow पाथ अपवाद देता है। |
/drafts |
अनुमति है | इसमें /drafts/ का आखिरी स्लैश नहीं है। |
अगर आपका ऐप्लिकेशन फ़ोल्डर के दोनों रूप उपलब्ध कराता है, तो आखिरी पंक्ति अहम है। साइट के वास्तविक URL को स्लैश और क्वेरी के अलग रूपों के साथ जांचें। नियम का निर्णय फ़ाइल के अनुसार अनुमति बताता है; वह HTTP उपलब्धता या इंडेक्सिंग साबित नहीं करता। Sitemap पंक्ति फ़ाइल का पता बताती है और Disallow नियम को निरस्त नहीं करती।
वाइल्डकार्ड से सही पाथ मिलाएं
नियम को ऐसे URL पर जांचें जिसका मेल खाना चाहिए और ऐसे मिलते-जुलते URL पर भी, जिसे क्रॉल करने की अनुमति बनी रहनी चाहिए। पाथ में बड़े और छोटे अक्षर अलग होते हैं: /Catalog/ और /catalog/ एक नहीं हैं। गायब स्लैश या बहुत व्यापक प्रीफ़िक्स दूसरे पेजों को प्रभावित कर सकता है।
| पैटर्न | इस्तेमाल से पहले क्या जांचें |
|---|---|
/catalog |
यह शुरुआत का मिलान है; /catalogue/ भी मेल खाता है। |
/catalog/ |
इस फ़ोल्डर के अंदर के पाथ से मेल खाता है, अकेले /catalog से नहीं। |
/catalog$ |
बिल्कुल इसी अंत से मेल खाता है, /catalog/ या /catalog?sort=price से नहीं। |
/*.pdf$ |
छोटे अक्षरों वाले .pdf पर खत्म होने वाला URL मेल खाता है; एक्सटेंशन के बाद क्वेरी होने से अंत बदल जाता है। |
Robots Exclusion Protocol में * अक्षरों के क्रम और $ मिलान के अंत को दर्शाता है। सीधे लिखा # टिप्पणी शुरू करता है। URL का हिस्सा होने वाले हैश या स्पेस को बिना एनकोड किए पाथ में लिखने के बजाय एनकोड करें। पैटर्न इतने सीमित रखें कि उनका असर समझाया और जांचा जा सके। फ़ॉर्म आपके पैटर्न सुरक्षित रखता है; उनसे प्रभावित होने वाले हर URL की गणना नहीं करता।
हर क्रॉलर को नियमों का पूरा समूह दें
सामान्य समूह की पाबंदियां Googlebot के खास समूह में अपने आप नहीं जुड़तीं। उदाहरण के लिए:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
यहां Googlebot का समूह /previews/ को सीमित करता है, /drafts/ को नहीं। Googlebot के लिए दोनों फ़ोल्डर सीमित करने हों तो दोनों नियम उसी समूह में जोड़ें। Google की robots.txt विशिष्टताएं समूह चुनने और मिलान करने का तरीका समझाती हैं। समान विशिष्टता वाले विरोधी Allow और Disallow नियमों में Google Allow चुनता है। उसी नियम को फ़ाइल में नीचे ले जाने से उसे प्राथमिकता नहीं मिलती।
खास बॉट का समूह तभी जोड़ें जब आपको इच्छित अंतर पता हो। खोज, प्रशिक्षण और उपयोगकर्ता के अनुरोध पर जानकारी लाने वाले क्रॉलर अलग टोकन इस्तेमाल कर सकते हैं। एक समूह किसी सेवा की सारी गतिविधि नियंत्रित करता है, यह मानने के बजाय समर्थित बॉट के नियम AI Bot Access Tester में देखें।
कॉपी करने से पहले जेनरेटर की चेतावनियां पढ़ें
रिपोर्ट तीन स्थितियां दिखाती है जिनमें सोच-समझकर निर्णय लेना चाहिए। चेतावनी नियम दोबारा देखने का संकेत है; इसका अर्थ यह नहीं कि फ़ाइल बेकार है।
| चेतावनी | क्या जांचें |
|---|---|
| पूरी साइट के लिए Disallow | समूह में Disallow: / है। पुष्टि करें कि व्यापक पाबंदी जानबूझकर है और अधिक विशिष्ट Allow अपवाद भी देखें। |
| खास क्रॉलर का समूह | सामान्य समूह में स्पष्ट नियम हैं और दूसरे क्रॉलर का अपना समूह है। जांचें कि उसमें जरूरी पाबंदियां शामिल हैं। |
| एक पाथ पर Allow और Disallow | एक समूह में दोनों कार्रवाइयां समान पाथ इस्तेमाल करती हैं। अनचाहा विरोध हटाएं; समान विशिष्टता पर Google Allow को पसंद करता है। |
बिना चेतावनी वाला परिणाम वास्तविक क्रॉलिंग का ऑडिट नहीं है। ये जांच नहीं बतातीं कि कोई संसाधन पेज रेंडर करने के लिए जरूरी है, साइटमैप उपलब्ध है या हर पैटर्न इच्छित पेजों से मेल खाता है। पेज के लिए जरूरी स्टाइलशीट, स्क्रिप्ट और चित्र क्रॉल किए जा सकने चाहिए। किसी सामान्य टेम्पलेट में होने के कारण पूरे संसाधन फ़ोल्डर को ब्लॉक न करें।
Robots.txt प्रकाशित करें और वास्तविक रिस्पॉन्स जांचें
बदलने से पहले वर्तमान फ़ाइल संभालकर रखें। बने हुए टेक्स्ट को UTF-8 सामान्य टेक्स्ट संसाधन के रूप में बिल्कुल robots.txt नाम से प्रकाशित करें; अतिरिक्त .txt एक्सटेंशन न लगाएं। HTTPS पर www.example.com साइट के लिए https://www.example.com/robots.txt जांचें। /blog/robots.txt पूरे होस्ट के नियम तय नहीं करता। प्रोटोकॉल, होस्ट और पोर्ट अहम हैं।
WordPress, किसी दूसरे CMS या होस्ट किए गए वेबसाइट बिल्डर में पहले पता करें कि यह URL कौन उपलब्ध कराता है: कोई वास्तविक फ़ाइल, प्लगइन का रिस्पॉन्स या प्लेटफ़ॉर्म की सेटिंग। उसी स्रोत को अपडेट करें। दूसरी जगह एक और फ़ाइल रखने से प्रकाशित रिस्पॉन्स जरूरी नहीं बदलता। Screpy CMS के टेम्पलेट नहीं देता और आपकी ओर से फ़ाइल प्रकाशित नहीं करता।
प्रकाशन के बाद:
- लॉगिन किए बिना robots.txt का सही पता खोलें। पुष्टि करें कि लॉगिन स्क्रीन या HTML पेज के बजाय इच्छित टेक्स्ट मिलता है।
- महत्वपूर्ण अनुमत और प्रतिबंधित URL को Robots.txt Tester से जांचें। अपवाद और पाथ की अलग वर्तनी भी शामिल करें।
- अनपेक्षित रिस्पॉन्स HTTP Headers Checker में देखें और घोषित साइटमैप को अलग से Sitemap Checker में जांचें।
Google की फ़ाइल बनाने की गाइड अपलोड और सार्वजनिक पहुंच की जांच बताती है। क्रॉलर प्रकाशित फ़ाइल खोज लेते हैं; यहां डाउनलोड करना उसे सबमिट करना नहीं है। कैश की गई कॉपी के कारण बदलाव तुरंत दिखाई न भी दे।
इंडेक्सिंग या निजी पेजों के लिए सही नियंत्रण चुनें
क्रॉलिंग की पाबंदियां बताने के लिए robots.txt इस्तेमाल करें। अगर आप किसी सार्वजनिक पेज को Google खोज से बाहर रखना चाहते हैं, तो Google का noindex दस्तावेज़ पेज के meta टैग या HTTP रिस्पॉन्स हेडर का तरीका समझाता है। निर्देश पढ़ने के लिए Google को पेज तक पहुंचना जरूरी है। उसी URL को robots.txt में ब्लॉक करना इसे रोक सकता है। Google robots.txt में Noindex: पंक्ति का समर्थन नहीं करता।
समाधान चुनने से पहले मौजूदा निर्देश Noindex Checker में देखें। गोपनीय दस्तावेज़ या निजी परीक्षण साइट के लिए प्रमाणीकरण और उचित पहुंच नियंत्रण इस्तेमाल करें। न सार्वजनिक robots.txt और न noindex निर्देश सामग्री तक पहुंच सुरक्षित करते हैं। ज्यादा नियम बनाना सही नियंत्रण चुनने का विकल्प नहीं है।