AI অনুসন্ধান বটের নিয়ম
ডোমেইন বা সম্পূর্ণ HTTP/HTTPS URL লিখুন। পাথ ও কোয়েরি সংরক্ষিত থাকে; ওই উৎস থেকে robots.txt আনা হয়। নির্দিষ্ট বটের মিলে যাওয়া গ্রুপ ওয়াইল্ডকার্ডের চেয়ে অগ্রাধিকার পায়। দীর্ঘতর মিলে যাওয়া নিয়ম প্রাধান্য পায়; সমান নির্দিষ্টতায় Allow কার্যকর হয়। সর্বোচ্চ পাঁচটি পুনর্নির্দেশ অনুসরণ করা হয়।
AI অনুসন্ধান
OAI-SearchBot · Claude-SearchBot · PerplexityBot
AI অনুসন্ধানে পাওয়া যেতে চাইলে পরিবর্তনের আগে মিলে যাওয়া Disallow নিয়মটি পর্যালোচনা করুন। শুধু robots.txt নিয়ম পরীক্ষা করা হয়। প্রকৃত বট অ্যাক্সেস, ইনডেক্সিং বা উদ্ধৃতি নিশ্চিত করা হয় না।
মডেল প্রশিক্ষণ
GPTBot · ClaudeBot
প্রশিক্ষণ বটকে ইচ্ছাকৃতভাবে অবরুদ্ধ করা হতে পারে। এটি স্বয়ংক্রিয়ভাবে SEO সমস্যা নয়।
ব্যবহারকারীর অনুরোধে ভিজিট
ChatGPT-User: ব্যবহারকারীর অনুরোধে ভিজিটের ক্ষেত্রে robots.txt প্রযোজ্য নাও হতে পারে।
Claude-User ব্যবহারকারীর অনুরোধে ভিজিটের সময় robots.txt মেনে চলে।
Perplexity-User: এই বট ব্যবহারকারীর অনুরোধে ভিজিটের সময় সাধারণত robots.txt উপেক্ষা করে।
কনটেন্ট ব্যবহারের নিয়ন্ত্রণ
Google-Extended: এটি কনটেন্টের ব্যবহার নিয়ন্ত্রণ করে, আলাদা HTTP ক্রলার বা Google অনুসন্ধান নয়।
উৎস
অনুপলব্ধ উত্তর, অবৈধ নথি বা সীমা অতিক্রম করলে ফল অজানা হয়। 404 বা 410 স্ট্যাটাসে ফাইল না থাকলে robots.txt বাধা নেই বলে ধরা হয়। robots.txt উত্তরের সীমা 512 KiB।
Noindex পরীক্ষক · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
যে URL আবিষ্কৃত হোক চান, সেটি পরীক্ষা করুন
শুধু হোমপেজ নয়, প্রকাশ্য নিবন্ধ বা পণ্যের URL পরীক্ষা করুন। / অনুমোদনকারী নিয়মের পাশাপাশি /private/-এ নিষেধাজ্ঞা থাকতে পারে; ফল চাওয়া পথের ওপর নির্ভর করে। https://example.com/private/report/-এর ক্ষেত্রে ব্লকটি ইচ্ছাকৃত কি না বোঝার আগে প্রযোজ্য গ্রুপ ও মিলে যাওয়া নিয়ম দেখুন।
রিপোর্ট অনুমোদিত, ব্লক করা ও অজানা নীতিগত ফল আলাদা করে। আবিষ্কৃত হওয়া লক্ষ্য হলে আগে অনুসন্ধান বটের সারিগুলো পড়ুন। সবুজ মোট মানেই সব বটের অনুমতি বা কোনো উত্তরে কনটেন্টের উল্লেখ নিশ্চিত নয়।
অনুসন্ধান ও প্রশিক্ষণের সিদ্ধান্ত আলাদা রাখুন
OAI-SearchBot অনুমোদন করেও GPTBot ব্লক করতে পারেন। সিদ্ধান্তগুলোর উদ্দেশ্য আলাদা: অনুসন্ধানের জন্য পৃষ্ঠা উন্মুক্ত করতে সব প্রশিক্ষণ বটকে একইভাবে অনুমতি দিতে হয় না। অন্য বটের ক্ষেত্রেও এই পার্থক্য গুরুত্বপূর্ণ। প্রতিটি ইউজার এজেন্টের উদ্দেশ্য তার প্রকাশিত নথিতে নিশ্চিত করুন।
Robots.txt বদলানোর পরে আবার পরীক্ষা করুন
পরীক্ষিত URL-এর অরিজিনে নিয়ম বদলে প্রকাশ করুন এবং একই URL আবার পরীক্ষা করুন। অতিরিক্ত বিস্তৃত পরিবর্তন ধরতে নিষিদ্ধ ডিরেক্টরির বাইরের দ্বিতীয় URL-ও দেখুন। সব Disallow লাইন মুছে না দিয়ে ইচ্ছাকৃত নিষেধাজ্ঞা রাখুন।
নীতি অনুমতি দিলেও অ্যাক্সেস ব্যর্থ হলে লগইন, HTTP রেসপন্স ও সার্ভারের নিষেধাজ্ঞা আলাদাভাবে দেখুন। এই পরীক্ষক সেগুলো যাচাই করে না। রেসপন্সের জন্য বাল্ক HTTP স্ট্যাটাস পরীক্ষক এবং ইনডেক্সিং নির্দেশনার জন্য Noindex পরীক্ষক ব্যবহার করুন।