Screpy-এর AI Bot Access Tester নির্দিষ্ট URL-এর robots.txt নীতি নয়টি নামযুক্ত bot বা content-use control-এর জন্য পরীক্ষা করে। AI সার্চ, মডেল প্রশিক্ষণ এবং ব্যবহারকারীর অনুরোধের ভিজিট আলাদা করে আপনার উদ্দেশ্যের নিয়মটি দেখতে সাহায্য করে। ফল প্রকাশিত নীতি দেখায়; বাস্তব bot পৃষ্ঠায় পৌঁছেছে, ইনডেক্স করেছে বা উদ্ধৃতি দিয়েছে তার প্রমাণ নয়।
সঠিক URL ও তার origin পরীক্ষা করুন
ডোমেইন বা সম্পূর্ণ প্রকাশ্য HTTP/HTTPS URL দিন। শুধু ডোমেইন দিলে মূল পথ পরীক্ষা হয়; পূর্ণ ঠিকানার path ও query নিয়ম মেলানোর সময় থাকে। পণ্যের গাইড নিয়ে প্রশ্ন হলে হোমপেজের ফল সর্বত্র ধরে না নিয়ে গাইডটি পরীক্ষা করুন।
টুল দেওয়া URL-এর origin থেকে robots.txt আনে। আলাদা subdomain এবং HTTP/HTTPS origin-এর আলাদা ফাইল থাকতে পারে। যে ঠিকানা প্রকাশ করেন সেটিই দেখুন। উৎসের বিবরণে robots.txt-এর চাওয়া ঠিকানা, রিডাইরেক্টের পরের ঠিকানা ও পরীক্ষার সময় থাকে। উৎসের সর্বোচ্চ পাঁচটি রিডাইরেক্ট অনুসরণ হয়।
পর্যালোচনার জন্য অন্য হোস্ট খুঁজতে সাবডোমেইন ফাইন্ডার ব্যবহার করুন, তারপর প্রতিটি প্রাসঙ্গিক অরিজিনের বট নীতি আলাদাভাবে পরীক্ষা করুন। সার্টিফিকেটের নথি সচল ওয়েবসাইট বা বটের প্রকৃত প্রবেশাধিকার নিশ্চিত করে না।
পৃষ্ঠার URL এখানে নিয়ম মেলানোর লক্ষ্য, বিষয়বস্তু বিশ্লেষণের নয়। robots.txt পাওয়া গেলেই নিবন্ধ পৌঁছানো বা পড়া সম্ভব তা প্রমাণ হয় না। পরিবর্তনের আগে-পরে তুলনায় পরীক্ষিত ঠিকানা ফলের সঙ্গে রাখুন।
AI সার্চ, প্রশিক্ষণ ও ব্যবহারকারীর ভিজিট আলাদা করুন
প্রশিক্ষণের crawler আটকানো মানেই সার্চে আবিষ্কারের সমস্যা নয়। সব সারি সবুজ করার আগে কাজটি পড়ুন। বর্তমান প্রতিবেদনে নয়টি এন্ট্রি আছে:
| উদ্দেশ্য | প্রতিবেদনের এন্ট্রি | কীভাবে বুঝবেন |
|---|---|---|
| AI সার্চ | OAI-SearchBot, Claude-SearchBot, PerplexityBot | সংশ্লিষ্ট সার্চে আবিষ্কার চাইলে এই সারি দেখুন |
| মডেল প্রশিক্ষণ | GPTBot, ClaudeBot | প্রশিক্ষণ থেকে বাদ দেওয়া ইচ্ছাকৃত ও সার্চ নীতি থেকে আলাদা হতে পারে |
| ব্যবহারকারীর অনুরোধের ভিজিট | ChatGPT-User, Claude-User, Perplexity-User | আচরণের নোট পড়ুন; তিনটি robots.txt একইভাবে মানে না |
| বিষয়বস্তুর ব্যবহার নিয়ন্ত্রণ | Google-Extended | ব্যবহারের token, আলাদা HTTP crawler বা Google ranking control নয় |
OpenAI-এর crawler নথি OAI-SearchBot ও GPTBot আলাদা করে এবং বলে, ব্যবহারকারী শুরু করা ChatGPT-User অনুরোধে robots.txt নাও প্রযোজ্য হতে পারে। তাই সার্চ অনুমোদন করে প্রশিক্ষণ আটকানো আলাদা নীতিগত সিদ্ধান্ত, পরস্পরবিরোধী ফল নয়।
Anthropic-এর bot নির্দেশিকা Claude-এর সার্চ, প্রশিক্ষণ ও ব্যবহারকারী agent আলাদা করে এবং robots.txt মানার কথা বলে। Perplexity-এর নথি সার্চের PerplexityBot-কে Perplexity-User থেকে আলাদা করে; পরেরটি ব্যবহারকারীর অনুরোধে সাধারণত robots.txt উপেক্ষা করে।
Google-এর Google-Extended নথি content-use control বোঝায় এবং বলে, token Google Search-এ অন্তর্ভুক্তি বা ranking প্রভাবিত করে না। ওই সারি Googlebot বা Google-এর সব AI সার্চ সুবিধার পরীক্ষা নয়। কাজ ও আচরণ বদলাতে পারে; দীর্ঘদিনের নীতি পর্যালোচনায় মূল উৎসগুলো দেখুন।
প্রযোজ্য group ও মিলে যাওয়া rule পড়ুন
প্রমাণে bot, ব্যবহৃত group, মিলে যাওয়া Allow বা Disallow এবং উৎসের লাইন থাকে। নির্দিষ্ট bot-এর মিলে যাওয়া group wildcard group-এর আগে প্রাধান্য পায়। প্রযোজ্য নিয়মে দীর্ঘতর মিলে যাওয়া path অগ্রাধিকার পায়; সমান নির্দিষ্টতায় Allow জেতে। মিলে যাওয়া বাধা নেই মানে প্রযোজ্য নীতিতে ওই লক্ষ্যের Disallow পাওয়া যায়নি। আলাদা Allow লাইন থাকা বাধ্যতামূলক নয়।
কাল্পনিক OAI-SearchBot group-এ /private/ এর Disallow এবং আরও নির্দিষ্ট /private/public-guide/ এর Allow আছে ভাবুন। গাইড অনুমোদিত হলেও /private/report/ আটকানো থাকতে পারে। সব path আটকানো আলাদা GPTBot group যোগ করলে OAI-SearchBot-এর সিদ্ধান্ত বদলায় না। এটি মিল বোঝানোর উদাহরণ, সাইটে কপি করার প্রস্তাবিত নীতি নয়।
অজানা মানে আটকানো নয়। উৎস অপ্রাপ্য, নথি ভুল বা সীমা পেরোলে নীতি অনির্ধারিত থাকে। উৎসের সীমা ৫১২ KiB। robots.txt না থেকে 404 বা 410 এলে ওই ফাইলে বাধা পাওয়া যায়নি বোঝায়, login বা অন্য control নেই নয়। বদলানোর আগে warning ও line diagnosis পড়ুন। নিজস্ব user agent বা বিস্তারিত rule review-এর জন্য Robots.txt Tester ব্যবহার করুন।
শুধু কাঙ্ক্ষিত নীতিটিই বদলান
AI সার্চে আবিষ্কার চাইলে সার্চ bot-এর সারি ও মিলে যাওয়া বাধা আগে দেখুন। সব Disallow না মুছে প্রশিক্ষণ ও ব্যক্তিগত path-এর ইচ্ছাকৃত বাধা রাখুন। সঠিক origin-এর ফাইল সম্পাদনা ও প্রকাশ করে একই URL আবার দেখুন। অতিরিক্ত বিস্তৃত পরিবর্তন ধরতে আটকানো থাকার কথা এমন URL-ও পরীক্ষা করুন।
অনুমোদিত নীতি বাস্তব প্রবেশের পরীক্ষা নয়। টুল নয়টি agent হয়ে অনুরোধ পাঠায় না, bot traffic log পড়ে না বা authentication ও server access rule যাচাই করে না। অনুমোদিত সারির মোট সংখ্যা দৃশ্যমানতার স্কোর নয়; অনুপস্থিত ফাইল অবাধ প্রবেশের নিশ্চয়তা নয়।
HTTP উত্তর Bulk HTTP Status Checker দিয়ে আলাদা পরীক্ষা করুন; সেটির অনুরোধও সব আসল bot কী পায় প্রমাণ করতে পারে না। পৃষ্ঠার indexing instruction-এর জন্য Noindex Checker ব্যবহার করুন। নীতি, সফল fetch, indexing ও উদ্ধৃতির উৎস নির্বাচন আলাদা প্রশ্ন। একটি rule বদলালে traffic, সুপারিশ বা উদ্ধৃতির নিশ্চয়তা আসে না।
ফাইল প্রকাশের আগে llms.txt যাচাই টুল দিয়ে Markdown কাঠামো ও পাওয়া লিংক পরীক্ষা করুন। ঐচ্ছিক HTTP পরীক্ষা সীমিত গন্তব্য দেখে; কোনো AI এজেন্ট ফাইল পড়ে কি না তা প্রমাণ করে না।
বিস্তৃত উৎস পর্যালোচনায় AI সার্চ প্রস্তুতি পরীক্ষা দিয়ে পেজের HTML, robots নীতি ও সীমিত খোঁজ পাওয়ার ফাইল একসঙ্গে দেখুন। প্রযুক্তিগত ফল AI দৃশ্যমানতা মাপে না বা উদ্ধৃতি নিশ্চিত করে না।