Screpy-এর Noindex Checker একটি URL-এর পাওয়া HTML এবং X-Robots-Tag response header-এ ইনডেক্সিং নির্দেশ পরীক্ষা করে। নির্দেশটি কী, কোথা থেকে এসেছে এবং Google web search-এ প্রযোজ্য কি না দেখায়। অনিচ্ছাকৃত বাধা খুঁজতে বা ইচ্ছাকৃত নিয়ম নিশ্চিত করতে প্রমাণগুলো ব্যবহার করুন। টুল যে উত্তর পেয়েছে তা জানায়, Google পৃষ্ঠাটি ইনডেক্স করেছে কি না নয়।
Google-এর ইনডেক্স নয়, শেষ উত্তর পরীক্ষা করুন
সম্পূর্ণ প্রকাশ্য HTTP বা HTTPS URL দিয়ে পরীক্ষা চালান। Screpy সর্বোচ্চ পাঁচটি রিডাইরেক্ট অনুসরণ করে শেষ উত্তর দেখে। চাওয়া ও শেষ ঠিকানা মিলিয়ে নিন: পুরোনো পণ্যের URL বিভাগে গেলে নির্দেশগুলো সেই বিভাগের উত্তরের, পুরোনো পণ্যের আগের HTML-এর নয়।
HTML হলে robots ও Googlebot meta tag-এর পাশাপাশি header পড়া হয়। PDF বা অন্য non-HTML রিসোর্সে HTML tag প্রযোজ্য নয়, কিন্তু X-Robots-Tag header নির্দেশ দিতে পারে। PDF-এর HTML উৎসে “প্রযোজ্য নয়” মানে ব্যর্থ fetch নয়।
টুল JavaScript চালায় না, robots.txt পড়ে না বা Google-এর ইনডেক্স খোঁজে না। বিভিন্ন দর্শক ও crawler-এর সব উত্তরও পুনরায় তৈরি করে না। সফল পরীক্ষার অনুরোধ শুধু তার পাওয়া উত্তর দেখায়। আসল crawl access, rendering-এর পরিবর্তন এবং নথিভুক্ত index status আলাদা যাচাই দরকার।
Google web search-এ প্রযোজ্য নির্দেশটি খুঁজুন
উৎস, মূল মান, crawler-এর পরিধি ও প্রযোজ্যতা একসঙ্গে পড়ুন। সাধারণ robots এবং Googlebot-এর নির্দিষ্ট নির্দেশ দুটোই কার্যকর হতে পারে। শুধু অন্য crawler-এর নিয়ম স্বয়ংক্রিয়ভাবে Google web search-এ বাধা নয়।
নিচের কাল্পনিক উদাহরণ দেখায় কেন আশ্বস্ত করে এমন একটি মানই যথেষ্ট নয়। এটি বাস্তব সাইটের স্ক্যান নয়।
| দেখা উৎস | উদাহরণ মান | এই পরীক্ষায় অর্থ |
|---|---|---|
| HTML robots meta tag | index, follow | শুধু এই নির্দেশে noindex নেই |
| HTML Googlebot meta tag | noindex | সাধারণ index থাকা সত্ত্বেও Google web-এ প্রযোজ্য |
| X-Robots-Tag header | noindex | আরেকটি প্রযোজ্য উৎস; HTML মুছলে এটি যায় না |
| otherbot-এর header | otherbot: noindex | এই পরীক্ষার Google web পরিধির বাইরে প্রমাণ হিসেবে দেখানো হয় |
প্রথম তিনটি একসঙ্গে থাকলে নতুন index যোগ করে প্রযোজ্য noindex বাতিল হয় না। Google-এর robots specification পরস্পরবিরোধী নিয়মে সীমাবদ্ধ নির্দেশের প্রয়োগ বোঝায়। none-এ noindex ও nofollow দুটোই আছে। শুধু nofollow আলাদা নির্দেশ; পৃষ্ঠায় noindex আছে বোঝায় না।
পার্সার body-র robots meta tag-ও খুঁজে পায়। ভুল স্থানে থাকা tag পরিষ্কার markup-এর জন্য head-এ নিন, কিন্তু body-তে থাকলেই অকার্যকর ভাববেন না। comment, script বা template content-এর নমুনা tag এখানে সক্রিয় নির্দেশ হিসেবে ধরা হয় না।
ফলের সঙ্গে পরীক্ষার পরিধি পড়ুন
“Noindex পাওয়া গেছে” মানে প্রযোজ্য নির্দেশ দেখা হয়েছে। অন্য উৎস পুরো পড়া না গেলেও এই ইতিবাচক প্রমাণ কার্যকর থাকতে পারে। এর অর্থ Google ইতিমধ্যে নির্দেশ প্রক্রিয়াকরণ করেছে বা সেটি ভুল করে দেওয়া হয়েছে নয়।
“Noindex পাওয়া যায়নি” বলার জন্য প্রাসঙ্গিক উৎস পুরো পরীক্ষা হতে হবে। সবুজ তাই দেখা উত্তরে নির্দেশটি নেই বোঝায়; crawl, canonical নির্বাচন বা indexing-এর নিশ্চয়তা নয়। “অজানা” মানে প্রমাণ দিয়ে অনুপস্থিতি নিশ্চিত করা যাচ্ছে না। আংশিক বা অপ্রাপ্য উৎসকে সফল না ধরে বিবরণ পড়ুন।
২ MiB-এর বড় উত্তর পড়ার মতো প্রমাণ রেখে সম্পূর্ণ পরীক্ষা আটকাতে পারে। ১০০টি নির্দেশের সীমা, অপাঠ্য encoding বা অস্পষ্ট syntax-ও পরিধি কমায়। অনুপস্থিতি বলার আগে access বা ব্যাখ্যার সমস্যা ঠিক করে আবার পরীক্ষা করুন।
বিশেষ ফল আলাদা দেখুন। noindex-এর সঙ্গে indexifembedded থাকলে অন্য পৃষ্ঠায় বসানো বিষয়বস্তু Google ইনডেক্স করতে পারে; এটি পৃষ্ঠার noindex সাধারণভাবে বাতিল করে না। unavailable_after একটি মেয়াদশেষের নিয়ম, যার তারিখ আলাদা যাচাই লাগে। ভুল বা অনিশ্চিত তারিখকে নিশ্চিত মেয়াদশেষ ধরা হয় না এবং তা noindex ফলের বিকল্প নয়।
উৎস ঠিক করে প্রকাশিত URL আবার দেখুন
আগে ঠিক করুন পৃষ্ঠাটি সার্চে আসা উচিত কি না। checkout বা অভ্যন্তরীণ সার্চ পৃষ্ঠায় ইচ্ছাকৃত noindex থাকতে পারে। নির্দেশটি লগইন বা গোপন তথ্যের সুরক্ষা নয়; access control-এর বিকল্প করবেন না।
অপ্রত্যাশিত HTML নির্দেশের জন্য পৃষ্ঠার SEO setting, template ও tag তৈরি করা shared setting দেখুন। header হলে সেটি যোগ করা configuration বদলান। এক উৎস সম্পাদনা করলে অন্যটি যায় না। সংশোধন প্রকাশ করে আবার একই URL পরীক্ষা করুন; শেষ রিডাইরেক্ট গন্তব্যসহ সব প্রযোজ্য উৎস দেখুন।
Google-এর noindex নির্দেশিকা অনুযায়ী নির্দেশ পড়তে crawler-কে রিসোর্সে পৌঁছাতে হবে। robots.txt বাধা তা আটকাতে পারে; robots.txt-তে noindex Google সমর্থন করে না। crawl rule-এর জন্য Robots.txt Tester এবং canonical ঘোষণার জন্য Canonical Tag Checker ব্যবহার করুন।
প্রকাশিত উত্তর নিশ্চিত করার পর Search Console-এ নথিভুক্ত অবস্থা ও উপলব্ধ live check দেখুন। Google-কে পুনরায় crawl করে পরিবর্তন প্রক্রিয়াকরণ করতে হবে। noindex সরালেই অন্তর্ভুক্তি বা তাৎক্ষণিক সার্চে ফেরা নিশ্চিত নয়।
IndexNow সেটআপ আলাদাভাবে দেখতে IndexNow চেকার ব্যবহার করুন। এটি URL জমা না দিয়ে যাচাই ফাইল পড়ে ও চাবি মেলায়; সার্চ ইঞ্জিনের গ্রহণ বা ইনডেক্সিং নিশ্চিত করে না।