সর্বোচ্চ ২০টি সর্বজনীন URL-এর noindex ও nofollow নির্দেশনা তুলনা করতে বাল্ক মেটা রোবটস চেকার ব্যবহার করুন। এটি HTML-এর robots ট্যাগ ও X-Robots-Tag রেসপন্স হেডার পড়ে, তারপর নির্বাচিত ক্রলারের পরিধি অনুযায়ী পর্যবেক্ষিত ফলাফল সাজায়। একাধিক পেজ টেমপ্লেটে অপ্রত্যাশিত বাদ দেওয়ার নির্দেশনা খুঁজতে বা পরিবর্তনের পর ইচ্ছাকৃত বাদ দেওয়া যাচাই করতে এটি কাজে আসে। চেকার যে রেসপন্স পড়তে পেরেছে, রিপোর্ট তা বর্ণনা করে; Google পেজগুলো ইনডেক্স করেছে কি না, তা নির্ধারণ করে না।
উপযোগী URL ব্যাচ ও ক্রলারের পরিধি বেছে নিন
যে পরিবর্তন যাচাই করতে চান, তার প্রভাব পড়েছে এমন পেজ দিয়ে শুরু করুন। পণ্যের টেমপ্লেট সম্পাদনার পর কয়েকটি পণ্যের URL ও একটি ক্যাটাগরি পেজ যোগ করুন। মাইগ্রেশনের পর গুরুত্বপূর্ণ ল্যান্ডিং পেজ এবং যেসব URL রিডাইরেক্ট হওয়ার কথা, সেগুলো যোগ করুন। ছোট একটি প্রতিনিধিত্বমূলক ব্যাচ দিয়ে পেজের ধরনগুলোর আচরণ তুলনা করা যায়; পুরো সাইট একইভাবে কাজ করছে কি না, তা প্রতিষ্ঠা করা যায় না।
কোন পেজ সার্চে আসার উপযোগী হওয়া উচিত এবং কোন পেজ ইচ্ছাকৃতভাবে বাদ দেওয়া হয়েছে, ঠিক করুন। যেমন, সর্বজনীন পণ্যের পেজ ও ধন্যবাদ জানানোর পেজের প্রয়োজন আলাদা হতে পারে। noindex সতর্কতা সেই প্রয়োজনের সঙ্গে বিরোধ করলে গুরুত্ব দিন; শুধু সতর্কতার আইকন আছে বলে নয়।
সম্পূর্ণ HTTP বা HTTPS URL দিন, প্রতি লাইনে একটি করে, সর্বোচ্চ ২০টি খালি নয় এমন লাইনে। স্বাভাবিকীকরণের পর একই URL একবার পরীক্ষা করা হয়, তবে সীমার বেশি তালিকা জমা দেওয়ার আগে ডুপ্লিকেট সরিয়ে নিন। টুল দেওয়া ঠিকানাগুলোই পরীক্ষা করে; ডোমেইনের আরও পেজ আবিষ্কার করে না বা সাইটম্যাপ আমদানি করে না।
সাধারণ ঘোষণা ও Googlebot-নির্দিষ্ট ঘোষণা একসঙ্গে ব্যাখ্যা করতে Googlebot বেছে নিন। সাধারণ ক্রলারের বিকল্পটি সাধারণ ঘোষণা বিবেচনা করে। এই নির্বাচন রিপোর্টে কোন নির্দেশনা প্রযোজ্য হবে, তা বদলায়। অনুরোধটি বাস্তব Googlebot-এর ভিজিটে পরিণত হয় না এবং Google অভিন্ন রেসপন্স পাচ্ছে, এমন প্রমাণও দেয় না।
noindex, noindex দেখা যায়নি এবং অজানা ফলাফল বুঝুন
সারসংক্ষেপ ও ফিল্টার পর্যবেক্ষিত noindex ফলাফলের ভিত্তিতে URL সাজায়। Noindex সতর্কতার অর্থ, প্রযোজ্য noindex নির্দেশনা পাওয়া গেছে। সবুজ Noindex দেখা যায়নি চিহ্নের অর্থ, প্রযোজ্য উৎসগুলো সম্পূর্ণ পড়ে এমন কোনো নির্দেশনা পাওয়া যায়নি। অজানা মানে চেকার একটি নেতিবাচক ফল নিশ্চিত করতে পারেনি। সবুজ রং ইনডেক্স হওয়ার নিশ্চয়তা নয়; নিরপেক্ষ অজানা চিহ্নও পেজ ইনডেক্স করার অনুমতি আছে বোঝায় না।
ফলাফলের পাশে HTTP স্ট্যাটাস, চূড়ান্ত URL ও প্রমাণ পড়ুন। জমা দেওয়া URL রিডাইরেক্ট হলে নির্দেশনাগুলো এই পরীক্ষায় পৌঁছানো চূড়ান্ত রেসপন্সের। শুধু স্ট্যাটাস কোড দেখে robots ঘোষণা আছে কি না বোঝা যায় না। আলাদা nofollow মানও পড়ুন; সারসংক্ষেপ দুই নির্দেশনার সম্মিলিত স্কোর নয়।
নিচের উদাহরণগুলো দেখায়, পেজের উদ্দেশ্য অনুযায়ী পরবর্তী পদক্ষেপ কীভাবে বদলায়। এগুলো কোনো বাস্তব সাইট স্ক্যানের ফল নয়।
| পেজের উদ্দেশ্য | পড়া প্রমাণ | করণীয় |
|---|---|---|
| সর্বজনীন পণ্যের পেজ সার্চে আসার কথা | প্রযোজ্য noindex পাওয়া গেছে |
ট্যাগ বা হেডার খুঁজে অনিচ্ছাকৃত বাদ দেওয়ার কারণ দেখুন |
| ধন্যবাদ জানানোর পেজ সার্চের বাইরে থাকার কথা | ইচ্ছাকৃত noindex পাওয়া গেছে |
ঘোষণা ও ক্রলারের পরিধি প্রয়োজনের সঙ্গে মেলে কি না নিশ্চিত করুন |
| সর্বজনীন নিবন্ধ সার্চে আসার কথা | noindex নেই; উৎস সম্পূর্ণ পড়া হয়েছে |
সার্চে নিবন্ধ না থাকলে ইনডেক্সিংয়ের অন্যান্য পরীক্ষা চালান |
| যেকোনো পেজ, উৎস পড়া যায়নি | নিশ্চিত noindex নেই; কভারেজ অসম্পূর্ণ |
নির্দেশনা বদলানোর আগে অনুপস্থিত প্রমাণ যাচাই করুন |
আংশিক রেসপন্স থেকেও নিশ্চিত ইতিবাচক ফল পাওয়া সম্ভব: HTML পড়া না গেলেও পাঠযোগ্য হেডারে noindex থাকলে তা প্রমাণ। বিপরীত সিদ্ধান্তের জন্য পর্যাপ্ত কভারেজ দরকার। PDF বা অন্য HTML নয় এমন রিসোর্সে HTML কভারেজ প্রযোজ্য নয় হতে পারে; প্রাসঙ্গিক উৎস তখন রেসপন্স হেডার। প্রযোজ্য নয় ও অনুপলব্ধ আলাদা পরিস্থিতি বোঝায়।
HTML ট্যাগ ও X-Robots-Tag একসঙ্গে পরীক্ষা করুন
HTML ট্যাগ ও রেসপন্স হেডারে আলাদা নির্দেশনা থাকতে পারে। ধরুন, চূড়ান্ত HTML-এ আছে:
<meta name="robots" content="index, follow">
রেসপন্সে আরও আছে:
X-Robots-Tag: noindex
HTML-এ index যোগ করলে প্রযোজ্য হেডারের noindex বাতিল হয় না। Google-এর robots নির্দেশনার নথি ব্যাখ্যা করে, একাধিক ঘোষণা কীভাবে একত্রে প্রযোজ্য হয় এবং সীমাবদ্ধ নির্দেশনা কীভাবে দ্বন্দ্ব মেটায়। এই উদাহরণে বারবার HTML ট্যাগ বদলানোর বদলে হেডারের সেটিং পরীক্ষা করুন। প্রাসঙ্গিক নির্দেশনা খুঁজে পেতে রিপোর্ট প্রতিটি ঘোষণার উৎস, ক্রলার ও মূল মান সংরক্ষণ করে।
পরিধিও গুরুত্বপূর্ণ। index, follow লেখা সাধারণ robots ট্যাগের পাশাপাশি noindex লেখা googlebot ট্যাগ থাকতে পারে। Googlebot নির্বাচন করলে নির্দিষ্ট বাদ দেওয়া অন্তর্ভুক্ত হয়; সাধারণ বিকল্পটি সাধারণ ঘোষণা বিবেচনা করে। তাই ভিন্ন ফল সম্ভব, যদিও কোনোটিই প্রকৃত Google ইনডেক্সিং মাপছে না।
সংক্ষিপ্ত none মানে noindex ও nofollow দুটোই। অন্য ঘোষণার আরও বিশদ ব্যাখ্যা দরকার হতে পারে: যেমন, indexifembedded অন্য জায়গায় এমবেড করা কনটেন্ট নিয়ে। এই ব্যাচ সারসংক্ষেপ দুটি সূচক নথিভুক্ত করে; প্রতিটি নির্দেশনা, এমবেড করার পরিস্থিতি বা সার্চ ফিচার নিয়ে সম্পূর্ণ সিদ্ধান্ত দেয় না। ব্যতিক্রম পরীক্ষা করার সময় মূল প্রমাণ রাখুন।
nofollow ও ইনডেক্সিং আলাদা রাখুন
Noindex পেজকে সার্চ ফলাফলে অন্তর্ভুক্ত করা নিয়ে। পেজ-স্তরের nofollow সেই পেজের লিংক অনুসরণ করা নিয়ে। noindex, follow ঘোষণা নিজে থেকে পরস্পরবিরোধী নয়: মালিক পেজটি বাদ দিতে পারেন, কিন্তু লিংকগুলো আবিষ্কারের জন্য উন্মুক্ত রাখতে পারেন। প্রতিটি সীমাবদ্ধ নির্দেশনাকে ভুল না ধরে পেজের উদ্দেশ্য অনুযায়ী এই সিদ্ধান্তগুলো মূল্যায়ন করুন।
ব্যাচ চেকার পেজ-স্তরের ঘোষণা দেখায়। প্রতিটি লিংকের rel="nofollow", sponsored বা ugc অ্যাট্রিবিউট পরীক্ষা করে না। তাই পেজ-স্তরের nofollow-এ না ফল এলেও প্রতিটি লিংক কীভাবে চিহ্নিত, তা প্রতিষ্ঠা হয় না।
লিংকের ধরন চিহ্নিত করার Google নির্দেশিকা আরও বলে, লিংক করা URL অন্য উৎস থেকেও আবিষ্কৃত হতে পারে। এখানে nofollow দেখা গেলে গন্তব্যগুলো কখনো ক্রল বা ইনডেক্স হবে না, তা প্রমাণ হয় না। এই পেজ নিজেই বাদ দেওয়া হয়েছে কি না জানতে চাইলে তার noindex প্রমাণে ফিরে যান।
নির্দেশনা বদলানোর আগে অজানা ফলাফল যাচাই করুন
ট্যাগ নেই ধরে না নিয়ে কভারেজ ও প্রমাণ দিয়ে শুরু করুন। ব্যর্থ অনুরোধ, অপাঠ্য ডকুমেন্ট বা সমর্থিত নয় এমন ঘোষণা চেকারকে সিদ্ধান্ত নিতে বাধা দিতে পারে। চূড়ান্ত URL থাকলে দেখুন সেটিই প্রত্যাশিত গন্তব্য কি না। লগইন পেজে রিডাইরেক্ট বা অ্যাক্সেস নিষিদ্ধ রেসপন্স মূল পেজের স্বাভাবিক সর্বজনীন কনটেন্টের প্রমাণ নয়।
চেকার HTTP রেসপন্স পড়ে; রেন্ডার করা পেজ তৈরি করতে JavaScript চালায় না। স্ক্রিপ্ট চলার পর যোগ করা নির্দেশনা এই পর্যবেক্ষণের বাইরে। একইভাবে লগইন লাগে, স্বয়ংক্রিয় অ্যাক্সেস আটকায় বা ভিজিটর অনুযায়ী রেসপন্স বদলায় এমন পেজ ব্রাউজারে দেখা কনটেন্ট নাও দেখাতে পারে। অজানা সারি শুধু সবুজ করার জন্য দরকারি নির্দেশনা সরাবেন না। আগে নিশ্চিত করুন কী আসলে পড়া সম্ভব হয়েছে, তারপর সর্বজনীন রেসপন্স উপলব্ধ হলে আবার চেষ্টা করুন।
একটি URL-এর ঘোষণা ও ব্যতিক্রম আরও কাছ থেকে দেখতে Noindex Checker ব্যবহার করুন। আলাদাভাবে সেই পেজ পরীক্ষা করার সময় ব্যাচের ফল তুলনার রেকর্ড হিসেবে রাখুন।
ক্রলের অনুমতি আলাদা বিষয়। এই টুল robots.txt পড়ে না; পথের নিয়মের জন্য Robots.txt Tester ব্যবহার করুন। পেজের noindex নির্দেশনা দেখতে Google-এর পেজে অ্যাক্সেস দরকার। তাই ক্রল ব্লক ও বাদ দেওয়ার নির্দেশনা একসঙ্গে থাকলে আলাদা অ্যাক্সেস পরীক্ষা দরকার, এমনকি এই চেকার URL আনতে পারলেও।
ফলাফল রপ্তানি করে একই পেজ আবার পরীক্ষা করুন
CSV ডাউনলোডের আগে যে দলটি যাচাই করবেন, ফিল্টারে সেটি বেছে নিন। CSV-তে দৃশ্যমান সারির URL ও স্ট্যাটাসের শ্রেণিবিন্যাস থাকে। এটি ছোট কাজের তালিকা, robots প্রমাণের সম্পূর্ণ রপ্তানি নয়: প্রতিটি মূল ঘোষণা, nofollow মান বা রেসপন্সের সব বিবরণ থাকে না। প্রাপকের বিশদ প্রমাণ ও কভারেজ তথ্য দরকার হলে পূর্ণ রিপোর্ট JSON হিসেবে ডাউনলোড করুন।
একইভাবে পুনরায় যাচাই করা যায় এমন সংশোধনের জন্য:
- জমা দেওয়া URL, নির্বাচিত ক্রলারের পরিধি ও মূল রিপোর্ট একসঙ্গে রাখুন। ফলাফলের পাশে প্রতিটি পেজের প্রত্যাশিত আচরণ লিখুন।
- ঘোষণার উৎস শনাক্ত করুন। অনিচ্ছাকৃত HTML ট্যাগ সংশ্লিষ্ট পেজ বা টেমপ্লেটে ঠিক করুন; অনিচ্ছাকৃত হেডার যে সেটিং থেকে প্রকাশিত হচ্ছে, সেখানে ঠিক করুন। ইচ্ছাকৃত বাদ দেওয়া বজায় রাখুন।
- পরিবর্তিত সর্বজনীন রেসপন্স উপলব্ধ হলে একই ব্যাচ ও পরিধি আবার চালান। সংখ্যার সঙ্গে মূল প্রমাণও তুলনা করুন; মোট সংখ্যা একই থাকলেও URL-এর দল বদলে যেতে পারে।
- বাকি অজানা সারিগুলো সমাধান হয়েছে ধরে না নিয়ে আলাদাভাবে যাচাই করুন।
সংশোধিত রেসপন্স ঠিক হলেও Google-এর ফল না বদলালে এই মুহূর্তের পর্যবেক্ষণ একা তার প্রক্রিয়াকরণের অবস্থা ব্যাখ্যা করে না। Google-এর noindex সমস্যা সমাধানের নির্দেশিকা Google কী পেয়েছে তা জানতে URL Inspection ও Page Indexing রিপোর্ট দেখতে বলে। সফল পুনঃপরীক্ষা বর্তমানে পর্যবেক্ষিত রেসপন্স নিশ্চিত করে; তাৎক্ষণিক নতুন ক্রল বা প্রতিশ্রুত সার্চ ফল নয়।