শুরুর URL ও ক্রল পরিধি
প্রজেক্টের ওয়েবসাইট থেকে শুরু করে নির্বাচিত ক্রল ক্ষমতা ও গভীরতার মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করুন।
- প্রজেক্ট-স্তরের ক্রল পরিধি
- অভ্যন্তরীণ URL আবিষ্কার
- সম্পূর্ণ ক্রল ইনভেন্টরি
একটি ক্লাউড ক্রল চালান এবং একে একে URL যাচাই না করে অভ্যন্তরীণ লিংক থেকে ওয়েবসাইটের মানচিত্র তৈরি করুন। ক্রল ক্ষমতা, গভীরতা, JavaScript রেন্ডারিং, সমান্তরালতা ও অনুরোধের বিলম্ব কনফিগার করুন; তারপর প্রতিটি প্রযুক্তিগত ধরনের পেছনের সুনির্দিষ্ট Pages, Links ও Images রেকর্ড দেখুন।
সংক্ষেপে
Screpy SEO Crawler প্রজেক্টের ওয়েবসাইট থেকে শুরু করে নির্বাচিত পরিধির মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করে এবং Pages, Links ও Images ইনভেন্টরি তৈরি করে। দল আবিষ্কার ও অনুরোধের আচরণ কনফিগার, প্রযুক্তিগত ধরনের পেছনের সুনির্দিষ্ট রেকর্ড দেখা, ফিল্টার করা ডেটা এক্সপোর্ট এবং ওয়েবসাইট পরিবর্তনের পর তুলনাযোগ্য ক্রল স্ন্যাপশট তৈরি করতে পারে।
কার্যকর ক্রল স্পষ্ট পরিধি ও অ্যাক্সেস দিয়ে শুরু হয়। Screpy দলকে অনুসন্ধানাধীন ওয়েবসাইট অনুযায়ী আবিষ্কার, রেন্ডারিং, অনুরোধের গতি, রিপোর্ট ও পুনরাবৃত্ত বিশ্লেষণ মানিয়ে নিতে দেয়।
প্রজেক্টের ওয়েবসাইট থেকে শুরু করে নির্বাচিত ক্রল ক্ষমতা ও গভীরতার মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করুন।
ওয়েবসাইট ও প্ল্যানের সঙ্গে মানানসই ক্রল ক্ষমতা নির্ধারণ করুন, তারপর কভারেজ ব্যাখ্যার আগে সম্পূর্ণ ক্রল ওই সীমায় পৌঁছেছিল কি না যাচাই করুন।
শুরুর পৃষ্ঠা থেকে Screpy কত স্তরের অভ্যন্তরীণ লিংক অনুসরণ করবে তা নিয়ন্ত্রণ করুন এবং স্থাপত্যের গভীরে চাপা মূল্যবান URL শনাক্ত করুন।
প্রাথমিক HTML প্রতিক্রিয়ায় গুরুত্বপূর্ণ লিংক বা পৃষ্ঠা উপাদান না থাকলে ক্লায়েন্ট-সাইড কনটেন্ট রেন্ডার করুন।
প্রতিটি সার্ভার বা অ্যাপ্লিকেশনে একই অনুরোধের ধরন চাপিয়ে না দিয়ে ওয়েবসাইট অনুযায়ী ক্রলের গতি সামঞ্জস্য করুন।
robots নিয়ম, ফায়ারওয়াল, বট সুরক্ষা, প্রতিক্রিয়ার অবস্থা ও ফেরত পাওয়া HTML দেখে SEO ফলাফলকে ব্লক করা ক্রল থেকে আলাদা করুন।
সাইটজুড়ে মোট মান থেকে একটি ধরনের পেছনের সুনির্দিষ্ট পৃষ্ঠা, লিংক ও ছবিতে যান, তারপর বাস্তবায়নের জন্য ফিল্টার করা রেকর্ড এক্সপোর্ট করুন।
প্রতিটি সম্পূর্ণ ক্রল স্ন্যাপশট হিসেবে সংরক্ষণ করুন, তুলনাযোগ্য সেটিং দিয়ে বিশ্লেষণ পুনরাবৃত্তি করুন এবং ডিপ্লয়মেন্টের পর কী বদলেছে যাচাই করুন।
সম্পূর্ণ ক্রলকে ফিল্টারযোগ্য URL ইনভেন্টরিতে রূপ দিন। প্রতিটি URL ম্যানুয়ালি না খুলে প্রতিক্রিয়ার অবস্থা, চূড়ান্ত গন্তব্য, ক্রল গভীরতা, প্রতিক্রিয়ার সময়, মেটাডেটা, শিরোনাম, ক্যানোনিক্যাল, ইনডেক্সযোগ্যতা, কনটেন্ট, স্ট্রাকচার্ড ডেটা, সামাজিক ট্যাগ ও সংশ্লিষ্ট পৃষ্ঠা সংকেত দেখুন।
আরও জানুন: পৃষ্ঠা রিপোর্ট
প্রতিক্রিয়ার অবস্থা, অ্যাঙ্কর টেক্সট, বৈশিষ্ট্য, ব্যবহারের সংখ্যা ও ক্রল করা উৎস পৃষ্ঠাসহ অভ্যন্তরীণ ও বাহ্যিক গন্তব্য দেখুন। ভাঙা বা রিডাইরেক্ট করা URL নির্দিষ্ট নেভিগেশন, কনটেন্ট, টেমপ্লেট বা কম্পোনেন্ট সমাধানে পরিণত হয়।
আরও জানুন: লিংক রিপোর্ট
ক্রল করা ছবির উৎস গোষ্ঠীবদ্ধ করুন এবং বদলানোর আগে প্রতিক্রিয়ার অবস্থা, alt টেক্সট, মাত্রা, রেসপনসিভ বৈশিষ্ট্য, লোডিং আচরণ, উৎসের ধরন ও সম্পদ ব্যবহারকারী প্রতিটি পৃষ্ঠা দেখুন।
আরও জানুন: ছবি রিপোর্ট
প্রতিটি সম্পূর্ণ ক্রলকে তারিখযুক্ত স্ন্যাপশট ধরুন। রিলিজ, মাইগ্রেশন, নেভিগেশন পরিবর্তন বা প্রযুক্তিগত সমাধানের পর তুলনাযোগ্য সেটিং দিয়ে বিশ্লেষণ পুনরাবৃত্তি করুন এবং একটি বদলাতে থাকা মোট মানের ওপর নির্ভর না করে প্রভাবিত URL ধরন যাচাই করুন।
আরও জানুন: ক্রল স্ন্যাপশট
পরিধি দৃশ্যমান রাখুন, একটি ধরনের পেছনের রেকর্ড দেখুন, অন্তর্নিহিত বাস্তবায়ন ঠিক করুন এবং পরবর্তী ক্রল দিয়ে ফল নিশ্চিত করুন।
শুরুর URL, URL ক্ষমতা, লিংকের গভীরতা, JavaScript মোড, সমান্তরালতা, অনুরোধের বিলম্ব, robots নিয়ম ও ক্রলার অ্যাক্সেস নিশ্চিত করুন। এই সেটিং স্ন্যাপশট কী উপস্থাপন করতে পারে তা নির্ধারণ করে।
Screpy অ্যাক্সেসযোগ্য অভ্যন্তরীণ পথ অনুসরণ করে এবং কনফিগার করা পরিধির মধ্যে প্রতিটি আবিষ্কৃত URL, প্রতিক্রিয়া, গভীরতা, গন্তব্য, লিংকের সম্পর্ক ও সংশ্লিষ্ট পৃষ্ঠা বা ছবির ডেটা রেকর্ড করে।
সমাধান বেছে নেওয়ার আগে মোট মান থেকে প্রতিনিধিত্বমূলক URL, উৎস পৃষ্ঠা, রিডাইরেক্ট আচরণ, মেটাডেটা, ক্যানোনিক্যাল বা ছবির ব্যবহারে যেতে Pages, Links ও Images রিপোর্ট ব্যবহার করুন।
ওয়েবসাইট বদলানোর পর আরেকটি ক্রল চালান। পরিধি ও সেটিং তুলনাযোগ্য রাখুন, তারপর কাঙ্ক্ষিত URL ও অন্তর্নিহিত ধরন সঠিক কারণে বদলেছে কি না যাচাই করুন।
দল কী বদলেছে মনে রাখলে ক্রল ডেটা সবচেয়ে কার্যকর। উচ্চ-ঝুঁকির কাজের আগে ভিত্তিরেখা এবং প্রকাশের পর তুলনাযোগ্য স্ন্যাপশট তৈরি করুন।
লঞ্চের আগে গুরুত্বপূর্ণ URL, রিডাইরেক্ট, চূড়ান্ত গন্তব্য, ক্যানোনিক্যাল ও অভ্যন্তরীণ পথ রেকর্ড করুন, তারপর একই পরিধিতে নতুন কাঠামো ক্রল করুন।
নেভিগেশন বা অর্থপূর্ণ পৃষ্ঠা কনটেন্ট ব্রাউজারে তৈরি হলে JavaScript রেন্ডারিং ব্যবহার করুন, তারপর URL-গুলো ক্রল ইনভেন্টরিতে এসেছে কি না নিশ্চিত করুন।
দুর্বলভাবে যুক্ত বা খুঁজে পাওয়া কঠিন গুরুত্বপূর্ণ কনটেন্ট শনাক্ত করতে ক্রল গভীরতা, উৎস পৃষ্ঠা, অ্যাঙ্কর, বৈশিষ্ট্য ও পুনরাবৃত্ত নেভিগেশন পথ দেখুন।
রাউটিং, নেভিগেশন, CMS, টেমপ্লেট ও কম্পোনেন্ট পরিবর্তনের পর আবার ক্রল করুন, যাতে বাস্তবায়নের প্রেক্ষাপট নতুন থাকতেই পুনরাবৃত্ত প্রযুক্তিগত সমস্যা ধরা যায়।
ডিপ্লয়মেন্ট মডেল, ক্রল নিয়ন্ত্রণ, কাস্টম এক্সট্রাকশন, নিয়মিত পর্যবেক্ষণ, দলের অ্যাক্সেস ও রিপোর্টিং সিদ্ধান্তে প্রভাব ফেললে Screpy-এর সঙ্গে Screaming Frog তুলনা করুন।
আবিষ্কারের পথ মানচিত্র ও পৃষ্ঠা, লিংক, ছবির রেকর্ড দেখতে SEO Crawler ব্যবহার করুন। দলের গোষ্ঠীবদ্ধ ফলাফল, সমস্যা অগ্রাধিকার ও বিস্তৃত প্রযুক্তিগত স্বাস্থ্য ওয়ার্কফ্লো দরকার হলে Website Audit ব্যবহার করুন।
ক্লাউড ক্রল কনফিগার করুন, পৌঁছানো যায় এমন URL মানচিত্র করুন এবং প্রযুক্তিগত ধরনের পেছনের কাঁচা Pages, Links ও Images রেকর্ড দেখুন।
সম্পূর্ণ ক্রলকে গোষ্ঠীবদ্ধ ফলাফল, প্রভাবিত URL ধরন, অগ্রাধিকার, এক্সপোর্ট ও পুনরাবৃত্ত সমাধান-যাচাই ওয়ার্কফ্লোতে রূপ দিন।
ভাগ করা টেমপ্লেট ও বদলাতে থাকা URL সেট SaaS অধিগ্রহণ সাইট ও ইকমার্স ক্যাটালগে ভিন্ন ঝুঁকি তৈরি করে।
ল্যান্ডিং পৃষ্ঠা, ডকুমেন্টেশন, ভাগ করা টেমপ্লেট ও রিলিজের সমস্যা এক অধিগ্রহণ ক্ষেত্র হিসেবে পর্যালোচনা করুন।
বিভাগ ও পণ্য পৃষ্ঠার ধরন, ভাঙা কেনাকাটার পথ এবং কাঠামোগত ক্যাটালগ পরিবর্তন অডিট করুন।
Screpy ডকুমেন্টেশন
ক্রল পরিধি কনফিগার, ক্রলার অ্যাক্সেস অনুমোদন, Pages, Links ও Images রিপোর্ট ব্যাখ্যা এবং অসম্পূর্ণ ফল নির্ণয়ে Screpy গাইড ব্যবহার করুন।
ক্রল আবিষ্কার, পরিধি, JavaScript রেন্ডারিং, অ্যাক্সেস, অনুরোধের গতি, রিপোর্ট, স্ন্যাপশট এবং ক্রল ডেটা ও ওয়েবসাইট অডিটের পার্থক্য বুঝুন।
SEO ক্রলার একটি ওয়েবসাইট URL থেকে শুরু করে নির্ধারিত পরিধির মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করে এবং পৌঁছানো পৃষ্ঠা ও সম্পদের প্রযুক্তিগত তথ্য রেকর্ড করে। এই ইনভেন্টরি দলকে আবিষ্কারের পথ, প্রতিক্রিয়া কোড, রিডাইরেক্ট, ক্যানোনিক্যাল, অভ্যন্তরীণ লিংক, মেটাডেটা, ছবি ও পুনরাবৃত্ত সাইট ধরন অনুসন্ধানে সাহায্য করে।
SEO ক্রলার প্রযুক্তিগত ইনভেন্টরি তৈরি করে: আবিষ্কৃত URL, প্রতিক্রিয়া, পথ, পৃষ্ঠা ডেটা, লিংক, ছবি ও ক্রল প্রেক্ষাপট। Website Audit ওই ক্রলকে গোষ্ঠীবদ্ধ ফলাফল, প্রভাবিত ধরন, অগ্রাধিকার ও সমাধান-যাচাই ওয়ার্কফ্লো হিসেবে ব্যাখ্যা করে। আবিষ্কার ও কাঁচা রেকর্ড দরকার হলে ক্রলার; বিস্তৃত স্বাস্থ্য পর্যালোচনা ও অগ্রাধিকারযুক্ত পদক্ষেপ দরকার হলে অডিট ব্যবহার করুন।
Screpy প্রজেক্টের ওয়েবসাইট থেকে শুরু করে কনফিগার করা URL ক্ষমতা ও ক্রল গভীরতার মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করে। কোনো পৃষ্ঠা লিংক না থাকলে, নির্বাচিত গভীরতার বাইরে হলে, ব্লক থাকলে, প্রজেক্ট হোস্টের বাইরে রিডাইরেক্ট হলে, JavaScript রেন্ডারিংয়ের ওপর নির্ভর করলে বা ব্যবহার-অযোগ্য কনটেন্ট দিলে অনুপস্থিত হতে পারে।
যেসব ওয়েবসাইটের গুরুত্বপূর্ণ লিংক বা কনটেন্ট ব্রাউজারে তৈরি হয়, তাদের জন্য Screpy ঐচ্ছিক JavaScript সেটিং দেয়। রেন্ডারিং এসব সাইটের আবিষ্কার উন্নত করতে পারে, তবে robots নিয়ম, প্রমাণীকরণ, ফায়ারওয়াল, বট চ্যালেঞ্জ, টাইমআউট বা কনফিগার করা ক্রল পরিধি এড়িয়ে যায় না।
ক্রলারকে লগইন, CAPTCHA, ব্রাউজার চ্যালেঞ্জ, ফায়ারওয়াল ব্লক বা রেট-লিমিট প্রত্যাখ্যান ছাড়া আসল পৃষ্ঠা পেতে হবে। প্রতিটি নিরাপত্তা স্তরে ScrepyBot ও নথিভুক্ত ক্রলার IP অনুমোদন করুন, robots.txt অ্যাক্সেস নিশ্চিত করুন এবং সফল প্রতিক্রিয়ায় আসল পৃষ্ঠার HTML আছে কি না যাচাই করুন।
সর্বোচ্চ URL ক্রলে কতটি আবিষ্কৃত URL সংরক্ষণ করা যাবে তা সীমাবদ্ধ করে। ক্রল গভীরতা শুরুর পৃষ্ঠা থেকে Screpy কত স্তরের অভ্যন্তরীণ লিংক অনুসরণ করবে তা সীমিত করে। কোনো সেটিং বাড়ালেই ব্লক করা অ্যাক্সেস, অনুপস্থিত অভ্যন্তরীণ লিংক, রিডাইরেক্ট, রেট লিমিট বা ব্যবহার-অযোগ্য প্রতিক্রিয়া ঠিক হয় না।
Pages ক্রল করা URL এবং তাদের প্রতিক্রিয়া, গভীরতা, মেটাডেটা, শিরোনাম, ক্যানোনিক্যাল, ইনডেক্সযোগ্যতা, কনটেন্ট, স্ট্রাকচার্ড ডেটা, সামাজিক ও সংশ্লিষ্ট সংকেত রেকর্ড করে। Links গন্তব্যকে অবস্থা, অ্যাঙ্কর, বৈশিষ্ট্য, ব্যবহার ও উৎস পৃষ্ঠার সঙ্গে যুক্ত করে। Images ছবির উৎসকে প্রতিক্রিয়া, alt টেক্সট, মাত্রা, ডেলিভারি বৈশিষ্ট্য ও পৃষ্ঠায় ব্যবহার অনুযায়ী গোষ্ঠীবদ্ধ করে।
হ্যাঁ। Links রিপোর্ট ব্যর্থ বা রিডাইরেক্ট করা গন্তব্য শনাক্ত এবং প্রতিটিকে উল্লেখকারী ক্রল করা পৃষ্ঠায় অনুসরণ করতে সাহায্য করে। এতে শুধু গন্তব্য URL নয়, ডেভেলপার ও সম্পাদক সমাধানের জন্য নির্দিষ্ট উৎস পৃষ্ঠা, ভাগ করা কম্পোনেন্ট বা টেমপ্লেট পান।
হ্যাঁ। সমান্তরালতা একসঙ্গে কত অনুরোধ চলবে তা নিয়ন্ত্রণ করে, আর বিলম্ব অনুরোধের মধ্যে সময় যোগ করে। হোস্ট স্বয়ংক্রিয় ট্রাফিক সীমিত করলে বা অনুরোধের চাপ সামলাতে কষ্ট হলে সমান্তরালতা কমান বা বিলম্ব বাড়ান।
হ্যাঁ। প্রতিটি সম্পূর্ণ ক্রল তারিখযুক্ত স্ন্যাপশট। রিলিজ বা সমাধানের পর নতুন ক্রল চালান এবং সমতুল্য পরিধি ও সেটিংয়ে স্ন্যাপশট তুলনা করুন, যাতে কভারেজ বা সমস্যার মোট পরিবর্তনকে ভিন্ন ক্রল কনফিগারেশন মনে না করা হয়।
তারা ভিন্ন প্রশ্নের উত্তর দেয়। Search Console Google Search পারফরম্যান্স ও নির্বাচিত ইনডেক্সিং তথ্য জানায়। SEO ক্রলার সক্রিয়ভাবে আপনার অভ্যন্তরীণ লিংক অনুসরণ করে এবং Google সমস্যা জানানো বা ট্রাফিক বদলানোর আগেই পরীক্ষা করার মতো প্রযুক্তিগত ইনভেন্টরি তৈরি করে।
না। ক্রল ডেটা দলকে প্রযুক্তিগত অবস্থা আবিষ্কার ও যাচাই করতে সাহায্য করে, তবে র্যাঙ্কিং প্রাসঙ্গিকতা, কনটেন্টের মান, কর্তৃত্ব, প্রতিযোগিতা, চাহিদা, ইনডেক্সিং এবং সার্চ ইঞ্জিন প্রতিটি পৃষ্ঠাকে কীভাবে ব্যাখ্যা করে তার ওপরও নির্ভর করে। ক্রলার ফিল্টারকে স্বয়ংক্রিয় র্যাঙ্কিং নির্দেশ নয়, অনুসন্ধানের প্রমাণ হিসেবে নিন।