ওয়েবসাইট মাইগ্রেশন ও URL পরিবর্তন
লঞ্চের আগে গুরুত্বপূর্ণ URL, রিডাইরেক্ট, চূড়ান্ত গন্তব্য, ক্যানোনিক্যাল ও অভ্যন্তরীণ পথ রেকর্ড করুন, তারপর একই পরিধিতে নতুন কাঠামো ক্রল করুন।
একটি ক্লাউড ক্রল চালান এবং একে একে URL যাচাই না করে অভ্যন্তরীণ লিংক থেকে ওয়েবসাইটের মানচিত্র তৈরি করুন। ক্রল ক্ষমতা, গভীরতা, JavaScript রেন্ডারিং, সমান্তরালতা ও অনুরোধের বিলম্ব কনফিগার করুন; তারপর প্রতিটি প্রযুক্তিগত ধরনের পেছনের সুনির্দিষ্ট Pages, Links ও Images রেকর্ড দেখুন।
Screpy প্রকল্পের ওয়েবসাইট থেকে শুরু করে ক্লাউডে প্রবেশযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করে। সেটআপের সময় প্রথম ক্রল শুরু হয়; পরে নতুন তালিকা তৈরি করতে পৃষ্ঠা, লিংক বা ছবির রিপোর্ট থেকে বিশ্লেষণ করুন ব্যবহার করুন।
ক্লায়েন্টে তৈরি নেভিগেশন প্রাথমিক HTML-এর ক্রল থেকে গুরুত্বপূর্ণ লিংক লুকাতে পারে। স্ক্রিপ্ট অর্থপূর্ণ কনটেন্ট বা নেভিগেশন তৈরি করলে JavaScript রেন্ডারিং চালু করুন; সার্ভার প্রয়োজনীয় HTML দিলে বন্ধ রাখুন।
<main id="app">
<script />
</main>আবিষ্কারের পরিসর ও অনুরোধের গতি আলাদা সমস্যা সমাধান করে। গভীরতা অভ্যন্তরীণ লিংকের কত স্তর অনুসরণ করা হবে ঠিক করে; সমান্তরালতা ও বিলম্ব সার্ভারের চাপ নিয়ন্ত্রণ করে। গভীরতা বাড়ালে লিংকহীন পৃষ্ঠা আবিষ্কার হয় না।
example.com৩
//shop//shop/linen/রেকর্ড করা URL ও লিংক দিয়ে বিভাগ, পণ্য বা নিবন্ধ সাইটের সঙ্গে কীভাবে যুক্ত তা বুঝুন। গভীর কনটেন্ট, পুরোনো নেভিগেশন ও রিডাইরেক্টের পথ পরীক্ষা করতে উৎস পৃষ্ঠার সম্পর্ক ব্যবহার করুন।
দলের দরকারি রেকর্ড দিয়ে কাজের ফাইল তৈরি করুন। কাজটি একটি টেমপ্লেট, রেসপন্স স্ট্যাটাস বা ফাইলের ধরনের হলে পুরো সাইট না দিয়ে রপ্তানির আগে নির্বাচিত ক্রল ফিল্টার করুন।
সম্পন্ন ক্রল তখন যে অবস্থায় ওয়েবসাইটে পৌঁছানো গেছে তা রেকর্ড করে। নেভিগেশন পরিবর্তন বা মাইগ্রেশনের পর আবিষ্কার ও গন্তব্য আবার পরীক্ষা করতে নতুন ক্রল চালান; লাইভ সাইট বদলালে পুরোনো রেকর্ড নিজে আপডেট হয় না।
আপনার AI সহকারীকে Screpy-এর SEO MCP সার্ভারের সঙ্গে যুক্ত করুন। সর্বশেষ সম্পন্ন ক্রল সম্পর্কে জিজ্ঞেস করুন, প্রভাবিত পেজ দেখুন এবং টেকনিক্যাল SEO ফলাফল অনুযায়ী কাজের অগ্রাধিকার ঠিক করুন।
পরিধি দৃশ্যমান রাখুন, একটি ধরনের পেছনের রেকর্ড দেখুন, অন্তর্নিহিত বাস্তবায়ন ঠিক করুন এবং পরবর্তী ক্রল দিয়ে ফল নিশ্চিত করুন।
শুরুর URL, URL ক্ষমতা, লিংকের গভীরতা, JavaScript মোড, সমান্তরালতা, অনুরোধের বিলম্ব, robots নিয়ম ও ক্রলার অ্যাক্সেস নিশ্চিত করুন। এই সেটিং স্ন্যাপশট কী উপস্থাপন করতে পারে তা নির্ধারণ করে।
Screpy অ্যাক্সেসযোগ্য অভ্যন্তরীণ পথ অনুসরণ করে এবং কনফিগার করা পরিধির মধ্যে প্রতিটি আবিষ্কৃত URL, প্রতিক্রিয়া, গভীরতা, গন্তব্য, লিংকের সম্পর্ক ও সংশ্লিষ্ট পৃষ্ঠা বা ছবির ডেটা রেকর্ড করে।
সমাধান বেছে নেওয়ার আগে মোট মান থেকে প্রতিনিধিত্বমূলক URL, উৎস পৃষ্ঠা, রিডাইরেক্ট আচরণ, মেটাডেটা, ক্যানোনিক্যাল বা ছবির ব্যবহারে যেতে Pages, Links ও Images রিপোর্ট ব্যবহার করুন।
ওয়েবসাইট বদলানোর পর আরেকটি ক্রল চালান। পরিধি ও সেটিং তুলনাযোগ্য রাখুন, তারপর কাঙ্ক্ষিত URL ও অন্তর্নিহিত ধরন সঠিক কারণে বদলেছে কি না যাচাই করুন।
দল কী বদলেছে মনে রাখলে ক্রল ডেটা সবচেয়ে কার্যকর। উচ্চ-ঝুঁকির কাজের আগে ভিত্তিরেখা এবং প্রকাশের পর তুলনাযোগ্য স্ন্যাপশট তৈরি করুন।
লঞ্চের আগে গুরুত্বপূর্ণ URL, রিডাইরেক্ট, চূড়ান্ত গন্তব্য, ক্যানোনিক্যাল ও অভ্যন্তরীণ পথ রেকর্ড করুন, তারপর একই পরিধিতে নতুন কাঠামো ক্রল করুন।
নেভিগেশন বা অর্থপূর্ণ পৃষ্ঠা কনটেন্ট ব্রাউজারে তৈরি হলে JavaScript রেন্ডারিং ব্যবহার করুন, তারপর URL-গুলো ক্রল ইনভেন্টরিতে এসেছে কি না নিশ্চিত করুন।
দুর্বলভাবে যুক্ত বা খুঁজে পাওয়া কঠিন গুরুত্বপূর্ণ কনটেন্ট শনাক্ত করতে ক্রল গভীরতা, উৎস পৃষ্ঠা, অ্যাঙ্কর, বৈশিষ্ট্য ও পুনরাবৃত্ত নেভিগেশন পথ দেখুন।
রাউটিং, নেভিগেশন, CMS, টেমপ্লেট ও কম্পোনেন্ট পরিবর্তনের পর আবার ক্রল করুন, যাতে বাস্তবায়নের প্রেক্ষাপট নতুন থাকতেই পুনরাবৃত্ত প্রযুক্তিগত সমস্যা ধরা যায়।
ডিপ্লয়মেন্ট মডেল, ক্রল নিয়ন্ত্রণ, কাস্টম এক্সট্রাকশন, নিয়মিত পর্যবেক্ষণ, দলের অ্যাক্সেস ও রিপোর্টিং সিদ্ধান্তে প্রভাব ফেললে Screpy-এর সঙ্গে Screaming Frog তুলনা করুন।
আবিষ্কারের পথ মানচিত্র ও পৃষ্ঠা, লিংক, ছবির রেকর্ড দেখতে SEO Crawler ব্যবহার করুন। দলের গোষ্ঠীবদ্ধ ফলাফল, সমস্যা অগ্রাধিকার ও বিস্তৃত প্রযুক্তিগত স্বাস্থ্য ওয়ার্কফ্লো দরকার হলে Website Audit ব্যবহার করুন।
ক্লাউড ক্রল কনফিগার করুন, পৌঁছানো যায় এমন URL মানচিত্র করুন এবং প্রযুক্তিগত ধরনের পেছনের কাঁচা Pages, Links ও Images রেকর্ড দেখুন।
সম্পূর্ণ ক্রলকে গোষ্ঠীবদ্ধ ফলাফল, প্রভাবিত URL ধরন, অগ্রাধিকার, এক্সপোর্ট ও পুনরাবৃত্ত সমাধান-যাচাই ওয়ার্কফ্লোতে রূপ দিন।
ভাগ করা টেমপ্লেট ও বদলাতে থাকা URL সেট SaaS অধিগ্রহণ সাইট ও ইকমার্স ক্যাটালগে ভিন্ন ঝুঁকি তৈরি করে।
ল্যান্ডিং পৃষ্ঠা, ডকুমেন্টেশন, ভাগ করা টেমপ্লেট ও রিলিজের সমস্যা এক অধিগ্রহণ ক্ষেত্র হিসেবে পর্যালোচনা করুন।
বিভাগ ও পণ্য পৃষ্ঠার ধরন, ভাঙা কেনাকাটার পথ এবং কাঠামোগত ক্যাটালগ পরিবর্তন অডিট করুন।
Screpy ডকুমেন্টেশন
ক্রল পরিধি কনফিগার, ক্রলার অ্যাক্সেস অনুমোদন, Pages, Links ও Images রিপোর্ট ব্যাখ্যা এবং অসম্পূর্ণ ফল নির্ণয়ে Screpy গাইড ব্যবহার করুন।
ক্রল আবিষ্কার, পরিধি, JavaScript রেন্ডারিং, অ্যাক্সেস, অনুরোধের গতি, রিপোর্ট, স্ন্যাপশট এবং ক্রল ডেটা ও ওয়েবসাইট অডিটের পার্থক্য বুঝুন।
SEO ক্রলার একটি ওয়েবসাইট URL থেকে শুরু করে নির্ধারিত পরিধির মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করে এবং পৌঁছানো পৃষ্ঠা ও সম্পদের প্রযুক্তিগত তথ্য রেকর্ড করে। এই ইনভেন্টরি দলকে আবিষ্কারের পথ, প্রতিক্রিয়া কোড, রিডাইরেক্ট, ক্যানোনিক্যাল, অভ্যন্তরীণ লিংক, মেটাডেটা, ছবি ও পুনরাবৃত্ত সাইট ধরন অনুসন্ধানে সাহায্য করে।
Pages ক্রল করা URL এবং তাদের প্রতিক্রিয়া, গভীরতা, মেটাডেটা, শিরোনাম, ক্যানোনিক্যাল, ইনডেক্সযোগ্যতা, কনটেন্ট, স্ট্রাকচার্ড ডেটা, সামাজিক ও সংশ্লিষ্ট সংকেত রেকর্ড করে। Links গন্তব্যকে অবস্থা, অ্যাঙ্কর, বৈশিষ্ট্য, ব্যবহার ও উৎস পৃষ্ঠার সঙ্গে যুক্ত করে। Images ছবির উৎসকে প্রতিক্রিয়া, alt টেক্সট, মাত্রা, ডেলিভারি বৈশিষ্ট্য ও পৃষ্ঠায় ব্যবহার অনুযায়ী গোষ্ঠীবদ্ধ করে।
সর্বোচ্চ URL ক্রলে কতটি আবিষ্কৃত URL সংরক্ষণ করা যাবে তা সীমাবদ্ধ করে। ক্রল গভীরতা শুরুর পৃষ্ঠা থেকে Screpy কত স্তরের অভ্যন্তরীণ লিংক অনুসরণ করবে তা সীমিত করে। কোনো সেটিং বাড়ালেই ব্লক করা অ্যাক্সেস, অনুপস্থিত অভ্যন্তরীণ লিংক, রিডাইরেক্ট, রেট লিমিট বা ব্যবহার-অযোগ্য প্রতিক্রিয়া ঠিক হয় না।
যেসব ওয়েবসাইটের গুরুত্বপূর্ণ লিংক বা কনটেন্ট ব্রাউজারে তৈরি হয়, তাদের জন্য Screpy ঐচ্ছিক JavaScript সেটিং দেয়। রেন্ডারিং এসব সাইটের আবিষ্কার উন্নত করতে পারে, তবে robots নিয়ম, প্রমাণীকরণ, ফায়ারওয়াল, বট চ্যালেঞ্জ, টাইমআউট বা কনফিগার করা ক্রল পরিধি এড়িয়ে যায় না।
ক্রলারকে লগইন, CAPTCHA, ব্রাউজার চ্যালেঞ্জ, ফায়ারওয়াল ব্লক বা রেট-লিমিট প্রত্যাখ্যান ছাড়া আসল পৃষ্ঠা পেতে হবে। প্রতিটি নিরাপত্তা স্তরে ScrepyBot ও নথিভুক্ত ক্রলার IP অনুমোদন করুন, robots.txt অ্যাক্সেস নিশ্চিত করুন এবং সফল প্রতিক্রিয়ায় আসল পৃষ্ঠার HTML আছে কি না যাচাই করুন।
না। ক্রল ডেটা দলকে প্রযুক্তিগত অবস্থা আবিষ্কার ও যাচাই করতে সাহায্য করে, তবে র্যাঙ্কিং প্রাসঙ্গিকতা, কনটেন্টের মান, কর্তৃত্ব, প্রতিযোগিতা, চাহিদা, ইনডেক্সিং এবং সার্চ ইঞ্জিন প্রতিটি পৃষ্ঠাকে কীভাবে ব্যাখ্যা করে তার ওপরও নির্ভর করে। ক্রলার ফিল্টারকে স্বয়ংক্রিয় র্যাঙ্কিং নির্দেশ নয়, অনুসন্ধানের প্রমাণ হিসেবে নিন।
হ্যাঁ। প্রতিটি সম্পূর্ণ ক্রল তারিখযুক্ত স্ন্যাপশট। রিলিজ বা সমাধানের পর নতুন ক্রল চালান এবং সমতুল্য পরিধি ও সেটিংয়ে স্ন্যাপশট তুলনা করুন, যাতে কভারেজ বা সমস্যার মোট পরিবর্তনকে ভিন্ন ক্রল কনফিগারেশন মনে না করা হয়।
SEO ক্রলার প্রযুক্তিগত ইনভেন্টরি তৈরি করে: আবিষ্কৃত URL, প্রতিক্রিয়া, পথ, পৃষ্ঠা ডেটা, লিংক, ছবি ও ক্রল প্রেক্ষাপট। Website Audit ওই ক্রলকে গোষ্ঠীবদ্ধ ফলাফল, প্রভাবিত ধরন, অগ্রাধিকার ও সমাধান-যাচাই ওয়ার্কফ্লো হিসেবে ব্যাখ্যা করে। আবিষ্কার ও কাঁচা রেকর্ড দরকার হলে ক্রলার; বিস্তৃত স্বাস্থ্য পর্যালোচনা ও অগ্রাধিকারযুক্ত পদক্ষেপ দরকার হলে অডিট ব্যবহার করুন।
Screpy প্রজেক্টের ওয়েবসাইট থেকে শুরু করে কনফিগার করা URL ক্ষমতা ও ক্রল গভীরতার মধ্যে অ্যাক্সেসযোগ্য অভ্যন্তরীণ লিংক অনুসরণ করে। কোনো পৃষ্ঠা লিংক না থাকলে, নির্বাচিত গভীরতার বাইরে হলে, ব্লক থাকলে, প্রজেক্ট হোস্টের বাইরে রিডাইরেক্ট হলে, JavaScript রেন্ডারিংয়ের ওপর নির্ভর করলে বা ব্যবহার-অযোগ্য কনটেন্ট দিলে অনুপস্থিত হতে পারে।
হ্যাঁ। Links রিপোর্ট ব্যর্থ বা রিডাইরেক্ট করা গন্তব্য শনাক্ত এবং প্রতিটিকে উল্লেখকারী ক্রল করা পৃষ্ঠায় অনুসরণ করতে সাহায্য করে। এতে শুধু গন্তব্য URL নয়, ডেভেলপার ও সম্পাদক সমাধানের জন্য নির্দিষ্ট উৎস পৃষ্ঠা, ভাগ করা কম্পোনেন্ট বা টেমপ্লেট পান।
তারা ভিন্ন প্রশ্নের উত্তর দেয়। Search Console Google Search পারফরম্যান্স ও নির্বাচিত ইনডেক্সিং তথ্য জানায়। SEO ক্রলার সক্রিয়ভাবে আপনার অভ্যন্তরীণ লিংক অনুসরণ করে এবং Google সমস্যা জানানো বা ট্রাফিক বদলানোর আগেই পরীক্ষা করার মতো প্রযুক্তিগত ইনভেন্টরি তৈরি করে।
হ্যাঁ। সমান্তরালতা একসঙ্গে কত অনুরোধ চলবে তা নিয়ন্ত্রণ করে। সমান্তরালতা 1 হলে অনুরোধের বিলম্ব ব্যবহার করা যায়; বেশি হলে সংরক্ষিত বিলম্ব শূন্য হয়। সার্ভার স্বয়ংক্রিয় ট্রাফিক সীমিত করলে অনুরোধের চাপ কমান, তারপর পরের ক্রল আসল পৃষ্ঠার রেসপন্স পাচ্ছে কি না দেখুন।
Super Intelligence বুঝুন এবং অডিট, সার্চ গবেষণা, অবস্থান ও AI দৃশ্যমানতাকে Screpy-এর ব্যবহারিক কাজে যুক্ত করুন।