প্রকাশক ও কনটেন্ট লাইব্রেরি
যাচাইকৃত সার্চ ও AI ক্রলার পরিবার সাইটে অনুরোধ করছে কি না এবং গুরুত্বপূর্ণ কনটেন্ট পাথ non-2xx প্রতিক্রিয়া দিচ্ছে কি না দেখুন।
AI ও বট ট্রাফিক অ্যানালিটিক্স
আপনার Screpy প্রকল্পের সঙ্গে মিল থাকা Cloudflare জোন যুক্ত করুন এবং সর্বশেষ সাত দিনের যাচাইকৃত বট কার্যকলাপ পর্যালোচনা করুন। ক্রলার ভিজিটকে AI উদ্ধৃতি মনে না করে ক্রলার বিভাগ, প্রকাশক, ডেটা স্থানান্তর, অনুরোধের প্রবণতা, সফল প্রতিক্রিয়া ও non-2xx URL তুলনা করুন।
Cloudflare বট অ্যানালিটিক্স যুক্ত করুন
Screpy প্রকল্পের সঙ্গে মিলে যাওয়া জোনের যাচাইকৃত বট অনুরোধ দেখতে Cloudflare যুক্ত করুন। ফাঁকা টেবিলের অর্থ বোঝার আগে সংযোগ ও রিপোর্টের পরিসর পরীক্ষা করুন।
- সংশ্লিষ্ট জোন ও তার অ্যানালিটিক্সে প্রবেশাধিকার আছে এমন সক্রিয় API টোকেন ব্যবহার করুন।
- Screpy প্রকল্পের ডোমেনকে প্রবেশযোগ্য জোনের সঙ্গে মেলায়; সাবডোমেনের ক্ষেত্রে মূল ডোমেনের জোনও মিলে যেতে পারে।
- ট্রাফিক পুরো Cloudflare জোনের; প্রকল্পের হোস্টনেম ছাড়াও সেই জোনের অন্য হোস্টনেম এতে থাকতে পারে।
- অনুমতি, জোনের মিল বা সাত দিনের ডেটা না থাকলে অনুপলভ্য অবস্থা দেখায়; এর অর্থ বটের অনুরোধ একেবারেই ছিল না, এমন নয়।
উৎস
Screpy
Screpyexample.comসংযুক্ত
যাচাইকৃত AI ক্রলার চিনুন
সংযুক্ত ডেটায় থাকা সার্চ ও AI ক্রলার পরিবার খুঁজুন। অনুরোধের পরিমাণ বা প্রতিক্রিয়া তদন্তের আগে নাম ও প্রকাশকের তথ্য থেকে কে অনুরোধ পাঠিয়েছে তা বুঝুন।
- ডেটায় অনুরোধ থাকলে Googlebot, Bingbot ও সমর্থিত AI ক্রলারের মতো পরিচিত পরিবার পর্যালোচনা করুন।
- টেবিল Cloudflare-এর যাচাইকৃত বট হিসেবে শ্রেণিবদ্ধ ট্রাফিক দিয়ে শুরু হয়; শুধু ক্রলারের নাম প্রতিটি স্বয়ংক্রিয় অনুরোধ যাচাই করে না।
- একটি ক্রলারের অনুরোধ একাধিক বিভাগে থাকলে তার সারিতে সবচেয়ে বেশি অনুরোধের বিভাগ দেখায়।
- উপলব্ধ বিভাগ দিয়ে ক্রলার টেবিল ফিল্টার করুন; এই নির্বাচন আলাদা ট্রাফিক চার্ট ফিল্টার করে না।
অনুরোধ
৪২- Googlebot১৮
- GPTBot১৪
- ClaudeBot১০
ঘণ্টাভিত্তিক বট কার্যকলাপ তুলনা করুন
বিভাগের চার্টে ঘন অনুরোধের সময় খুঁজুন, তারপর একই সাত দিনের জন্য ক্রলারের ছোট চার্ট দেখুন। বর্তমান ভিউতে ইচ্ছামতো তারিখ বাছার বদলে নির্দিষ্ট সময়সীমা থাকে।
- রিপোর্ট সাত দিনের সম্পূর্ণ ঘণ্টাভিত্তিক সময়খণ্ড নিয়ে তৈরি হয় এবং UTC ঘণ্টার সীমানায় শেষ হয়।
- চলমান অসম্পূর্ণ ঘণ্টা বাদ থাকে; চার্ট প্রতিটি নতুন অনুরোধের সরাসরি সম্প্রচার নয়।
- সবচেয়ে বেশি অনুরোধের পাঁচটি যাচাইকৃত বিভাগ আলাদা দেখায়; অতিরিক্ত বিভাগ অন্যান্য হিসেবে একত্র হয়।
- ক্রলারের ছোট চার্ট তার অনুরোধের বণ্টন দেখায়, যা অল্প সময়ের বৃদ্ধি ও দীর্ঘস্থায়ী কার্যকলাপ আলাদা করতে সাহায্য করে।
অনুরোধ
১,৮৬০বট অনুরোধ ও ডেটা স্থানান্তর মাপুন
অনুরোধের সংখ্যা ও স্থানান্তরিত বাইট একসঙ্গে পড়ুন। এগুলো ট্রাফিকের পরিমাণ ও প্রতিক্রিয়ার আকার বোঝায়; স্বতন্ত্র মানুষ, AI উত্তরের জনপ্রিয়তা বা কনটেন্টের মূল্য নয়।
- মোট সংখ্যায় পুনরাবৃত্ত অনুরোধও থাকে; এটি স্বতন্ত্র দর্শক বা সেশনের সংখ্যা নয়।
- স্থানান্তরিত বাইট Cloudflare দিয়ে পাঠানো প্রতিক্রিয়া যোগ করে, 2xx-এর বাইরের প্রতিক্রিয়াসহ; এটি কনটেন্ট সফলভাবে পড়ার পরিমাপ নয়।
- অনুরোধের বৃদ্ধি তদন্তের আগে ক্রলারের পরিমাণ, প্রবণতা ও ফলাফল তুলনা করুন; এই সংখ্যা হোস্টিং খরচ বা মডেল প্রশিক্ষণ হিসাব করে না।
- অনুরোধ
- ১,৮৬০
- ডেটা স্থানান্তর
- ২৪ MB
ক্রলারের HTTP প্রতিক্রিয়া বুঝুন
প্রতিক্রিয়ার শ্রেণিবিন্যাস ও সমস্যার কারণ নির্ণয় আলাদা রাখুন। ব্যর্থ অনুরোধের কলামে 2xx-এর বাইরের সব প্রতিক্রিয়া থাকে; বেশি সংখ্যা একাই ওয়েবসাইট নষ্ট প্রমাণ করে না।
- HTTP 2xx প্রতিক্রিয়া সফল গণ্য হয়; অন্য সব স্ট্যাটাস ব্যর্থ অনুরোধের সংখ্যায় যোগ হয়।
- 3xx রিডাইরেক্ট ইচ্ছাকৃত হতে পারে; ক্রল সমস্যা ভাবার আগে গন্তব্য পরীক্ষা করুন।
- 403 ইচ্ছাকৃত প্রবেশাধিকার সীমার ফল হতে পারে; অনুরোধ মানেই ক্রলার পৃষ্ঠার কনটেন্ট ডাউনলোড করেছে, এমন প্রমাণ নয়।
- কী বদলাবেন ঠিক করার আগে অপ্রত্যাশিত 404 বা 5xx প্রতিক্রিয়া প্রকৃত রুট ও সাইটের সেটিংসের সঙ্গে মিলিয়ে তদন্ত করুন।
HTTP স্ট্যাটাস
200GET /HTTP/2 2002xx-এর বাইরের ক্রলার পাথ দেখুন
ক্রলারের 2xx-এর বাইরের সংখ্যা খুলে কোথায় তার অনুরোধ এসব প্রতিক্রিয়া পেয়েছে দেখুন। পাথ, স্ট্যাটাস ও ঘনত্ব SEO বা প্রকৌশল দলকে নির্দিষ্ট তদন্তের সূত্র দেয়।
- বিস্তারিত ভিউ নির্বাচিত ক্রলার ও একই নির্ধারিত সাত দিনের সময়সীমার জন্য।
- সারিতে অনুরোধ করা পাথ, HTTP স্ট্যাটাস ও অনুরোধের সংখ্যা একসঙ্গে গোষ্ঠীবদ্ধ হয়; একই পাথ ভিন্ন স্ট্যাটাসে দেখা যেতে পারে।
- বেশি অনুরোধের সারি আগে থাকে এবং উপলব্ধ সারি একাধিক পাতায় ভাগ হয়; এটি সমষ্টিগত ভিউ, পৃথক অনুরোধের লগ নয়।
- ক্রলার, পাথ, স্ট্যাটাস ও সংখ্যা লিখে রাখুন, প্রতিক্রিয়া ইচ্ছাকৃত কি না পরীক্ষা করুন এবং যাচাইকৃত সংশোধনের পর পরবর্তী কার্যকলাপ দেখুন।
নির্বাচিতGPTBot
| URL পাথ | HTTP স্ট্যাটাস | অনুরোধ |
|---|---|---|
/guides/seo | 404 | ১২৮ |
/guides/seo | 301 | ৩৬ |
/setup | 503 | ১২ |
AI বট ট্রাফিক নিয়ে কথা বলুন। SEO MCP দিয়ে।
SEO MCP দিয়ে উপলব্ধ সার্চ, ক্রল ও সংযুক্ত Cloudflare ট্রাফিক সংকেতভিত্তিক Quick Wins সম্পর্কে জিজ্ঞেস করুন। Cloudflare অ্যাক্সেস এসব সুযোগ পর্যন্ত সীমিত; পুরো অ্যানালিটিক্স বা বট ট্রাফিক ড্যাশবোর্ড অন্তর্ভুক্ত নয়।
- Screpy: হ্যালো! example.com-এর জন্য AI বট ট্রাফিক দেখি। আপনি কী জানতে চান?
- আপনি: example.com-এর জন্য কোন ট্রাফিকভিত্তিক Quick Wins দেখা উচিত?
- Screpy: একই প্রকল্পের সার্চের সুযোগ ও ট্রাফিক সংকেত একসঙ্গে দেখুন। Cloudflare সুযোগের জন্য সংযুক্ত জোন ও উপলব্ধ ডেটা দরকার; পূর্ণ অ্যানালিটিক্স ও বট ট্রাফিক রেকর্ড MCP দিয়ে পাওয়া যায় না। Quick Wins-এর প্রেক্ষাপট: সার্চের সুযোগ: প্রকল্পের উপলব্ধ ডেটা. Cloudflare সংকেত: সংযোগ প্রয়োজন.
- আপনি: এটিকে একটি ছোট কর্মপরিকল্পনায় সাজাও।
- Screpy: তথ্যভিত্তিক ফলাফল ও পরামর্শ আলাদা রাখব। প্রমাণ দেখুন, একটি পরিবর্তন বেছে নিন এবং পরে ফলাফল যাচাই করুন। আপনার পরবর্তী পদক্ষেপ: পর্যালোচনা: প্রতিটি ফলাফলের উৎস ও তারিখ যাচাই করুন।. সিদ্ধান্ত: প্রথম পরিবর্তনটি বেছে নিন।. যাচাই: পরিবর্তনের পর ফলাফল তুলনা করুন।.
- আপনি: প্রমাণগুলো সহজ ভাষায় বুঝিয়ে দিতে পারো?
- Screpy: হ্যাঁ। সমর্থিত কোনো ফলাফল সম্পর্কে জিজ্ঞেস করলে সেটি কী দেখায়, কোথা থেকে এসেছে এবং কী অনিশ্চিত রয়েছে তা ব্যাখ্যা করতে পারি। অনুপস্থিত ডেটা অনুপস্থিতই থাকে; পরামর্শ মানেই স্বয়ংক্রিয় সংশোধন নয়।
যাচাইকৃত বট ট্রাফিককে লক্ষ্যভিত্তিক প্রযুক্তিগত পর্যালোচনায় রূপ দিন।
সবচেয়ে সক্রিয় বিভাগ থেকে শুরু করুন, একটি ক্রলার বাছুন এবং বারবার আসা 2xx-এর বাইরের পাথ দেখুন। নির্দিষ্ট রুট বা প্রবেশাধিকারের সমস্যা সংশ্লিষ্ট দলকে দেওয়ার আগে প্রত্যাশিত প্রতিক্রিয়া যাচাই করুন।
- 01
Cloudflare সংযুক্ত করে প্রকল্পের জোন মেলান
ওয়েবসাইট জোন তালিকাভুক্ত ও অ্যানালিটিক্স পড়তে পারে এমন সক্রিয় API টোকেন ব্যবহার করুন, তারপর প্রকল্প ডোমেনের মিল থাকা সংযুক্ত জোন নিশ্চিত করুন।
- 02
সাত দিনের বিভাগীয় ধরণ পড়ুন
আলাদা ক্রলার সারি খোলার আগে স্থায়ী কার্যকলাপ, আকস্মিক বৃদ্ধি, প্রত্যাশিত বিভাগের অনুপস্থিতি বা বড় অন্যান্য অংশ দেখুন।
- 03
ক্রলারের পরিমাণ ও ফলাফল তুলনা করুন
প্রথমে কোন ক্রলারে মনোযোগ দরকার তা বাছতে অনুরোধ, স্থানান্তরিত বাইট, ঘণ্টাভিত্তিক প্রবণতা, সফল 2xx প্রতিক্রিয়া ও non-2xx সংখ্যা ব্যবহার করুন।
- 04
পাথ পরীক্ষা করে প্রত্যাশিত প্রতিক্রিয়া যাচাই করুন
প্রতিটি পুনরাবৃত্ত পাথ ও স্ট্যাটাস পর্যালোচনা করুন, তা ইচ্ছাকৃত কি না নিশ্চিত করুন, অপ্রত্যাশিত প্রতিক্রিয়া তদন্ত করুন এবং পরবর্তী ট্রাফিক প্রমাণে আচরণ বদলেছে কি না নিশ্চিত করুন।
যেখানে বাস্তব সিদ্ধান্ত বদলায় সেখানে ক্রলার ট্রাফিক ব্যবহার করুন।
দলটি ট্রাফিকের ধরণ বা HTTP প্রতিক্রিয়া প্রত্যাশিত কি না নির্ধারণের মতো পর্যাপ্ত ওয়েবসাইট প্রসঙ্গ জানলে এই ভিউ সবচেয়ে কার্যকর।
SEO ও কনটেন্ট দল
ক্রলার কার্যকলাপকে ইনডেক্সিং, উদ্ধৃতি বা উত্তরের দৃশ্যমানতার প্রমাণ না বানিয়ে ক্রলযোগ্যতা আলোচনায় বাস্তব অনুরোধের প্রমাণ যোগ করুন।
পণ্য ও প্রকৌশল দল
অ্যাপ্লিকেশন রুট বা ডিপ্লয়মেন্টে প্রযুক্তিগত তদন্ত দরকার হলে নির্দিষ্ট ক্রলার, পাথ, HTTP স্ট্যাটাস ও অনুরোধের সংখ্যা হস্তান্তর করুন।
এজেন্সি ও বহু-প্রকল্প দল
প্রতিটি ক্লায়েন্ট বা ওয়েবসাইট জোনকে মিল থাকা Screpy প্রকল্পের সঙ্গে যুক্ত রাখুন এবং আলাদা প্রপার্টিতে একই পর্যালোচনা পদ্ধতি ব্যবহার করুন।
ক্রলার ট্রাফিক কী প্রমাণ করতে পারে না তা জানুন।
স্পষ্ট সীমাবদ্ধতা SEO, কনটেন্ট, প্রকৌশল ও AI সার্চ আলোচনায় প্রমাণকে নিরাপদে ব্যবহার করতে সাহায্য করে।
একটি অনুরোধ AI উদ্ধৃতি নয়
যাচাইকৃত ক্রলার অনুরোধ একটি প্রবেশের চেষ্টা ও তার প্রতিক্রিয়া নথিভুক্ত করে। ব্লক করা অনুরোধও দেখা যেতে পারে; এটি কনটেন্ট ডাউনলোড, ইনডেক্সিং, প্রশিক্ষণ, উদ্ধৃতি বা AI উত্তরে অন্তর্ভুক্তির প্রমাণ নয়।
সাত দিন, কাস্টম ইতিহাস নয়
বর্তমান Screpy ভিউ ঘণ্টাভিত্তিক প্রবণতাসহ নির্ধারিত সাত দিনের সময়সীমা ব্যবহার করে। এটি যেকোনো তারিখসীমা বা দীর্ঘমেয়াদি বট ইতিহাসের প্রতিশ্রুতি দেয় না।
যাচাইকৃত ট্রাফিক, প্রতিটি স্বয়ংক্রিয় অনুরোধ নয়
ভিউটি সংযুক্ত জোনে উপলভ্য যাচাইকৃত বট বিভাগ থেকে তৈরি। এটি কাঁচা সার্ভার লগ এক্সপ্লোরার বা প্রতিটি স্ক্র্যাপারের পূর্ণ তালিকা নয়।
অ্যানালিটিক্স, ক্রলার নিয়ন্ত্রণ নয়
Screpy কার্যকলাপ ও প্রতিক্রিয়ার ফলাফল জানায়। বর্তমান ভিউ ক্রলার ব্লক করে না, অ্যাক্সেস নিয়ম বদলায় না, বট সতর্কতা পাঠায় না বা পূর্ণ অনুরোধ লগ এক্সপোর্ট করে না।
প্রশ্নের সঙ্গে মানানসই AI সার্চ ওয়ার্কফ্লো বেছে নিন।
ওয়েবসাইট অনুরোধের জন্য ক্রলার অ্যানালিটিক্স, পর্যবেক্ষিত উত্তরের জন্য AI দৃশ্যমানতা অথবা পুনরাবৃত্ত প্রতিক্রিয়া সমস্যায় বিস্তৃত প্রযুক্তিগত তদন্তের জন্য ওয়েবসাইট অডিট ব্যবহার করুন।
সাত দিনের যাচাইকৃত ক্রলার বিভাগ, অনুরোধের প্রবণতা, স্থানান্তরের পরিমাণ, প্রতিক্রিয়ার ফলাফল ও non-2xx পাথ পর্যালোচনা করুন।
নির্বাচিত প্রম্পটে ব্র্যান্ড উল্লেখ, উদ্ধৃতি, উৎস ডোমেন, উত্তরের অবস্থান, অনুভূতি, প্রতিযোগী ও শেয়ার অব ভয়েস পর্যবেক্ষণ করুন।
non-2xx বট অনুরোধ রিডাইরেক্ট, ভাঙা গন্তব্য, অভ্যন্তরীণ লিংকের সমস্যা বা পুনরাবৃত্ত টেমপ্লেট ত্রুটির ইঙ্গিত দিলে বিস্তৃত সাইট ক্রল করুন।
AI ও বট ট্রাফিক অ্যানালিটিক্সের সাধারণ প্রশ্ন
সংযুক্ত ডেটা উৎস, নির্ধারিত রিপোর্টিং সময়সীমা, যাচাইকৃত ক্রলারের পরিসর, প্রতিক্রিয়ার যুক্তি, URL বিশ্লেষণ এবং ক্রলার অ্যাক্সেস ও AI উত্তরের দৃশ্যমানতার পার্থক্য বুঝুন।
Screpy কোন ক্রলার শনাক্ত করতে পারে?
টেবিল সংযুক্ত অ্যানালিটিক্স উৎসে যাচাইকৃত বট হিসেবে শ্রেণিবদ্ধ ট্রাফিক দিয়ে শুরু হয়। অনুরোধ থাকলে Screpy Googlebot, Bingbot, OpenAI, Anthropic, Perplexity, Apple, Meta ও অন্যান্য পরিচিত পরিবারের সহজপাঠ্য পরিচয় যোগ করে। সারি প্রকৃত জোন ট্রাফিকের ওপর নির্ভর করে।
Screpy AI ও বট ট্রাফিক কী পরিমাপ করে?
Screpy প্রকল্পের সঙ্গে মিল থাকা Cloudflare জোনের অ্যানালিটিক্স ব্যবহার করে সর্বশেষ সাত দিনের যাচাইকৃত বট ট্রাফিক জানায়। ড্যাশবোর্ডে ঘণ্টাভিত্তিক বিভাগীয় প্রবণতা এবং প্রকাশক, বিভাগ, স্থানান্তরিত বাইট, মোট অনুরোধ, সফল ও non-2xx অনুরোধ এবং প্রতি-ক্রলার প্রবণতাসহ টেবিল থাকে।
Screpy AI ও বট ট্রাফিক কি সার্ভার লগ বিশ্লেষক?
না। Screpy মিলে যাওয়া Cloudflare জোনের উপলব্ধ সমষ্টিগত অ্যানালিটিক্স পড়ে; কাঁচা সার্ভার লগ গ্রহণ করে না বা প্রতিটি অনুরোধের ঘটনা দেখায় না। বিভাগ, ক্রলারের মোট সংখ্যা ও পাথের বিস্তারিত ভিন্ন গোষ্ঠীবিন্যাস ও উৎসের সীমা ব্যবহার করে; এগুলো পূর্ণ অনুরোধের খাতা নয় এবং সব মোট সংখ্যা হুবহু মেলার কথা নয়। উৎসের ডেটা না থাকলে অনুপলভ্য দেখায়।
AI বট ট্রাফিক কি প্রমাণ করে আমার কনটেন্ট AI উত্তরে ছিল?
না। অ্যানালিটিক্স রিপোর্টের সময়ে যাচাইকৃত ক্রলারের অনুরোধ ও প্রতিক্রিয়া নথিভুক্ত করে। ব্লক করা অনুরোধও থাকতে পারে, তাই ক্রলার কনটেন্ট ডাউনলোড করেছে কি না সেটিও প্রমাণিত হয় না। এটি ইনডেক্সিং, মডেল প্রশিক্ষণ, ব্র্যান্ড উল্লেখ, উদ্ধৃতি বা উত্তরে অন্তর্ভুক্তি প্রমাণ করে না। পর্যবেক্ষিত প্রম্পট ও সংরক্ষিত উত্তর দেখতে AI দৃশ্যমানতা ব্যবহার করুন।
ব্যর্থ ক্রলার URL কীভাবে তদন্ত করব?
প্রভাবিত ক্রলারের non-2xx সংখ্যা খুলে প্রতিটি পাথ ও HTTP স্ট্যাটাস দেখুন, তারপর প্রতিক্রিয়াটি ইচ্ছাকৃত কি না নির্ধারণ করুন। পরিবর্তনের আগে অপ্রত্যাশিত রিডাইরেক্ট, 4xx বা 5xx প্রতিক্রিয়াকে লাইভ রুট, অভ্যন্তরীণ লিংক, ক্যানোনিক্যাল গন্তব্য, ক্রল কনফিগারেশন ও বিস্তৃত ওয়েবসাইট অডিটের সঙ্গে যাচাই করুন।
বট ট্রাফিক ডেটা দেখানোর আগে কী প্রয়োজন?
প্রাসঙ্গিক জোন তালিকাভুক্ত ও অ্যানালিটিক্স পড়তে পারে এমন সক্রিয় Cloudflare API টোকেন যুক্ত করুন। Screpy প্রকল্প ডোমেনকে প্রবেশযোগ্য জোনের সঙ্গে মেলায়। অনুমতি, জোনের মিল বা ডেটাসেট না থাকলে বিকল্প ডেটার বদলে অনুপলভ্য অবস্থা দেখায়।
কোন ক্রলার অনুরোধ সফল বা ব্যর্থ হিসেবে গণ্য হয়?
Screpy HTTP 2xx প্রতিক্রিয়াকে সফল গণ্য করে। 2xx-এর বাইরের প্রতিক্রিয়া এই ভিউতে ব্যর্থ, তাই বিশ্লেষণে রিডাইরেক্টের পাশাপাশি ক্লায়েন্ট ও সার্ভার ত্রুটিও থাকতে পারে। সংশোধনের সিদ্ধান্তের আগে নির্দিষ্ট স্ট্যাটাস দেখুন।
এই পৃষ্ঠা থেকে Screpy কি AI ক্রলার ব্লক বা robots.txt পরিবর্তন করতে পারে?
না। বর্তমান ফিচারটি অ্যানালিটিক্স ও তদন্তের ভিউ। অ্যাক্সেস নিয়ন্ত্রণ, ফায়ারওয়াল নিয়ম, robots নির্দেশনা, ক্রলার সতর্কতা, রেফারেল অ্যানালিটিক্স ও CSV এক্সপোর্ট এই পৃষ্ঠা থেকে পরিচালিত হয় না।