সার্চ ইঞ্জিন কেন প্রত্যেকটা ওয়েবসাইটের জন্য ক্রল বাজেট নির্ধারণ করে??

 কিছুদিন আগেও গুগলের প্রায় অনেক সার্ভিস ডাউন হয়ে গিয়েছিল।  এ থেকে বুঝা যায় সার্চ ইঞ্জিনের রিসোর্স লিমিটেশন আছে । সেজন্যই তারা তাদের রিসোর্স কে মিলিয়ন এর উপর ওয়েবসাইট গুলোর মধ্যে নির্দিষ্ট অনুপাতে ভাগ করে দেয় ।  আর ওয়েবসাইট এ বিভিন্ন বিষয়ের উপর নির্ভর করে কার ভাগে কতটুকু পরবে সেটা নির্ধারণ করা। আর এই বিষয়টি হচ্ছে ক্রলিং বাজেট।

ক্রল বাজেট কিভাবে নির্ধারিত হয়?

 এ বিষয়টি মূলত দুটি বিষয়ের উপর নির্ভর করে।  একটা হচ্ছে ক্রল লিমিট অন্যটি হচ্ছে ক্রলের চাহিদা

ক্রল লিমিটঃ একজন মাস্টার এর চাহিদা অনুসারে ক্রল নির্ধারিত হয়।  এখানে পুরো বিষয়টি হোস্টিং , সাইট ডিজাইন এবং ওয়েবমাস্টারের চাহিদার সাথে যুক্ত । 

ক্রল  ডিমান্ডঃ  কোন ইউ আর এল টি  কত দ্রুত ক্রল হবে বা  পুনরায় কখন ক্রল করা হবে তা নির্ভর করে সেই ইউ আর এল টি পপুলারিটি,  ইউ আর টি কখন আপডেট হয় তার উপর। ক্রল বাজেট crawl space বা crawl time  নামেও পরিচিত ।

ক্রল বাজেট কি শুধুমাত্র পেইজের সাথে সম্পর্কিত??

উত্তর না। ক্রল বাজেট  শুধুমাত্র পেইজের সাথে সম্পর্কিত নয়।  আলোচনার সুবিধার্থে আমরা ইউ আর এল নিয়ে কথা বলছি কিন্তু বাস্তবতা হচ্ছে অনলাইনের প্রায় সব ধরনের ডকুমেন্ট যেমন জাভাস্ক্রিপ্ট সিএসএস ফাইল hreflang পিডিএফ সবকিছুই ক্রল হয় । 

ক্রল লিমিট

ক্রল লিমিট ক্রল   বাজেটের এটি গুরুত্বপূর্ণ  বিষয়। সার্চ ইঞ্জিনের ক্রলার গুলো  এমনভাবে ডিজাইন করা হয়েছে যেন তা ওয়েব সার্ভার এর উপরে অতিরিক্ত সৃষ্টি না করে।  সার্চ ইঞ্জিন এ বিষয়ে অনেক সতর্ক থাকে। বিভিন্ন ফ্যাক্টর আছে যা ক্রল লিমিটকে ইনফ্লুয়েন্স করে।

সাইটের অবস্থাঃ কোন সাইট যদি খুব দ্রুত রেন্সপন্স করে মানে সাইটের গতি তাহলে ক্রল লিমিট বেড়ে যায়। আর স্লো সাইট , সার্ভার এররের কারনে ক্রল লিমিট কমে যায় । সার্চ কন্সোলের মাধ্যমে চাইলে ক্রল লিমিট সেট করা যায় তবে সাইটের সেট করা মানেই ক্রল লিমিট বাড়বে বা কমবে এইটা বলা যায় না

হোস্টে  ওয়েবসাইট এর সংখ্যাঃ ক্রল   লিমিট ওয়েব সার্ভারের সাথে রিলেটেড।  আপনার হোস্টিং যদি শেয়ার্ড হোস্টিং হয় সেখানে যদি শত শত ওয়েবসাইট থাকে  এবং অসংখ্য ওয়েবসাইট থাকে তাহলে নিশ্চিত থাকতে পারেন আদার ওয়েবসাইটের ক্রল  লিমিট অনেক কম। কারণ ক্রল কোন লিমিট লিমিট হোস্টিং এর সাথে সম্পর্কিত। আরেকটা বিষয় ধরুন আপনার ওয়েবসাইটের ডেস্কটপ ভার্সন ও মোবাইল ভার্সন আলাদা আলাদা।সে ক্ষেত্রে আপনার লিমিট দুই ভার্সনের শেয়ার হয়। 

ক্রল  ডিমান্ডঃ ক্রল লিমিট এর মত ক্রল ডিমান্ড ও কয়টি বিষয়ের উপর নির্ভর করে।  একি ইউ আর এল কখন পুনরায় ক্রল হবে তা বিভিন্ন ফ্যাক্টর দিয়ে প্রভাবিত হয়। 

 জনপ্রিয়তাঃ  আপনার ইউ আর এল এর বিষয়টি কি পরিমান  সার্চ হয়, সেই ইউ আর এল এর ইন্টারনাল এবং এক্সটারনাল লিংক এর সংখ্যা উপর নির্ভর করে ক্রল ডিমান্ড বাড়ে বা কমে। 

নতুনত্বঃ  ইউ আর এল টি কতদিন পর পর আপডেট হয় তার উপর ক্রল  ডিমান্ড নির্ভর করে

পেইজ এর ধরনঃ  হোম পেইজ, ক্যাটাগরি পেজ,  ট্যাগ পেজ ইত্যাদি প্রতিনিয়ত চেঞ্জ হয়।  তাই এসকল পেইজে ক্রল ডিমান্ড অনেক বেশি ।  আবার টার্মস কন্ডিশন পেইজ কিংবা যোগাযোগের পাতায় পরিবর্তন হয় খুব কম তাই  এসবের ক্রল ডিমান্ড অনেক কম। 

এছাড়া  আপনার ওয়েবসাইটে যদি নতুন ডোমেইন এ মুভ  করে সে ক্ষেত্রে ক্রলার ডিমান্ড বাড়তে পারে কারণ এই সময় নতুন  ইউ আর এল ইনডেক্স করার প্রয়োজন হয় । ক্রলার ডিমান্ড ওর রেট দুটো মিলে ক্রলার বাজেট ঠিক হয় যার মাধ্যমে আপনার ওয়েবসাইটের কত টি ইউ আর এল ক্রল করতে পারে ক্রল করতে চায় তা জানা যায়।

ওয়েবসাইট ক্রল বাজেট  কিভাবে জানা যায়?

 আপনার সাইট যদি গুগল সার্চ কনসোল ভেরিফাইড করা থাকে তাহলে আপনার সাইটের সার্চ কনসোল থেকেই গুগলের ক্রল বাজেট  দেখতে পারেন। দেখার জন্য আপনার সাইটের পুরাতন সার্চ কনসোল যেতে হবে । সেখান থেকে Crawl > Crawl Stats আপনার সাইটের ক্রল স্টেট দেখতে পারবেন 

উপরের ছবিতে দেখা যাচ্ছে গুগল গড়ে প্রতিদিন ১৮৮২ টা পেজ ক্রল করে। পরিমাণটা কোন দিন বাড়ে কোন দিন কমে । আমি যদি গড় হিসাবটাই ধরি গুগল ৩০ দিনে ১৮৮২ x ৩০ = ৫৬৪৪০ টি পেজ ক্রল করে।

 এছাড়াও আমি সার্ভার লগে গুগল  বট কে কতটি পেইজ দেখছে আর কি পরিমান ডাটা নিচ্ছে তা দেখতে পারেন কিভাবে দেখবেন সে বিষয়ে আলাদা ভাবে একটি পোস্টে আলোচনা করব।

যে সকল কারনে  ক্রল বাজেট প্রভাবিত হয় ?

গুগোল এ বিষয়ে নির্দিষ্ট একটা গাইডলাইন দিয়েছে ।  তাদের পরীক্ষা-নিরীক্ষায় বিভিন্ন এনালাইসিস আমাদের সামনে উপস্থাপন করেছেন গ্যারি গুগলের একটি ব্লগ পোষ্টে

 যেসব ওয়েবসাইটে  কনটেন্ট এর মান খারাপ তাদের ক্ষেত্রে ক্রল ও ইনডেক্সিং এর নেগেটিভ প্রভাব আছে।  সে সকল ওয়েবসাইটে ক্রল ও ইনডেক্সিং দেরি হতে পারে . 

 যেসব কারণে কোন ওয়েবসাইট ক্রলিং এ  সমস্যা হতে পারে গুগোল এর দৃষ্টিতে তার তালিকা

1.  নেভিগেশন ও  সেশন আইডেন্টিফায়ার
2.  ডুপ্লিকেট কনটেন্ট
3.   হ্যাকড পেজ 
4.  ইনফিনিটি স্পেইস ও প্রক্সি
5.  লো কোয়ালিটি ও স্পাম কন্টেন্ট
6. ব্রোকেন ও রিডিরেক্ট লিংক
7. এক্সএমএল সাইটম্যাপ  ভুল ইউ আর এল যুক্ত রাখা
8. অতিরিক্ত লোডিং টাইম বা লোডিং টাইম আউট
9. অতিরিক্ত নো ইনডেক্স পেইজের সংখ্যা 

 উপরের বিষয়গুলোর কারণে  ক্রল বাজেট এর অপচয় হয়।  যার ফলাফলস্বরূপ আপনার সাইটের ভালো কন্টেন্ট ইনডেক্স হতে দেরি হতে পারে কিংবা রেংক পেতে দেরি হতে পারে

ক্রল বাজেট অপ্টিমাইজেশন

 আসুন জেনে নেই কিভাবে এই ক্রল বাজেট অপ্টিমাইজ করা যায় ।

ইউ আর এল প্যারামিটার

 ই কমার্স সাইট গুলোতে বিভিন্ন প্রোডাক্ট অনুসারে   প্রোডাক্ট সেল পেইজে বিভিন্ন প্যারামিটার যুক্ত করা হয়।  যেমন https://www.example.com/toys/cars?color=black এখানে ব্যবহারকারীর কালার সিলেকশন এর উপর নির্ভর করে নতুন একটি ইউ আর এল যুক্ত হয়েছে। 

 অধিকাংশ ক্ষেত্রেই ইউ আর এল প্যারামিটার সার্চ ইঞ্জিন  এর ক্রল করার কথা না । কারণ এসব ক্ষেত্রে কয়েক হাজার ইউ আর এল জেনারেট হয়।   ফলাফল ক্রলার ট্রাপ পরে । ক্রলার ট্রাপ নিয়ে নিচের প্রশ্ন উত্তর সেকশনে আলোপচনা করেছি । 

সৌভাগ্যবশত আমরা যারা ব্লগিং করি  এবং ওয়াডপ্রেস ইউজ করি তাদের ক্ষেত্রে কমেন্টের ইউ আর এল গুলো গুগোল  ডিফল্ট ভাবেই ক্রল করে না । তারপরও কয়েকটি সাইটে দেখেছি এই বিষয় ক্রল করতে ।  আপনার সাইটে বিষয়টি হচ্ছে কিনা সে বিষয়ে নিশ্চিত হওয়া জরুরি। 

রোবট  টেক্সট ফাইল এর মাধ্যমে নির্দিষ্ট  ইউ আর এল কে ক্রল করা থেকে বিরত রাখা যায়।  এছাড়া গুগল সার্চ কন্সোলের ইউ আর এল প্যারামিটার সেটিং নিশ্চিত করুন।  কিছু ক্ষেত্রে rel=”nofollow” যুক্ত করতে হয় ( ওয়ার্ডপ্রেসে খেতে প্রয়োজন হয় না) । ইউ আর এল প্যারামিটার  সার্চ কনসোল এর নিচের অংশে দেখতে পারেন। এখানে খেয়াল করে দেখবেন আমাদের কমেন্ট সেকশন টা ইউ আর এল প্যারামিটারে যুক্ত করা আছে

For a site of this size and scope, the improved crawl rate means that new and changed content is crawled a lot faster, and we see a much quicker impact of our SEO efforts in SERPs.

BARRY ADAMS

Polemic Digital

If Google misses content on your site, or crawl important URLs frequently enough because of limited crawl budget, then you are going to have a very hard time ranking indeed.

CYRUS SHEPARD

Zyppy

 গুগলের মত  বিং ওয়েব মাস্টার টুলেও  সার্চ প্যারামিটার সেট করার অপশন আছে।

ডুপ্লিকেট কনটেন্ট 

ডুপ্লিকেট কনটেন্ট মানে  একই ধরনের কনটেন্ট। গুগল বট যদি  আপনার ডুপ্লিকেট কনটেন্ট গুলো তেই সময় বেশি কাটায় তাহলে নতুন কনটেন্ট গুলো ইন্ডেক্স বা ক্রল  হতে সময় নেয় অনেক বেশি। তাই সর্বোচ্চ চেষ্টা করা উচিত ডুপ্লিকেট কনটেন্ট সাইটে যেন না থাকে বা কমিয়ে আনা যায়।  এটা ছাড়া অন্য কারণে ডুপ্লিকেট কনটেন্ট রেংকিং এ গুরুত্বপূর্ণ। 

 কিভাবে এই সমস্যা  সমাধান করবেন ?

•  আপনার ডোমেইনের বিভিন্ন ভেরিয়েশন নির্দিষ্ট  ফরমেটে রিডিরেক্ট করুন । যেমন HTTP, HTTPS, non-WWW, and WWW ইত্যাদি । 
•  ইন্টার্নাল সাইট সার্চ এর পাতা  সার্চ ইঞ্জিনে বন্ধ করে রাখুন। এক্ষেত্রে রোবট  ফাইল গুরুত্বপূর্ণ। যেমন নিচের রোবট ফাইলের কোড দেখতে পারেন।

User-agent: *
Disallow: /?s=
Disallow: /search/

• ছবির জন্য আলাদা পেজ যেন তৈরি না হয় সেদিকে খেয়াল রাখুন ।  বেশ কিছুদিন আগে ইস্ট এর একটি সমস্যার কারণে আলাদাভাবে ইমেজ ফাইল ইনডেক্স হয়ে গিয়েছিল এবং অনেক ওয়েব মাস্টার সমস্যায়  পরেছেন। 

লো কোয়ালিটি কনটেন্ট

যে সকল পেইজে খুব কম কন্টেন্ট আছে কিংবা সার্চ ইঞ্জিন এর ক্ষেত্রে গুরুত্বপূর্ণ নয় সে সকল পেজ কনটেন্টগুলোকে  লো কোয়ালিটি হিসেবে বিবেচনা করতে পারেন । এই ধরনের কনটেন্ট গুলো চেষ্টা করুন সরিয়ে ফেলার জন্য কিংবা কমিয়ে ফেলার জন্য।  যেমন অনেকেই এফ এ কিউ সেকশনে প্রতিটি প্রশ্নের জন্য আলাদা লিংক তৈরি করেন। এ ধরনের বিষয় গুলোকে কমিয়ে ফেলুন। কারন এইগুলা ক্রল বাজেটের অপচয় করে ।

ব্রোকেন এবং রিডিরেক্ট লিংক

 ব্রোকেন এবং রিডিরেক্ট লিংক সার্চ ইঞ্জিন বটকে ক্রলিং এর শেষ সীমায় পৌঁছে দেয়।  ব্রাউজারের মত সার্চ ইঞ্জিন বট সর্বোচ্চ পাঁচটি রিডিরেক্ট চেইন ফলো করতে পা্রে। এরপর সেখানেই থেমে যায় এবং নির্দিষ্ট সময় পর আবার ক্রল করে । তার অর্থ দাড়ায় ক্রল বাজেটের অপচয় হয় । তাই  যত কম সম্ভব রিডিরেক্ট ট্যাগ ব্যবহার করুন । 

 এটা মোটামুটি নিশ্চিত যে ব্রোকেন লিঙ্ক এবং রিডিরেক্ট লিংক কমিয়ে দিলে ক্রল বাজেট প্রচুর  উন্নতি করে। এছাড়াও ইউজার এক্সপেরিয়েন্স, লোডিং টাইম ইত্যাদির উন্নতি হয় ফলাফল হিসেবে রেংকিং এ পরিবর্তন আসে। 

অনলাইনে বিভিন্ন মাধ্যমে খুব সহজেই আপনি ব্রোকেন লিঙ্ক খুঁজে বের করতে পারেন।

এক্সএমএল সাইটম্যাপ এ ভুল ইউআরএল সাবমিট করা

 আমরা অধিকাংশই প্লাগিন ব্যবহারের মাধ্যমে এক্সএমএল সাবমিট করি।  ছোট একটা উদাহরণ দিলে বুঝা যাবে। ধরুন আপনি আপনার ওয়েবসাইটে নির্দিষ্ট পেজ কে নো ইন্ডেক্স করে রাখতে চান। নো ইন্ডেক্স করার জন্য আপনি আপনার ওই পোস্ট সেটিং এ রোবট ফাইল এর অপশনে   নো ইনডেক্স সিলেক্ট করে দিয়েছেন । আপনি হয়তো গুগোল এক্স এম এল সাইটম্যাপ প্লাগিন ব্যবহার করছেন সেখানে ঠিকই এক্সএমএল ফাইল সেই নো ইনডেক্স পেজটি গুগলে সাবমিট করা হয়ে গেছে। অর্থাৎ আপনি ভুল ইউ আর এল  সাবমিট করেছেন। 

 আপনার সাইটের  এক্সএমএল ফাইল টি  নিয়মিত চেক করুন দেখুন সেখানে কোন নো ইনডেক্স করা ইউ আর এল রয়ে গিয়েছে কিনা কিংবা কোন গুরুত্বপূর্ণ ইউ আর এল বাদ গিয়েছে কিনা । সাইট ম্যাপ  ক্রল বাজেট অপটিমাইজ করতে গুরুত্বপূর্ণ ভূমিকা রাখে।

এছাড়া গুগল ও বিং সার্চ ইঞ্জিনে সাইট ম্যাপ এ কোন এরর দেখা যাচ্ছে কিনা নিয়মিত চেক করুন।

পেজ লোডিং টাইম

 আপনার পেইজ যদি অতিরিক্ত পরিমাণে স্লো থাকে কিংবা  টাইম আউট হয়ে যায় তাহলে সার্চ ইঞ্জিন বোট তার বরাদ্দকৃত সময়ের মধ্যে খুব কম ব্রাউজ করতে পারে।  এছাড়াও অতিরিক্ত পরিমাণ লোডিং টাইম ইউজার এক্সপেরিয়েন্স এর জন্য ক্ষতিকর। অনেকেই 3 সেকেন্ড আবার অনেকেই 2 সেকেন্ডের নিচে সাইটের লোডিং টাইম নামিয়ে আনতে বলেন।  আপনার সাইটের লোডিং টাইম পিংডম, ওয়েবপেজটেস্ট, জিটিম্যাট্রিক্স ইত্যাদিতে নিয়মিত চেক করুন। 

গুগল সার্চ কনসোল এর ক্রল এরর গুলা নিয়মিত নজর রাখুন । বিং এ Reports & Data > Crawl সেকশনে এরর গুলা দেখুন । আপনার ওয়েব স্পীড গুগল এনালাইটিক্সের Behavior > Site Speed  অপশন থেকে চেক করতে পারেন। 

একটা পেয়েছি বিভিন্ন কারণে স্লো হয়ে যেতে পারে। সেক্ষেত্রে দেখা মাত্র সেটা ফিক্সড করুন

The best way to think about it is that the number of pages that we crawl is roughly proportional to your PageRank. So if you have a lot of incoming links on your root page, we’ll definitely crawl that. 

MATT CUTTS

Former Head of Google spam Team

You usually don’t have to worry about the crawl-rate of your important pages. It’s usually pages that are new, that you didn’t link to, and that people aren’t going to that may not be crawled often……….

PATRICK STOX

Patrick Stox

যদিও গুগল  পেইজ রেংককে বাদ দিয়েছে  তবে গুগোল এখনো পেইজ অথরিটিকে  অ্যালগরিদম এর অংশ হিসেবে ধরে।  পেজ অথরিটি মূলত তিনটি বিষয়ের উপর নির্ভর করে

•  সাইটের বয়স এবং বিশ্বাসযোগ্যতা
•  লিংক এর সংখ্যা
•  নতুনত্ব বা ফ্রেশনেস

অর্থ দাঁড়ায় ক্রল বাজেট বাড়াতে হলে পেজ অথরিটিও বাড়াতে হবে ।

ক্রল বাজেট নিয়ে কিছু প্রশ্ন ও গুগলের উত্তর 

প্রশ্নঃ  সাইটের গতি কি ক্রল  বাজেট কে প্রভাবিত করে??

 উত্তরঃ  গতি ইউজার এক্সপেরিয়েন্স এর জন্য একটি গুরুত্বপূর্ণ ফ্যাক্টর।  যা ক্রল রেটকে প্রভাবিত করে। স্পীডি সাইট মানে হেলদি সার্ভার। তাই একই সময়ে অনেক বেশি কন্টেন্টকে ক্রল করতে পারে গুগল বট। অন্যদিকে ৫০০ সার্ভার এরর মানে ক্রল স্লো হয়ে যায়। কানেকশন টাইম আউট হয়ে যায় । ফলাফল ক্রলিং স্লো হয়ে যায়।

ক্রলিং কি রেংকিং ফ্যাক্টর 

ক্রলিং সরাসরি রেংকিং ফ্যাকটর নয় । ক্রল রেটের পরিবর্তনের কারনে আপনি সরাসরি রেংকিং এ প্রভাব দেখতে পারবেন না । তবে ছোট ছোট বিষয় পরিবর্তন হওয়ার কারনে গুগল রেংকিং এ পরিবর্তন দেখতে পারেন । আর রেংকের পরিবর্তন হওয়ার জন্য সাইটকে অবশ্যই গুগল ক্রল করতে হবে। ছোট ছোট পরিবর্তনের কথা নিয়ে গুগলকে প্রশ্ন করেন ইয়োষ্টের সি ই ও তার উত্তরে গুগল নিশ্চিত করেন গুগল রেংকিং এ এইটি গুরুত্বপুর্ন

অল্টারনেট ইউ আর এল বা এম্বেড কন্টেন্ট কি ক্রল বাজেটকে প্রভাবিত করে ??

সব ধরনের ডকুমেন্টই ক্রলবাজেটকে প্রভাবিত করে। এমনকি সাইটের কন্টেন্ট যেমন এজাক্স, সি এস এস, জাভাস্ক্রিপ্ট , রিডিরেক্ট চেইন ইত্যাদি। 

ক্রল ডিলে ( Crawl-Delay ) এর মাধ্যমে কি গুগল বোটকে ক্রল করা সম্ভব ?

না সম্ভব নয় । রোবট ফাইলের ক্রল ডিলে গুগলের স্টান্ডার্ড নয়। গুগল বট ক্রল ডিলেকে প্রসেস করে না । 

নো ফলো করে রাখলে ক্রল বাজেটে প্রভাব পড়বে 

এটি নির্ভর করে। আপনার কোন পেজে নো ফলো করা মানে সেই পেজ গুগল ফলো করবে না । কিন্তু সেই পেজের লিংক অন্য পেজে ডু ফলো করা থাকলে তখন আবার গুগল ক্রল করবে। অনেক ক্ষেত্রে দেখা যায় ক্যাটাগরি পেজ নো ইন্ডেক্স ও নো ফলো করা থাকে কিন্তু মেনুতে ক্যটাগরি পেজ ডু ফলো করা । 

রোবট ফাইলে ডিস এলাউ করে রাখলে কি ক্রল বাজেট বাড়তে পারে ??

না, এই ক্ষেত্রে ক্রলবাজেটে প্রভাব পরে না । তবে আপনি চাইলে রিলেশন ট্যাগ ব্যবহার করতে পারেন । গুগল ক্রল বাজেট অপ্টিমাইজের জন্য কিছু সাজেশন দিয়েছে তার ব্লগ পোষ্টে । দেখুন এখানে । 

তবে ইউজলেস ডিরেক্টরি যদি ডিস এলাউ করে রাখেন তাহলে ক্রল বাজেট অবশ্যই উন্নত হবে ।

ক্রল বাজেট কি সকল সাইটের জন্য গুরুত্বপুর্ন ??

এসইও দের মধ্যে এই বিষয়ে মত পার্থক্য আছে , ইভেন জন মুলার , গ্যারি ও আগের ম্যাটকাট যেই বিষয়ে ভিন্ন ভিন্ন বক্তব্য দিয়েছেন । পুর্বের টুইট গুলা খুজে পাই নি তবে একটা টুইট খুজে পেয়েছি মুলারের। 

ক্রল বাজেট ও পেজিনেশন

এই বিষয়ে আমি পরের পোষ্টে বিস্তারিত আলোচনা করব । তবে পেজিনেশন ক্রল বাজেটের জন্য গুরুত্বপুর্ন । এই বিষয়ে এইবারের এস এম এক্স কনফারেন্সে লিলি রয় গুরুত্ব দিয়েছেন । উনার স্লাইডটাই আমি এখানে দিয়ে দিলাম

ক্রল বাজেট নিয়ে পড়তে পারেন: https://backlinko.com/hub/seo/crawl-budget

আশা করি আপনাদের এই বিষয় নিয়ে মোটামুটি ধারনা দিতে পেরেছি। যে কোন ধরনের প্রশ্ন কমেন্ট সেকশনে করার জন্য অনুরোধ করছি । আর আপনার মতামত জানাতে ও অন্যদের কাছে ছড়িয়ে দিতে ভুলবেন না ।