بودجه خزش در سئو چیست؟ | روش های بهینه سازی Crawl budget

خودتان را بگذازید جای خزنده های بیچاره گوگل! اصلا شما ربات و تنها وظیفه تان هم خزش در صفحات تولید شده وب! انصاف است که میلیون ها میلیون صفحه جدید به طور پیوسته در سطح وب ایجاد شود و شما یک پایتان روی صفحه های قدیمی باشد و با یک دست صفحات جدید را نگه دارید؟ ربات ها هم فقط ربات اند، نه سوپر قهرمان. بنابراین خزش هم بودجه بندی می شود. برای اطلاع از جزییات و دلایل و روش های تعیین بودجه خزش در سئو سایت تا انتهای مطلب همراه آژانس دیجیتال مارکتینگ تاس باشید و بخوانید:

• بودجه خزش چیست؟
• بودجه کراول به چه منابعی اختصاص می یابد؟
• چطور از زمانبندی و میزان خزش سایت خود آگاه شویم؟
• روش بهینه سازی بودجه خزش

پیشنهاد می کنیم مطالعه کنید: بهترین ابزارهای تست سرعت سایت در سال ۲۰۲۱

بودجه خزش چیست؟

هر وبسایتی برای این که بتواند در موتورهای جستجو رتبه بگیرد بایستی ایندکس شود. پروسه ایندکس شدن به این ترتیب است که خزنده های گوگل وارد صفحات این سایت می شوند. و تک تک صفحات را بررسی می کنند. این خزنده ها گرچه ربات هستند اما توان محدودی دارند و در هر بازه زمانی تعداد صفحات مشخصی را بررسی می کنند. بنابراین اگر یک بار در صفحات شما خزش صورت گرفته باشد سهمیه یک نوبت خود را حرج کرده اید و برای دور بعدی بایستی منتظر بمانید.

آیا بودجه خزش فقط به صفحات وب محدود می شود؟

درواقع بودجه خزش عمدتا درباره صفحات بیان می شود. اما در اسناد دیگری مانند پرونده های JavaScript و CSS ، انواع صفحه تلفن همراه ، انواع hreflang و فایل های PDF نیز خزش انجام می شود و بنابراین بودجه خزش به آن ها نیز اختصاص می یابد.

بودجه خزش بر اساس چه عواملی تعیین می شود؟

این عامل با توجه به فاکتورهای زیادی تعیین می شود تا از فشار بر سرور جلوگیری شود.

عامل هاست

با توجه به هاستی که برای پشتیبانی سایت خود انتخاب می کنید، خدمات سرور را با سایت های دیگری که از آن استفاده می کنید مشترک می شوند. در واقع هرچه سایت بزرگتری داشته باشید و از هاست شلوغ تری استفاده کنید، بودجه خزش محدود تری به شما اختصاص می یابد. زیرا حد خزش در سطح  هاست با توجه به سایت های دیگری که در آن قرار دارند تقسیم می شود. اگر نیاز به بودجه بیشتری دارید بهتر است از سرور اختصاصی استفاده کنید. به این ترتیب احتمالا بازدید های بیشتر و زمان کمتری در بارگذاری را تجربه خواهید کرد.

عامل سایت غیر ریسپانسیو

یکی دیگر از مواردی که باید به آن توجه شود ، داشتن سایتهای جداگانه تلفن همراه و دسک تاپ است که در همان هاست اجرا می شوند. این مورد نیز می تواند خزش را با محدودیت مواجه کند.

تقاضای خزش/ زمان بندی خزیدن در عمل چطور کار می کند؟

تقاضای خزش و زمانبندی آن به این مساله مربوط است که URLهای سایت شما ارزش خزش مجدد دارند یا خیر. باز هم عوامل زیادی در این مورد تاثیر گذار هستند:

• محبوبیت: این که چند لینک داخلی و ورودی روی یک URL فعال است و چه میزان تقاضا برای آن وجود دارد می تواند ارزش خزش را تعیین کند.
• به روز رسانی: این که URL موردنظر هر چند وقت یک بار به روز رسانی می شود در زمانبندی خزش تاثیر گذار است.
• نوع صفحه: آیا صفحه موردنظر صفحه ای ثابت مثل درباره ما و سوالات رایج است؟ یا مثل صفحه محصولات دائما تغییر می کند؟

چرا بودجه خزش باید برای شما مهم باشد؟

شما می خواهید که سایت تان در اسرع وقت ایندکس شود و صفحات مهم آن به رتبه بندی گوگل راه پیدا کنند. اگر سایت بزرگی داشته باشید و صفحات غیر مهم را هم ایندکس کنید بودجه خزش را سوخت کرده اید. یعنی منابع محدود خود را به صفحاتی اختصاص داده اید که بازده خاصی برایتان ندارند. بهتر است به روش خزش و ایندکس شدن آگاهی کامل پیدا کنید تا بتوانید از این بودجه استفاده بهینه کنید.

باید بگوییم سایت های بزرگی با بیش از هزار صفحه در معرض خطرات جدی خزش قرار دارند.

چطور از بودجه خزش خود آگاه شویم؟

اگر سرچ کنسول را برای سایت خود فعال کرده اید مراحل زیر را طی کنید:

وارد Google Search Console شوید و یک وب سایت انتخاب کنید.
به Crawl> Crawl Stats بروید. در آنجا می توانید تعداد صفحاتی را که Google در روز می خزد ، مشاهده کنید. با صفحه ای شبیه به تصویر زیر مواجه خواهید شد:

در اینجا می بینیم که متوسط ​​بودجه خزش این سایت 27 صفحه در روز است. بنابراین از نظر تئوری، اگر این متوسط ​​بودجه خزیدن ثابت بماند ، این سایت در روز ۲۷ صفحه از این سایت می تواند عملیات خزش انجام شود که به عبارتی می شود ۸۱۰ صفحه در ماه!

حالا همین سایت با استفاده از روش های بهینه سازی توانسته آمار خود را ظرف دوسال به ۲۵۳ صفحه در روز برساند:

پس روش های بهینه سازی کراول را جدی بگیرید!

سرچ کنسول تنها راه اطلاع از میزان بودجه خزش نیست و شما می توانید گزارش های سرور یا Server Log را نیز بررسی کنید تا ببینید خزنده ها هر چند وقت یک بار به سراغ سایتتان می آیند. مقایسه دو گزارش می تواند نتایج دقیق تری به شما بدهد.

چطور بودجه خزش را بهینه کنیم؟

برای آن که بتوانید این کار را انجام بدهید بایستی با عواملی که باعث هدر رفت این سهمیه می شود، آشنا باشید. در واقع بررسی ها نشان می دهد که هدر رفت کراول در سایت های مختلف به دلایل مشترکی اتفاق می افتد. رایج ترین این دلایل عبارتند از:

۱. URL های قابل دسترسی با پارامترها:

یک مثال از URL با پارامتر https://www.example.com/toys/cars؟color=black است. در این حالت ، از پارامتر برای ذخیره انتخاب بازدید کننده در فیلتر محصول استفاده می شود.

۲. محتوای تکراری:

ما صفحاتی را که کاملاً مشابه یا دقیقاً یکسان هستند ، “محتوای تکراری” می نامیم. به عنوان مثال: صفحات کپی شده ، صفحات نتایج جستجوی داخلی و صفحات برچسب.

۳. محتوای بی کیفیت:

صفحاتی با محتوای بسیار کم یا صفحاتی که هیچ ارزشی اضافه نمی کنند.

۴.لینک های شکسته و ریدایرکت:

پیوندهای خراب پیوندهایی هستند که به صفحاتی ارجاع می دهند که دیگر وجود ندارند و پیوندهای هدایت شده پیوندهایی به URL هایی هستند که به URL های دیگر هدایت می شوند.

۵.  URL های نادرست در نقشه های سایت XML:

صفحات غیر صفحه ای و غیر صفحاتی مانند 3xx ، 4xx و 5xx URL نباید در نقشه سایت XML شما باشد.

۶. صفحات با زمان بارگذاری / اتمام زمان بالا:

صفحاتی که بارگیری آنها مدت زیادی طول می کشد یا اینکه بارگیری نمی شوند ، تأثیر منفی بر بودجه خزیدن شما دارند ، زیرا این نشانه ای برای موتورهای جستجو است که وب سایت شما از عهده آنها بر نمی آید درخواست ، و بنابراین آنها ممکن است حد خزیدن شما را تنظیم کنند.

۷. تعداد بالای صفحات noneindexable:

وب سایت حاوی صفحات زیادی است که قابل فهرست نیستند.

۸. ساختار پیوند داخلی بد:

اگر ساختار پیوند داخلی شما به درستی تنظیم نشده باشد ، موتورهای جستجو ممکن است به برخی از صفحات شما توجه کافی نداشته باشند.

جمع بندی

در این مطلب با چیستی بودجه خزش، چگونگی تعیین آن و عوامل موثر در بهینه سازی آشنا شدید. اگر هنوز سوالی درباره بودجه کراول در ذهن دارید که در این مطلب به آن نپرداخته ایم می توانید از بخش نظرات زیر همین پست از ما بپرسید و پاسخ بگیرید. در صورتی که تجربه مفیدی در این زمینه دارید می توانید از همین قسمت با سایر کاربران به اشتراک بگذارید. فراموش نکنید که همواره و برای تمامی خدمات سئو از جمله سئو در مشهد می توانید روی تاس حساب کنید.