Crawl budget چیست
به تعداد صفحاتی که در یک بازه زمانی مشخص در وب‌سایت شما ایندکس می‌شوند، crawl budget گفته می‌شود. در واقع نرخ خزش به میزان توجهی گفته می‌شود که ربات‌های خزنده گوگل نسبت به وب‌سایت شما دارند و خیلی از موارد بودجه که در وب‌سایت شما وجود دارد بر حسب تعداد لینک‌های ورودی و نرخ بازدید برسی و مشخص خواهد شد. هر میزان که ربات‌های خزنده گوگل به وب‌سایت شما توجه بیشتری داشته باشند میزان خزش وب‌سایت شما بالا خواهد رفت.
چه دلایلی سبب می‌شود تا Crawl budget تلف شود
دلایل تلف شدن crawl budget:
۱_ عدم SEO friendly URL در وب‌سایت
استفاده کردن از این نوع color=red که باعث خواهد شد تا تاثیرات منفی در Crawl budget وب‌سایت شما به وجود آورد.
۲_ لینک‌های شکسته
لینک‌های ریدایرکت شده یا شکسته این قابلت را دارند تا همانند یک زنجیره‌ای، ربات های گوگل را با یک سردرگمی زیادی مواجعه کنند. میزان این سردرگمی‌ها اگر زیاد شود باعث می‌شود تا Crawl budget زیادی از شما به هدر رود، توجه داشته باشید که تا جایی که نیاز نداشتید از آنها استفاده نکنید و یا اگر نیاز داشتید به صورت درست و اصولی از آنها استفاده کنید.
۳_ محتواهای بی کیفیت
زمانی که صفحات بی‌کیفیت در وب‌سایت قرار می‌گیرند باید توجه داشت که این صفحات نباید به گوگل معرفی شوند، زیرا اگر گوگل در جریان این صفحات قرار گیرد باعث مصرف شدن Crawl budget زیادی از شما خواهد شد.
میزان Crawl budget وب‌سایت چگونه مشخص خواهد شد
برای اینکه میزان Crawl budget وب‌سایت را به دست آوریم باید بدانیم بودجه مورد نیاز هر وب‌سایت چگونه مشخص می‌شود و با استفاه از دو ابزار که گوگل در اختیار ما قرار داده است می‌توانیم بفهمیم که تقاضای خزش و بودجه‌ای که یک وب‌سایت نیاز دارد چقدر است:
1- Crawl Demand / Crawl Scheduling
اینکه کدامیک از صفحات وب‌سایت شما ارزش آن را خواهند داشت تا دوباره خزش شوند، این عامل در نرخ بودجه وب‌سایت تاثیر گذار خواهد بود. ارتباطی که درمیان Crawl Demand / Crawl Scheduling و نرخ خزش یک وب‌سایت با توجه به عواملی تعیین می‌شوند که این عوامل عبارتند از:
- محبوبیت صفحه یکی از این موارد است، اینکه این صفحه از چه تعدادی لینک داخلی و لینک خارجی با کیفیت برخوردار است از عواملی است که در ارزش گذاری صفحه نقش مهمی را ایفا میکند
- آن لینک‌هایی که در نقشه یک وب‌سایت قرار دارند از اولویت بالاتری برای خزش برخوردار هستند
- محتوای هر صفحه باید تازه باشد و این محتوا باید پس از گذر مدت زمانی بروزرسانی گردد
- نوع صفحه نیز در ارزش گذاری صفحه تاثیر بالایی خواهد داشت به عنوان مثال در زمان مقایسه کردن دو صفحه از وب‌سایت با یکدیگر امکان اینکه محتوا تغییر داده شود چقدر است؟
2- Crawl Limit/Host Load
شما برای اینکه قادر باشید تا نرخ Crawl budget وب‌سایت را محاسبه کنید باید از این موضوع اطلاع داشته باشید که منابع سرور وب‌سایت شما تا چه حد می‌توانند تعداد خزش را تحمل کنند.
زمانی که گوگل تصمیم میگیرد تا یک صفحه از وب سایت شما را خزش کند در این بین یک درخواست به سرور شما فرستاده خواهد شد که به منابع موجود در وب‌سایت دسترس لازم را داشته باشد، وقتی که تعداد زیادی از این درخواست‌ها را ربات‌های گوگل می‌فرستند، حجم موجود زیادتر از حجمی است که سرورها درخواست داده‌اند و در این میان سرور نمی‌تواند این درخواست‌ها را پاسخ دهد. این عامل سبب می‌شود که وب‌سایت از کار بیفتد وبه اصطلاح وب‌سایت down خواهد شد.
سخن پایانی
در برخی مواقع امکان دارد که ایندکس کردن وب‌سایت توسط گوگل با مشکل مواجعه شود و این پروسه امکان دارد زمان زیادی مثلا چند هفته طول بکشد که این زمان باعث خواهد شد تا وب‌سایت شما در زمینه سئو ضرر کرده و به آن لطمه وارد شود.
به عنوان مثال در خیلی از موارد شاهد این هستیم که لندینگ پیجی که به تازگی بهینه شده است امکان دارد گوگل آن را ایندکس نکند و با وجود این مشکل شما دیگر نمی‌توانید کاربران و مخاطبان وب‌سایتتان را از کمپین‌های تبلیغاتی که راه انداخته‌اید با خبر سازید. در این مواقع شما باید بودجه‌ای را که برای خزش در نظر گرفته‌اید را بهینه کنید و از Crawl budget استفاده کنید.
