نکات کلیدی در نرخ خزش (Crawl Budget) در سئو

در این مقاله قصد داریم تا نکات کلیدی در نرخ خزش یا Crawl Budget را برایتان توضیح دهیم. برای کسانی که در حوزه سئو فعالیت دارند این مقاله می‌تواند بسیار کاربردی باشد. پس بگذارید ابتدا در مورد یک سری تعاریف صحبت کنیم.

نرخ خزش

هر بار که خزنده‌های موتورهای جستجو به وب‌سایت شما سر می‌زنند و صفحات سایت شما را مورد بررسی قرار می‌دهند را نرخ خزش می‌گویند. شما برای بهینه کردن نرخ خزش وب‌سایت خود می‌توانید اعمالی را انجام دهید تا ربات‌های موتورهای جستجو بیشتر به سر بزنند. در ادامه به آن‌ها اشاره خواهیم کرد. زمانی که بازدید خزنده‌های موتور جستجوی گوگل از سایت شما بالا برود، متقابلا مطالب شما نیز با سرعت بیشتری ایندکس می‌شوند.

به چه شکل می‌توان نرخ خزش سایت را بررسی کرد؟

برای اینکه شما از نرخ خزش سایت اطلاع پیدا کنید و برخی دیگر از آمارهای موجود در سایت را ببینید، دو ابزار را برایتان در ادامه معرفی خواهیم کرد.

1- Google Search Console

اولی کاری که باید انجام دهید باید وارد سرچ کنسول گوگل شوید. پس از وارد شدن بر روی تنظیمات (Setting) کلیک کرده و در قسمت “Crawl stats” بر روی گزینه Open report بزیند.

سرچ کنسول گوگل

بعد از گذراندن مرحله قبل با صفحه‌ای مانند صفحه زیر مواجه می‌شوید که به شما اجازه می‌دهد تا در بازه‌های مختلف زمانی تمامی وضعیت وب‌سایت خود را مشاهده کنید.

performance سرچ کنسول گوگل

2- بررسی لاگ های سرور

در سرور لاگ سایت شما هر درخواستی که به سرور شما ارسال شده را در خود نگه می‌دارد. همینطور هر باری که خزنده‌های گوگل به وب‌سایت شما سر می‌زند، در سرور لاگ شما ثبت می‌شود. این آمار را هم می‌توانید به صورت دستی و هم با ابزارهای مختلف مورد بررسی قرار دهید. همچنین ابزارهای غیر رایگانی هم برای انجام این کار موجود می‌باشند.

بهینه‌سازی نرخ خزش

در اینجای مقاله می‌خواهیم نکات کلیدی در نرخ خزش، و اینکه به شکل می‌توان نرخ پرش را افزایش داد.

1- در فایل مربوط به Robots.txt دسترسی خزش صفحات سایت را فعال کنید.

قدم اول برای بهینه‌سازی نرخ خزش همین مورد می‌باشد. این فایل را شما می‌توانید با برنامه‌های ساده ویرایش متن ادیت کنید. ولی در وب‌سایت‌های بزرگ اگر به صورت دستی این کار را انجام دهید احتمال بروز مشکل وجود دارد. برای جلوگیری از اینگونه مشکلات بهتر است تا از پروتکل FTP استفاده کنید.

2- Redirect

به شدت حواستان به ریدایرکت‌های پشت سر هم باشد. اگر در سایت شما همچین چیزی وجود دارد آن را ویرایش کنید. ا‌گر وب‌سایت شما، وب‌سایت بزرگی است حتما از Redirect های 301 و 302 استفاده کنید. اگر زنجیره‌های ریدایرکت‌های شما در سایت زیاد باشد، برای ایندکس مطالب شما زمان بیشتری از خزنده موتور جستجو می‌گیرد و خزش روی صفخات شما را متوقف کرده و می‌رود.

ولی یک یا نهایتا دو آدرس وتغییر نرخ خزش سایت شما را کاهش نمی‌دهد، اما سعی کنید بیشتر از این نشود.

3- اسفاده کردن از HTML

موتورهای جستجو در خزش کدهای جاوا، خزنده‌های خود را بهینه کرده‌اند. همچنین در ایندکس و خزش فلش و XML نیز بهینه شده‌اند. پس اگر می‌خواهید نتیجه بهتری بگیرید سعی کنید بیشتر از کدهای HTML استفاده کنید. به دلیل اینکه با این کار تمامی خزنده‌های موتورهای جستجو از صفحات شما بازدید خواهند کرد و مطالب را با سرعت بیشتری ایندکس خواهند کرد.

4- خطاهای SSL و HTTP

برای بالا بردن نرخ خزش سعی کنید از خطاهای 404 و 410 نیز جلوگیری کنید. به دلیل اینکه این صفحات وجود خارجی ندارند، اما خزنده‌ها آن‌ها را بررسی می‌کنند و خزنده بیهوده وقت خود را برای خزش و ایندکس کردن این صفحات هدر می‌دهد. نتیجه آن هم کاهش نزخ خزش وب‌سایت شما است.

امکان دارد حتی نرخ خزش سایت شما را هم پایین نیاورد، ولی در کل نمره منفی برای سایت شما خواهد بود و برای کاربر این موضوع خوشایند نیست. برای همین دلیل است که به شدت توصیه شده تا ارورهای 400 و 500 را ویرایش کرده و تصحیح کنید. با انجام این کار شما از دیگر رقبایتان پیشی گرفته‌اید.

برای اطلاع یافتن از این نوع خطاها می‌توانید از ابزارهای آنلاین استفاده کنید. در زیر نام دو ابزاری که می‌تواند در این زمینه به شما کمک را آورده‌ایم:

• SE Ranking
• Screaming Frog

5- URL و لینک

خزنده‌ها هر کدام از url های سایت شما به عنوان یک صفحه می‌بیند و ایندکس آن‌ها برای نرخ خزش سایت شما بسیار حیاتی می‌باشد. پس در پارامترهایی که در لینک و url صفحات خود بسیار دقت کنید. شما با اطلاع رسانی به گوگل در این مورد می‌توانید نگرانی خود را در نرخ خزش صفحات خود را کاهش دهید.

با توضیحاتی که در بالا گفته بهترین کار این است که پارامترهای لینک و url خود را در سرچ کنسول گوگل ست کنید.

6- آپدیت کردن Sitemap

نکته حائز اهمیت برای بالا بردن نرخ خزش، بروز بودن نقشه سایت (Sitemap) می‌باشد. خزنده‌های موتورهای جستجو با استفاده Sitemap خیلی سریع لینک‌های داخلی شما را مکان‌یابی می‌کنند. نکته‌ای که در اینجا خیلی مهم می‌باشد، این است که شما در Sitemap خود از لینک کنونیکال استفاده کنید. همچنین چک کنید تا Sitemap شما در robots.txt با ورژن نهایی شما یکسان باشد.

7- تگ Hreflang

خزنده‌ها برای اینکه صفحه‌های داخلی وب‌سایت شما را مورد بررسی قرار دهند از تگ‌های hreflang استفاده کرده و شما هم سعی کنید وقتی از این تگ‌ها استفاده می‌کنید، حتما به گوگل اطلاع بدهید.

سرویس های چت آنلاین

حرف آخر

اگر تا به امروز این موضوع را نمی‌دانستید که نرخ خزش در کل برای وب‌سایت شما خوب است یا نه، جوابش بله هستش. نرخ خزش یکی از مباحث سئو می‌باشد که هر وب‌مستر و سئوکار باید به خوبی با آن آشنایی داشته باشد.