معرفی و رفع خطای Crawled ‐ currently not indexed

همانطور که می‌دانید؛ خطای Crawled ‐ currently not indexed، یکی از خطاهایی است که ممکن است بعد از اتمام طراحی سایت در هنگام سئو ممکن است در  سرچ کنسول مشاهده کنید. در واقع این خطا بدان معناست که Googlebot از یک صفحه مشخص بازدید کرده اما آن را ایندکس نکرده است. در نتیجه، صفحه در جستجوی گوگل ظاهر نمی‌شود. ما تصمیم گرفتیم در ادامه این مقاله به معرفی و رفع خطای Crawled ‐ currently not indexed بپردازیم. پس تا پایان این مقاله همراه ما باشید.

Crawled ‐ currently not indexed چیست؟

طبق اسناد رسمی گوگل، این وضعیت به این معنی است: «صفحه توسط گوگل خزیده شده، اما ایندکس نشده است. ممکن است در آینده ایندکس شود یا نشود. نیازی به ارسال مجدد این URL برای خزیدن نیست. بنابراین، اساساً آنچه ما می‌دانیم این است که:

1. گوگل قادر به دسترسی به صفحه است.
2. گوگل برای خزیدن در صفحه زمان گذاشت.
3. پس از خزیدن، گوگل تصمیم گرفت آن را ایندکس نکند.

کلید درک این وضعیت این است که فکر کنید چرا گوگل آگاهانه با ایندکس کردن صفحات مقابله می‌کند. می‌دانیم که گوگل در پیدا کردن صفحه مشکلی ندارد؛ اما بنا به دلایلی احساس می‌کند کاربران از پیدا کردن آن سودی نخواهند برد. این می‌تواند بسیار خسته کننده باشد، زیرا ممکن است ندانید که چرا محتوای شما ایندکس نمی‌شود.

رفع خطای Crawled ‐ currently not indexed

همانطور که گفتیم؛ گوگل پاسخ روشنی نمی‌دهد که چرا یک صفحه داده شده خزیده شده است اما ایندکس نشده است، اما چند دلیل احتمالی وجود دارد که نشان می‌دهد وضعیت ممکن است نشان داده شود. نحوه رفع این مشکل را با مراحل زیر بیاموزید.

ارائه محتوای با کیفیت بالا

به عنوان صاحب وب سایت، باید مطمئن شوید که صفحه شما محتوای با کیفیت بالا ارائه می‌دهد. بررسی کنید که آیا احتمالاً هدف کاربران شما را برآورده می‌کند و در صورت نیاز محتوای با کیفیت خوب اضافه کنید. گوگل لیستی از سوالات را برای کمک به شما در تعیین ارزش محتوای خود ارائه می‌دهد. جنبه دیگری که باید روی آن تمرکز کنید بهینه‌سازی محتوای تولید شده توسط کاربر در وب سایت شما است.

گوگل ممکن است صفحه را به عنوان محتوای با کیفیت پایین طبقه‌بندی کند. به یاد داشته باشید که گوگل نمی‌تواند تمام صفحات اینترنت را ایندکس کند. فضای ذخیره سازی آن محدود است، بنابراین باید محتوای با کیفیت پایین را فیلتر کند. هدف گوگل ارائه صفحاتی با بالاترین کیفیت است که به بهترین نحو به خواسته کاربران پاسخ دهد. اگر صفحه‌ای از کیفیت پایین‌تری برخوردار باشد، گوگل به احتمال زیاد آن را نادیده می‌گیرد تا فضای ذخیره‌سازی را برای محتوای با کیفیت بالاتر در دسترس بگذارد. ما می‌توانیم انتظار داشته باشیم که استانداردهای کیفیت در آینده سخت‌تر شوند.

index coverage خود را نظارت کنید.

URL ممکن است از وضعیت Crawled ‐ currently not indexed رنج ببرد. زیرا در گذشته ایندکس شده بود، اما گوگل تصمیم گرفت به مرور زمان آن را از ایندکس خارج کند. اگر تعجب می‌کنید که چرا، دلایل آن احتمالاً این است:

• با محتوای با کیفیت بالاتر جایگزین شد.
• تحت تاثیر الگوریتم جدیدی که عرضه شد.
• ناشی از یک باگ در سمت گوگل است. به عنوان مثال، Search Engine Land از ایندکس خارج شد. زیرا گوگل به اشتباه فرض کرد سایت هک شده است.

راه حل صفحات غیر ایندکس شده ارتباط نزدیکی با کیفیت آن‌ها دارد. همیشه باید اطمینان حاصل کنید که صفحه شما محتوای با بهترین کیفیت را ارائه می‌دهد و به‌روز است. تصور نکنید که وقتی یک صفحه ایندکس شد، دیگر نیازی به انجام کاری با آن ندارید؛ زیرا گوگل می‌تواند روش ارزیابی محتوای شما را در طول زمان تغییر دهد.

به عنوان مثال، ممکن است یک صفحه بدون محتوا ایندکس شود. با این حال، از آنجایی که ربات‌ها صفحه را دوباره می‌خزند، گوگل ممکن است آن را Crawled, currently not indexed در نظر بگیرد، علی‌رغم سیگنال‌هایی که قبلاً بسیار مهم دیده می‌شد.

برای نظارت آسان بر index coverage خود، از ZipTie (پلتفرم هوشمند SEO و ایندکس کردن فنی) استفاده کنید. ZipTie به شما امکان می‌دهد تا تاخیرهای ایندکس کردن را نظارت کنید و هر هفته میزان محتوایی را که ایندکس می‌شود به‌روزرسانی کنید. به نظارت بر صفحات خود ادامه دهید و در صورت لزوم تغییرات و بهبودها را اعمال کنید. پس از رفع مشکلات، می‌توانید URLهای تجزیه و تحلیل شده را به گوگل سرچ کنسول ارسال کنید تا به گوگل کمک کنید تا تغییرات را سریع‌تر متوجه شود.

طراحی ساختار (structure) یک وب سایت سالم

طراحی یک وب سایت خوب برای به حداکثر رساندن شانس ایندکس شدن برای شما، کلیدی است. این به ربات‌های موتور جستجو اجازه می‌دهد تا محتوای شما را کشف کنند و ارتباط بین صفحات را بهتر درک کنند. به همین دلیل است که ارائه یک طراحی وب سایت خوب و اطمینان از وجود لینک‌های داخلی به صفحه‌ای که می‌خواهید ایندکس شود بسیار مهم است. بیایید شرایطی را تصور کنیم که در آن صفحه‌ای با کیفیت خوب دارید، اما تنها راهی که گوگل آن را پیدا کرد این است که آن را در نقشه سایت (sitemap) خود قرار داده‌اید.

گوگل ممکن است به صفحه نگاه کند و آن را بخزد، اما از آنجایی که هیچ لینک داخلی وجود ندارد، فرض می‌کند که صفحه ارزش کمتری نسبت به سایر صفحات دارد. هیچ اطلاعات معنایی یا ساختاری برای کمک به ارزیابی صفحه وجود ندارد. این ممکن است یکی از دلایلی باشد که گوگل تصمیم گرفته است روی صفحات دیگر تمرکز کند و بعد از خزیدن آن را از ایندکس خارج کند.

محتوای تکراری خود را محدود کنید.

اول از همه، باید مطمئن شوید که صفحات اصلی ایجاد می‌کنید. گوگل می‌خواهد محتوای منحصر به فرد و ارزشمندی را به کاربران ارائه دهد. به همین دلیل است که وقتی در حین خزیدن متوجه می‌شود که برخی از صفحات یکسان یا تقریباً یکسان هستند، ممکن است تنها یکی از آن‌ها را ایندکس کند. متأسفانه، محتوای تکراری ممکن است اجتناب ناپذیر باشد (به عنوان مثال، شما یک نسخه موبایل و دسکتاپ دارید). شما کنترل زیادی روی آنچه در نتایج جستجو ظاهر می‌شود ندارید، اما می‌توانید نکاتی را در مورد نسخه اصلی به گوگل ارائه دهید. اگر متوجه شدید محتوای تکراری زیادی ایندکس می‌شود، عناصر زیر را ارزیابی کنید:

• تگ‌های Canonical: این تگ‌های HTML به موتورهای جستجو می‌گویند که کدام نسخه‌های اصلی هستند.
• لینک‌های داخلی: اطمینان حاصل کنید که لینک‌های داخلی به محتوای اصلی شما اشاره می‌کنند. گوگل ممکن است از آن به عنوان شاخصی برای اینکه کدام صفحه مهم‌تر است استفاده کند.
• sitemap (نقشه سایت) XML: مطمئن شوید که فقط نسخه Canonical در نقشه سایت (sitemap ) شما وجود دارد.

اما به یاد داشته باشید که اینها فقط نکاتی هستند و گوگل موظف به دنبال کردن آن‌ها نیست. اگر گوگل تگ Canonical شما را نادیده بگیرد، می‌توانید به لطف وضعیت Duplicate, Google chose different canonical than user آن را در GSC تشخیص دهید. شما می‌توانید برای کسب اطلاعات بیشتر در مورد این خطا، مقاله‌ی معرفی و رفع خطای Duplicate, Google chose different canonical than user را مطالعه نمایید.

تفاوت Crawled ‐ currently not indexed و Discovered ‐ currently not indexed

وضعیت Crawled ‐ currently not indexed معمولاً با یکی دیگر از مشکلات ایندکس شدن در گزارش Index Coverage با Discovered — currently not indexed اشتباه گرفته می‌شود. در واقع هر دو وضعیت نشان می‌دهد که صفحه ایندکس نشده است. با این حال، در مورد Crawled ‐ currently not indexed، گوگل قبلاً از صفحه بازدید کرده است. در همین حال، URL برای گوگل شناخته شده است در Discovered — currently not indexed، اما به دلایلی هنوز خزیده نشده است.

برخی از دلایل این وضعیت‌ها ممکن است مشابه باشند، از جمله صفحات بی‌کیفیت و مشکلات لینک داخلی. با این حال، هنگامی که وضعیت Discovered ‐ currently not indexed را می‌بینید، باید بیشتر بررسی کنید که چرا گوگل نمی‌تواند یا نمی‌خواهد به صفحه دسترسی پیدا کند. به عنوان مثال، ممکن است مشکلاتی در کیفیت کلی کل وب سایت، مشکلات مربوط به Crawl budget یا اضافه بار سرور را نشان دهد. شما می‌توانید برای کسب اطلاعات بیشتر در مورد این خطا، مقاله‌ی معرفی و رفع خطای Discovered ‐ Currently Not Indexed را مطالعه نمایید.

شما می‌توانید با مراجعه کردن به صفحه مقالات آموزشی ماکان، سایر مقالات ما را مطالعه کنید.
صفحه ما را در اینستاگرام دنبال کنید تا با مطالب روز در حوزه دیجیتال آشنا شوید.