معرفی و رفع خطای Discovered ‐ Currently Not Indexed

همانطور که می‌دانید؛ خطای Discovered ‐ Currently Not Indexed، یکی از خطاهایی است که ممکن است بعد از اتمام طراحی سایت در هنگام سئو در گوگل سرچ کنسول مشاهده کنید. در واقع این خطا این بدان معناست که گوگل در مورد یک صفحه مشخص می‌داند اما آن را خزیده است و در حال حاضر ایندکس نشده است. سه دلیل برای URLهای Discovered – currently not indexed وجود دارد: کیفیت محتوا، لینک داخلی و بCrawl budget. هر مسئله راه حل های متفاوتی دارد. در ادامه این مقاله به آن‌ها و همجنین معرفی و رفع خطای Discovered ‐ Currently Not Indexed خواهیم پرداخت. پس تا پایان این مقاله همراه ما باشید.

وضعیت Discovered ‐ Currently Not Indexed به چه معناست؟

Discovered ‐ Currently Not Indexed به معنای دو چیز است. یکی، گوگل صفحه شما را پیدا کرده است. دوم، گوگل در حال حاضر صفحه شما را خزیده و ایندکس نکرده است. صفحه راهنمای گوگل سرچ کنسول به این دلیل اشاره می‌کند:

(به طور معمول، گوگل می‌خواست URL را بخزد، اما انتظار می‌رفت که سایت را بیش از حد بارگذاری کند. بنابراین گوگل خزیدن را دوباره برنامه‌ریزی کرد. به همین دلیل است که آخرین تاریخ خزیدن در گزارش خالی است)

این بدان معنا نیست که محتوای شما هرگز خزیده و ایندکس نمی‌شود. همانطور که اسناد گوگل بیان می‌کند، ممکن است گوگل بعداً بدون هیچ اقدامی در صفحه شما بازگردد.

با این حال، زمان بندی مجدد خزیدن توسط گوگل تنها یکی از چندین دلیل احتمالی برای این مشکل است. بیایید هر یک از دلایل احتمالی Discovered ‐ currently not indexed و نحوه رسیدگی به آن‌ها برای بهبود سئوی خود را بررسی کنیم.

7 راه حل برای URLهای Discovered ‐ currently not indexed .

1. مشکلات کیفیت محتوا را برطرف کنید.

گوگل نمی تواند همه چیز را در وب بخزد و ایندکس کند. هر سایتی باید استانداردهای کیفی را رعایت کند تا در حال اجرا باشد. گوگل روی خزیدن صفحات با کیفیت بالاتر تمرکز خواهد کرد و ممکن است به طور کلی از خزیدن صفحات با کیفیت پایین صرف نظر کند. بنابراین، اگر محتوای شما خزیده و ایندکس نشده است، ممکن است لازم باشد کیفیت آن را بررسی کنید.

این فقط در مورد صفحات گزارش شده به عنوان Discovered ‐ currently not indexed اعمال نمی‌شود. همچنین می‌تواند در مورد کیفیت کل سایت باشد. شما نمی‌توانید دقیقاً بدانید که گوگل کیفیت وب سایت شما را چگونه ارزیابی می‌کند. اما چندین کار وجود دارد که می‌توانید برای شروع به رفع این مشکل انجام دهید.

• دستورالعمل‌های ارزیابی کیفیت را دنبال کنید.
• اطمینان حاصل کنید که هر صفحه آسیب دیده حاوی محتوای منحصر به فرد است.

دستورالعمل‌های ارزیابی کیفیت را بخوانید.

توصیه می‌کنیم دستورالعمل‌های ارزیابی کیفیت گوگل را بررسی کنید. دستورالعمل‌های ارزیابی کیفیت نحوه رتبه‌بندی کیفیت محتوای صفحه وب را شرح می‌دهد.

اطمینان حاصل کنید که محتوای منحصر به فرد دارید.

اگر گوگل فکر کند URLهای شما تکراری هستند، ممکن است نادیده بگیرد. از آنجایی که منابع گوگل محدود است، بر خزیدن (و ایندکس کردن) با ارزش‌ترین URLها تاکید دارد. این مستلزم داشتن محتوای منحصر به فرد است که هدف کاربر خاص را هدف قرار می‌دهد. به یاد داشته باشید که گوگل می‌تواند تگ‌های canonical ایجاد شده به درستی را نادیده بگیرد. اگر گوگل تگ canonical شما را نادیده بگیرد، می‌توانید به لطف وضعیت Duplicate, Google chose different canonical than user آن را در GSC تشخیص دهید. لیست URLهای تحت تأثیر را مرور کنید و مطمئن شوید که هر صفحه حاوی محتوای منحصر به فرد است. این احتمال خزیدن و ایندکس شدن صفحه شما را افزایش می‌دهد. علاوه بر آن، به کیفیت وب سایت شما می‌افزاید و رضایت کاربران را افزایش می‌دهد.

2. بهترین شیوه‌های لینک داخلی را دنبال کنید.

Googlebot لینک‌های داخلی را دنبال می‌کند تا صفحات مختلف سایت شما را کشف کند و ارتباطات آن‌ها را درک کند. لینک‌های داخلی همچنین به گسترش PageRank کمک می‌کنند، سیگنالی از اهمیت صفحه که در رتبه بندی استفاده می‌شود. فرض کنید گوگل لینک‌های کافی به یک URL را پیدا نمی‌کند. در این صورت، ممکن است به دلیل سیگنال‌های ناکافی که به اهمیت آن اشاره می‌کنند، از خزیدن رد شود. ممکن است گوگل فرض کند صفحاتی که لینک‌های داخلی ضعیفی دارند، بی‌اهمیت هستند. در نتیجه، این صفحات ممکن است تحت وضعیت Discovered ‐ currently not indexed قرار بگیرند.

لینک داخلی مناسب شامل اتصال صفحات شما برای ایجاد یک ساختار منطقی است. این ساختار به موتورهای جستجو و کاربران اجازه می‌دهد تا سلسله مراتب صفحات شما و نحوه اتصال آن‌ها را درک کنند. با استفاده صحیح از لینک‌های داخلی، هم به Googlebot کمک می‌کنید همه محتوای شما را پیدا کند و هم شانس آن را برای رتبه‌بندی بالا افزایش دهید. در زمینه اصلاح Discovered ‐ currently not indexed، لینک داخلی به صفحاتی که خزیده و ایندکس نشده‌اند، شانس آن‌ها را برای دریافت توسط گوگل افزایش می‌دهد. برخی از بهترین روش‌ها برای لینک داخلی عبارتند از:

• در مورد محتوای اصلی خود تصمیم بگیرید و صفحات دیگر را به آن لینک دهید.
• لینک‌های متنی را در محتوای خود اعمال کنید.
• لینک صفحات بر اساس سلسله مراتب، به عنوان مثال، لینک صفحات اصلی به صفحات تکمیلی و بالعکس.
• وب سایت خود را با لینک‌ها اسپم نکنید.
• anchor text را بیش از حد بهینه نکنید.
• لینک‌های به محصولات یا پست‌های مرتبط اضافه کنید.
• لینک‌های داخلی را به صفحات یتیم (orphan pages) ناخواسته اضافه کنید.

اهمیت بهینه سازی Budget optimization

Budget optimization تعداد صفحاتی است که Googlebot می‌تواند و می‌خواهد در یک وب سایت بخزد. عواملی که Crawl budget سایت را تعیین می‌کنند عبارتند از:

محدودیت سرعت خزیدن : چند صفحه گوگل می‌تواند بخزد. محدودیت نرخ بر اساس قابلیت‌های سرور شما تنظیم می‌شود.

تقاضای خزیدن : بر اساس اهمیت صفحه، گوگل می‌خواهد چند صفحه را بخزد. محبوبیت صفحه و دفعات به‌روزرسانی صفحه اهمیت را تعیین می‌کند. هر وب سایتی ممکن است از مشکلات بودجه بهینه سازی رنج ببرد. با این حال، آن‌ها در وب سایت‌های بزرگ رایج هستند. هرچه یک وب سایت بزرگ‌تر باشد، به دلیل بودجه ناکافی برای خزیدن، احتمال بیشتری وجود دارد که صفحات خزیده نشده داشته باشد. Discovered ‐ currently not indexed اغلب نتیجه مسائل مربوط به Crawl budget است. اگر تقاضای خزیدن خیلی کم باشد یا سرعت خزیدن محدود باشد، برخی از صفحات شما خزیده نخواهند شد. عوامل زیادی می‌توانند باعث مشکلات مربوط به Budget optimization شوند، از جمله:

• لینک سازی داخلی ضعیف
• به گوگل اجازه می‌دهد محتوای با کیفیت پایین را بخزد.
• نداشتن نقشه سایت (sitemap) کافی
• اشتباهات در اجرای تغییر مسیرها (redirects)
• سرورهای پر بار
• وب سایت‌های پر منابع

ما قبلاً اهمیت لینک داخلی را بررسی کرده ایم. اکنون، بیایید به عوامل دیگری که باعث مشکلات Crawl budget می‌شوند بپردازیم.

3. از خزیدن و ایندکس کردن صفحات با کیفیت پایین توسط گوگل جلوگیری کنید.

اجازه دادن به گوگل بدون محدودیت در کل وب سایت شما دو پیامد منفی دارد. اول از همه، Googlebot از هر صفحه در وب سایت شما بازدید می‌کند تا زمانی که Budget optimization آن تمام شود. اگر Googlebot صفحات با کیفیت پایین را می‌خزد، ممکن است قبل از اینکه به ضروری‌ترین صفحات شما برسد، به حد مجاز خزیدن خود برسد. ثانیاً، اگر به گوگل اجازه دهید صفحات با کیفیت پایین را بخزد و ایندکس کند، ممکن است کمتر به کیفیت کل وب سایت شما فکر کند. این می‌تواند به رتبه‌بندی شما آسیب برساند، اما همچنین تقاضای خزیدن را کاهش می‌دهد و یک چرخه معیوب از مسائل مربوط به Budget optimization ایجاد می‌کند. صفحات با کیفیت پایین عبارتند از:

• مطالب قدیمی
• صفحاتی که توسط کادر جستجو در یک وب سایت ایجاد می شوند.
• محتوای تکراری
• صفحات ایجاد شده با اعمال فیلترها
• محتوای تولید شده به صورت خودکار
• محتوای ایجاد شده توسط کاربر

اگر در حال حاضر با محتوای ایندکس نشده مشکل دارید، باید از خزیدن و ایندکس کردن آن صفحات توسط گوگل جلوگیری کنید. صفحات با کیفیت پایین را از خزیدن در فایل robots.txt خود مسدود کنید و از متا تگ noindex برای جلوگیری از ایندکس شدن استفاده کنید. شما می‌توانید برای کسب اطلعات بیشتر در مورد فایل robots.txt، مقاله‌ی فایل robots چیست و چگونه آن را بسازیم را مطالعه نمایید.

4. یک نقشه سایت (sitemap) بهینه ایجاد کنید.

یک نقشه سایت (sitemap) بهینه شده می‌تواند ربات گوگل را در فرآیند خزیدن و ایندکس کردن راهنمایی کند. این در اصل نقشه‌ای است که گوگل از آن برای عبور از محتوای شما استفاده می‌کند. اما، اگر نقشه سایت (sitemap) شما به درستی بهینه نشده باشد، می‌تواند بر Budget optimization شما تأثیر منفی بگذارد و منجر به از دست دادن محتوای مهم شما توسط Googlebot شود. نقشه سایت (sitemap) باید شامل موارد زیر باشد:

نشانی‌های اینترنتی با کد وضعیت 200 پاسخ (OK) می‌دهند.
نشانی‌های اینترنتی بدون تگ‌های متا روبات‌ها که مانع ایندکس شدن آن‌ها می‌شود.
فقط نسخه‌های canonical صفحات شما
تصویر زیر نمونه‌ای از فایل ایندکس نقشه سایت (sitemap) XML است.

5. تغییر مسیرها (redirects) را برطرف کنید.

باید از تغییر مسیر زنجیره‌ها (redirect chains) و حلقه‌ها اجتناب کنید. Redirect chains زمانی هستند که می‌خواهید ترافیک را از صفحه A به صفحه B هدایت کنید، اما ابتدا به صفحه C تغییر مسیر (redirect) دهید. حلقه‌های تغییر مسیر (Redirect loops) زمانی هستند که یک زنجیره تغییر مسیر ایجاد می‌کنید که در همان صفحه شروع و به پایان می‌رسد و کاربران و ربات‌ها را در یک حلقه بی‌پایان به دام می‌اندازد. هر دو، گوگل را مجبور می‌کنند تا چندین درخواست غیرضروری را به سرور شما ارسال کند و Budget optimization شما را کاهش دهد. در صورتی که تغییر مسیرهای شما به درستی کار نکند، ممکن است در گوگل سرچ کنسول در وضعیت Redirect error قرار بگیرند. شما می‌توانید برای کسب اطلاعات بیشتر دربارع این خطا در سرچ کنسول، مقاله‌ی معرفی و رفع خطای Redirect error را مطالعه نمایید.

برای اینکه Budget optimization خود را صرف تغییر مسیرهای غیرضروری نکنید، به صفحات تغییر مسیر (redirect) داده شده لینک ندهید. در عوض، آن‌ها را به‌روز کنید تا به 200 صفحه OK اشاره کنند. همچنین، همیشه مطمئن شوید که بهترین روش‌ها را برای اجرای تغییر مسیرها (redirect) رعایت می‌کنید.

6. تعمیر سرورهای بارگذاری شده بیش از حد

مشکلات خزیدن ممکن است به دلیل بارگیری بیش از حد سرور شما اتفاق بیفتد. اگر Googlebot به دلیل بارگیری بیش از حد سرور شما نتواند از صفحه خاصی بازدید کند، فعالیت خزیدن خود را کاهش می‌دهد (crawl demand). این ممکن است باعث شود برخی از محتوای شما خزیده نشود. گوگل سعی خواهد کرد در آینده از وب سایت شما بازدید کند، اما کل فرآیند ایندکس کردن به تعویق خواهد افتاد. شما باید با ارائه دهنده هاست خود برای هر گونه مشکل سرور در سایت خود بررسی کنید.

در همین حال، گزارش آمار خزیدن خود را در گوگل سرچ کنسول بررسی کنید. گزارش را باز کنید، دامنه خود را انتخاب کنید و روی میانگین زمان پاسخ (ms) کلیک کنید. این به شما نشان می‌دهد که چقدر طول می‌کشد تا سرور شما بارگذاری شود. احتمالاً متوجه ارتباطی بین کل درخواست‌های خزیدن و میانگین زمان پاسخ خواهید شد.

7. وب‌سایت های پر منابع را رفع کنید.

وب سایت های پر منابع دلیل دیگری برای مشکلات خزیدن هستند. اگر صفحه‌ای خواستار خزیدن و رندر شدن چندین منبع اضافی باشد (مانند چندین شیوه نامه CSS یا فایل‌های جاوا اسکریپت)، تأثیر منفی خاصی بر Budget optimization شما دارد. این به این دلیل است که هر منبعی که Googlebot برای ارائه صفحه شما استفاده می‌کند در Budget optimization شما به حساب می‌آید. شما باید فایل های جاوا اسکریپت و CSS (متخلفان برتر) سایت خود را بهینه کنید. بهینه سازی این فایل‌ها تاثیر منفی کد شما را کاهش می‌دهد.

چه زمانی صفحات Discovered ‐ currently not indexed را بهینه کنیم؟

در برخی موارد، نشانی‌های اینترنتی که وضعیت Discovered ‐ currently not indexed دارند، نیازی به به‌روزرسانی ندارند. لازم نیست کاری انجام دهید اگر:

تعداد URLهای تحت تأثیر کم است و با گذشت زمان خزیده و ایندکس می‌شوند.
این گزارش حاوی نشانی‌های اینترنتی است که نباید خزیده یا ایندکس شوند، به‌عنوان مثال، آن‌هایی که دارای تگ‌های canonical یا «noindex» هستند، یا آن‌هایی که توسط robots.txt مسدود شده‌اند.

بسیار مهم است که بررسی کنید آیا URLهای شما باید در وهله اول خزیده شوند یا خیر. طبیعی است که برخی از صفحات به عنوان Discovered ‐ currently not indexed گزارش شوند. اما اگر:

• تعداد URLها افزایش می‌یابد.
• URL‌های ضروری وضعیت Discovered ‐ currently not indexed هستند.

سپس باید URLهای آسیب دیده را بررسی و بهینه سازی کنید؛ زیرا این امر می‌تواند منجر به کاهش رتبه و ترافیک قابل توجه شود.

ابزار بازرسی URL

هنگامی که تصمیم گرفتید محتوا و URL‌های خود را به‌روز کنید، می‌توانید درخواست کنید که صفحات خاصی از طریق ابزار بازرسی URL گوگل ایندکس شوند. ابزار بازرسی URL را در گوگل سرچ کنسول باز کنید. URL مورد نظر برای ایندکس کردن را در نوار جستجو در بالای صفحه جای‌گذاری کنید.

استفاده از ابزار بازرسی URL برای درخواست ایندکس کردن تضمین نمی‌کند که صفحه مشخصی خزیده شده و ایندکس می‌شود. این فقط یک سیگنال به گوگل ارسال می‌کند که می‌خواهید این صفحه با اولویت بالا خزیده و ایندکس شود.

شما می‌توانید با مراجعه کردن به صفحه مقالات آموزشی ماکان، سایر مقالات ما را مطالعه کنید.
صفحه ما را در اینستاگرام دنبال کنید تا با مطالب روز در حوزه دیجیتال آشنا شوید.