معرفی و رفع خطای Excluded by noindex tag

«Excluded by noindex tag» یک وضعیت در گوگل سرچ کنسول است که ممکن است شما بعد از طراحی سایت در هنگام سئو آن با آن مواجه شوید. یعنی URL خود را با تگ noindex علامت گذاری کرده‌اید. گوگل آن URL را پیدا کرده و خزیده است اما آن را ایندکس نکرده است. در ادامه این مقاله به معرفی و رفع خطای Excluded by noindex tag می‌پردازیم. پس تا پایان این مقاله همراه ما باشید.

دلایل ایجاد Excluded by noindex tag در گوگل سرچ کنسول

استفاده از متا تگ noindex مانع از ایندکس کردن یک صفحه وب خاص توسط گوگل و سایر موتورهای جستجو می‌شود. اگرچه نتیجه این عمل یکسان است، صفحه شما ایندکس نمی‌شود، ممکن است نیت شما متفاوت باشد. در ادامه متداول‌ترین دلایل وضعیت «Excluded by noindex tag» را به شما معرفی می‌کنیم :

کنترل ایندکس شدن با تگ noindex

اگر آگاهانه صفحه‌ای را از ایندکس شدن مسدود کرده‌اید، لازم نیست نگران وضعیت «Excluded by noindex tag» باشید. به یاد داشته باشید که همه صفحات شما نباید ایندکس شوند. به عنوان مثال، شما باید ایندکس شدن محتوای بی‌کیفیت یا تکراری خود را کنترل کنید. صرفه‌جویی در منابع گوگل برای ایندکس کردن صفحات ارزشمند شما بسیار مهم است.

استفاده اشتباهی از متا تگ noindex

مسدود کردن صفحات ضروری خود با تگ noindex به طور ناخواسته مانند بدترین کابوس سئو به نظر می‌رسد. این نشانه‌ای از هرج و مرج در وب سایت شما است، و این هرج و مرج می‌تواند به قیمت قابل مشاهده بودن جستجو باشد. همچنین ممکن است به این معنی باشد که استراتژی ایندکس شدن خود را مشخص نکرده‌اید یا اولویت‌های شما برای ایندکس شدن محتوا تغییر کرده است. مثال دیگر زمانی است که در حین انتقال وب سایت، تگ noindex را فراموش می‌کنید.

بخش پیشنهادی مهاجرت وب سایت ایجاد یک نسخه مرحله‌ای از وب‌سایت شما برای تست تمام تغییراتی است که می‌خواهید با این حرکت اجرا کنید. با داشتن محیط استیجینگ خود، باید دسترسی ربات‌ها به آن را با رمز عبور یا تگ noindex مسدود کنید. با این حال، هنگام انتقال وب سایت خود از محیط مرحله به مرحله تولید، ممکن است حذف تگ noindex را نادیده بگیرید.

یکی دیگر از اشتباهات رایج، داشتن یک صفحه با علامت noindex و اضافه کردن آن به نقشه سایت (sitemap) شما است. ارسال یک URL به نقشه سایت (sitemap) و استفاده از تگ noindex با یکدیگر تناقض دارند.

چرا؟

زیرا نقشه‌های سایت XML شما باید فقط حاوی URLهای قابل ایندکس شدن باشد که می‌خواهید ربات‌ها از آن‌ها بازدید و ایندکس کنند. قبل از به‌روزرسانی گزارش ایندکس شدن صفحه (Index Coverage) در سال 2022، این مشکل حتی به عنوان وضعیت گوگل سرچ کنسول جداگانه شناخته می‌شد (URL ارسال شده با علامت noindex). در این حالت، گوگل فکر می‌کند که می‌خواهید صفحه شما را ایندکس کند، زیرا آن را به فایل نقشه سایت (sitemap) خود ارسال کرده‌اید. با این حال، این اتفاق نمی‌افتد. زیرا شما با استفاده از تگ noindex گوگل را اذیت می‌کنید و اقدامات آن را محدود می‌کنید.

از دیدگاه شما، مشکل یک URL ارسال شده با علامت noindex ممکن است دو جنبه متفاوت داشته باشد، زیرا شما:

• یک URL را با تگ noindex علامت گذاری کرده‌اید، اما شما همچنین آن را به نقشه سایت (sitemap) خود اضافه کرده‌اید؛ زیرا می‌خواهید گوگل آن را ایندکس کند.
• یک URL با علامت noindex را به نقشه سایت (sitemap) خود اضافه کردید، حتی اگر نمی‌خواستید گوگل آن را ایندکس کند.

نحوه رفع Excluded by noindex tag

اگر می‌خواهید “Excluded by noindex tag” را برطرف کنید، باید تگ noindex را از صفحات ارزشمند خود که می‌خواهید ایندکس شوند حذف کنید. به یاد داشته باشید که ایندکس تمام صفحات حذف شده خود را مرور کنید تا مطمئن شوید که URLهایی را که قرار است ایندکس نشده باشند، لمس نمی‌کنید. برای انجام این کار، به Excluded by noindex tag بروید و گزینه All known pages را در منوی گوشه سمت چپ بالا انتخاب کنید.

پس از ایجاد تغییرات در صفحه خود، می‌توانید با استفاده از ابزار بازرسی URL در گوگل سرچ کنسول درخواست ایندکس شدن URL را بدهید. به گوگل سیگنال می‌دهد که URL را با اولویت بخزد. هنگامی که گوگل دوباره صفحات شما را بازدید می‌کند و می‌بیند که تگ noindex حذف شده است، ایندکس شدن را برنامه‌ریزی می‌کند. اگر وب‌سایت شما با مشکلات دیگر مشکلی نداشته باشد، وضعیت URL در گزارش ایندکس شدن صفحه (Index Coverage) به «ایندکس‌شده» تغییر می‌کند. وقتی یک URL با علامت noindex را به نقشه سایت (sitemap) خود ارسال کردید، پرداختن به این مشکل ممکن است فراتر از حذف تگ noindex باشد.

توجه داشته باشید:

در این حالت، گوگل سیگنال‌های متفاوتی از شما دریافت می‌کند، بنابراین باید مطمئن شوید که نمی‌توانید حدس بزند که چگونه به صفحات خود نزدیک شود. ابتدا فهرستی از تمام URLهای ارسال شده به نقشه سایت (sitemap) خود را مرور کنید اما noindex نیز علامت گذاری شده است. گزینه All submitted pages را در منوی گوشه سمت چپ بالا انتخاب کنید تا فقط URLهایی را که به نقشه سایت (sitemap) خود اضافه کرده‌اید فیلتر کنید.

در یک سناریوی عالی، از آنجایی که نقشه سایت (sitemap) شما باید فقط URLهای قابل ایندکس شدن داشته باشد، نباید هیچ صفحه‌ای در لیست Excluded by noindex tag برای مشکل Excluded by noindex tag وجود داشته باشد. اما اگر برخی از URLها را در اینجا پیدا کردید و مطمئن هستید که اینها URLهای ارزشمندی هستند که می‌خواهید ایندکس کنید، تگ noindex را از این صفحات حذف کنید و آن‌ها را در نقشه سایت (sitemap) خود نگه دارید. اما به یاد داشته باشید که حتی اگر نمی‌خواهید URL ارسالی با علامت noindex ایندکس شود، نباید این موضوع را نادیده بگیرید زیرا می‌تواند به سئو شما آسیب برساند. در این صورت صفحه را از نقشه سایت (sitemap) خود حذف کنید. وضعیت آن در گزارش ایندکس شدن صفحه (Index Coverage) بدون تغییر باقی می‌ماند، اما شما در بودجه خزیدن خود صرفه‌جویی می‌کنید و به گوگل کمک می‌کنید تا هدف شما را درک کند.

چرا  “Excluded by noindex tag” ممکن است برای سئو بد باشد؟

اگر مطمئن نیستید که صفحه شما باید توسط تگ noindex حذف شود یا خیر، بدترین کاری که می‌توانید انجام دهید این است که هیچ اقدامی برای عیب‌یابی آن انجام ندهید. سپس، شما در معرض اثرات منفی گسترده‌ای بر روی خزیدن و ایندکس کردن وب سایت خود هستید.

محدود کردن پتانسیل ایندکس شدن شما

اگر می‌خواهید URL مشخصی در جستجوی گوگل رتبه‌بندی شود، اما حاوی تگ noindex باشد، گوگل به هیچ وجه آن را ایندکس و رتبه‌بندی نمی‌کند. تصمیم در مورد اینکه چه صفحاتی باید ایندکس شوند نمی‌تواند تصادفی باشد. این باید در یک استراتژی ایندکس شدن وب سایت شما گنجانده شود. بدون آن، شما به راحتی می‌توانید مسیر نزدیک شدن Googlebot به URLهای خود را از دست بدهید و بر مشکلات احتمالی نظارت نکنید.

هدر دادن Crawl budget خود

به خاطر داشته باشید که ربات‌ها برای یافتن تگ noindex در کد شما باید صفحات noindex شده شما را بخزند. اما اگر URL‌های زیادی دارید که با تگ noindex مشخص شده‌اند، باید فکر کنید که آیا به ربات‌ها نیاز دارید تا آن‌ها را در طولانی مدت در وب سایت خود پیدا کنید. برای محدود کردن دسترسی ربات‌ها به صفحه بدون ایندکس، لینک داخلی خود را حذف کنید. همچنین، هنگامی که آدرس‌های اینترنتی با علامت noindex را در نقشه سایت (sitemap) خود وارد می‌کنید، از ربات‌ها می‌خواهید که ابتدا آن‌ها را بخزند. چه بخواهید این صفحات ایندکس شوند یا نه، منابع گوگل را برای خزیدن URLهایی هدر می‌دهید که در هر صورت نمی‌توانند ایندکس شوند. در نتیجه، می‌تواند به مشکلات Crawl budget کمک کند. ممکن است گوگل منابعی را صرف خزیدن URLهای غیرقابل ایندکس شدن کند و خزیدن صفحات قابل ایندکس شدن شما را به تاخیر بیندازد.

شما می‌توانید با مراجعه کردن به صفحه مقالات آموزشی ماکان، سایر مقالات ما را مطالعه کنید.
صفحه ما را در اینستاگرام دنبال کنید تا با مطالب روز در حوزه دیجیتال آشنا شوید.