معرفی و رفع خطای Blocked by page removal tool
یکی دیگر از خطاها در ابزار گوگل سرچ کنسول خطای Blocked by page removal tool است که در هنگام سئو بعد از طراحی سایت ممکن است رخ دهد که در ادامه به معرفی و رفع خطای Blocked by page removal tool پرداختهایم. خوب است بدانید؛ ابزار حذف URL یکی از ویژگیهای گوگل سرچ کنسول است که میتوانید از آن برای حذف موقت صفحه از گوگل استفاده کنید. به یاد داشته باشید که ابزار حذف (URL)، URL شما را از گوگل جدا نمیکند، بلکه آن را از کاربران در نتایج جستجو پنهان میکند. به همین دلیل است که اگر صاحب وب سایت هستید، نباید از ابزار حذف URL به عنوان یک روش طولانی مدت برای حذف صفحات خود از گوگل استفاده کنید.
در ادامه میتوانید نحوه استفاده از ابزار حذف URL را برای اطمینان از یک استراتژی ایندکس شدن سالم برای وب سایت خود بررسی کنید. چراکه به صورت دقیق و کامل معرفی و رفع خطای Blocked by page removal tool را در اختیارتان قرار خواهیم داد. پس تا پایان این مقاله همراه ما باشید.
زمان استفاده از ابزار حذف URL
ابزار حذف URL زمانی مفید است که:
- شما باید فوراً یک صفحه را حذف کنید. ابزار حذف URL یک صفحه را در حدود 24 ساعت از نتایج جستجو حذف میکند. به همین دلیل است که میتوانید از آن استفاده کنید. به عنوان مثال، به اشتباه اطلاعات حساسی را پست کردهاید، یا سایت شما هک شده است و میخواهید بلافاصله صفحات را از جستجو حذف کنید.
- شما میخواهید تعداد زیادی از صفحات را حذف کنید. ممکن است مدتی طول بکشد تا گوگل تعداد زیادی از صفحات را بخزد و متوجه شود که شما، به عنوان مثال، متا تگ noindex را اضافه کردهاید (تگ HTML مشخص میکند که نمیخواهید صفحهای ایندکس شود.) میتوانید به سرعت این صفحات را با ابزار حذف URL بدون منتظر ماندن گوگل برای خزیدن آنها حذف کنید.
- شما محتوای خود را تغییر دادید و نمیخواهید اطلاعات قدیمی در قسمت توضیحات ظاهر شوند. ابزار حذف URL به شما امکان میدهد URLهای ذخیره شده را پاک کنید، که تا زمانی که صفحات دوباره خزیده شوند، قطعه توضیحات حذف شود.
- شما به کد یا سرور وب سایت خود دسترسی ندارید. ابزار حذف URL به شما این امکان را میدهد تا بدون نوشتن کد یا پیکربندی سرور خود، یک صفحه را به راحتی در گوگل سرچ کنسول حذف کنید.
- میخواهید نظارت کنید که آیا صفحات شما بهعنوان محتوای قدیمی یا بزرگسال گزارش شدهاند. در ابزار حذف URL، میتوانید ببینید که آیا شخصی درخواست حذف صفحات شما را داشته است یا خیر و به سرعت عمل میکند. مثلاً برای بهروزرسانی محتوای شما.
نحوه استفاده از ابزار حذف URL
میتوانید با کلیک بر روی بخش Removals در نوار کناری به ابزار حذف URL در گوگل سرچ کنسول دسترسی پیدا کنید.
طبق اسناد رسمی گوگل، هنگام مسدود کردن صفحه با ابزار حذف URL، باید اطلاعات مربوط به حذف را به عنوان وضعیت “Blocked by page remove page” در گزارش ایندکس شدن صفحه مشاهده کنید. بسته به اینکه چه کسی و چرا درخواست حذف کرده است، ممکن است اطلاعات مربوط به URL آسیبدیده را در برگههای مختلف ابزار بیابید. بنابراین، ابزار حذف URL به سه بخش تقسیم میشود:
- Temporary Removals (حذف موقت)
- Outdated Content (مطالب قدیمی)
- SafeSearch Filtering (فیلتر جستجوی ایمن)
بخش حذف موقت (Temporary Removals)
اگر بتوانید یک URL داده شده را در بخش حذف موقت پیدا کنید، به این معنی است که:
- صفحه شما ایندکس شده است.
- شما به عنوان مالک سایت یا یک کاربر مجاز گوگل سرچ کنسول از طریق ابزار حذف URL درخواست حذف موقت صفحه آسیب دیده را داده اید؛ بنابراین اکنون این صفحه در گوگل یافت نمیشود.
در بخش حذف موقت، میتوانید به طور موقت URLها را حذف کنید، URLهای ذخیره شده را پاک کنید و سابقه درخواستهای حذف خود را در شش ماه گذشته مشاهده کنید.
حذف موقت URL
گزینه Temporarily Remove URL صفحه شما را به مدت شش ماه از نتایج جستجوی گوگل حذف میکند.
به خاطر داشته باشید که ابزار حذف URL این صفحه را از ایندکس خود حذف نمیکند، اما به گفتهی جان مولر، “این مانند یک فیلتر برای نمایش در نتایج جستجو است.
برای حذف یک صفحه از ایندکس، باید روشهای دیگری مانند متا تگ noindex را پیادهسازی کنید. در غیر این صورت، صفحه میتواند به طور خودکار پس از شش ماه دوباره در نتایج جستجو ظاهر شود.
علاوه بر این، گوگل به خزیدن در صفحات حذف شده ادامه میدهد. برای مسدود کردن دسترسی، باید یک دستورالعمل غیرمجاز را در robots.txt اضافه کنید، یک فایل متنی که مشخص میکند رباتهای موتور جستجو کدام صفحات را میتوانند یا نمیتوانند بخزند.
URL ذخیره شده را پاک کنید.
گزینه Clear Cached URL قطعه توضیحات صفحه را در نتایج جستجوی گوگل حذف میکند تا زمانی که صفحه دوباره خزیده شود. تا آن زمان، قطعه توضیحات میگوید: توضیح صفحه موجود نیست (No page description available).
نحوه تعیین URL در ابزار حذف URL
بخش حذف موقت به شما این امکانات را میدهد:
- یک URL فردی
- گروهی از URL ها با پیشوند یکسان.
در داخل ابزار، روی درخواست جدید (New request) کلیک کرده و آدرس اینترنتی را که میخواهید به طور موقت از SERP حذف کنید، وارد کنید.
هنگام مسدود کردن یک URL جداگانه، باید URL دقیقی را وارد کنید که در نتایج جستجو ظاهر میشود. انواع مختلفی مانند example.com/page و example.com/Page به عنوان دو URL مختلف در نظر میگیرد.
با این حال، ابزار حذف URL بر همه تغییرات مانند www/non-www و HTTP/HTTPS تأثیر میگذارد. به همین دلیل است که نباید از این ابزار برای تعیین نسخه URL خود که میخواهید در نتایج جستجو ظاهر شود استفاده کنید. اگر میخواهید فقط یک نسخه را حذف کنید، از روشهای متعارفسازی (canonicalization methods) استفاده کنید، بهعنوان مثال، تگ متعارف (تگ HTML مشخص میکند که در صورت وجود بیش از یک نسخه، کدام صفحه اصلی است).
اگر میخواهید چندین URL را مسدود کنید:
پیشوند آنها را تعریف کنید. به عنوان مثال، اگر “blog/” را مشخص کنید، همه URLهای داخل آن ایندکس حذف خواهند شد.
هنگام حذف چندین URL به طور همزمان باید مراقب باشید تا از حذف اشتباه یک صفحه ارزشمند جلوگیری کنید. دوباره بررسی کنید که آیا صفحات مهمی با پیشوندی که قصد حذف آن را دارید وجود دارد یا خیر. پس از استفاده از ابزار، هرگونه کاهش احتمالی در ترافیک ارگانیک را بررسی کنید.
طبق اسناد رسمی گوگل، حذف یک URL از نتایج جستجو باید حدود یک روز طول بکشد. در این مدت URL ارسال شده را در ابزار حذف URL به صورت “Pending” خواهید دید.
وقتی با موفقیت حذف شد، وضعیت URL در ابزار به “موقتا حذف شد (Temporarily removed)” تغییر میکند.
به یاد داشته باشید که استفاده از ابزار حذف URL فقط آن را از SERP حذف میکند. بنابراین کاربران نمیتوانند آن را هنگام مرور محتوای شما پیدا کنند.
همانطور که میبینید، چیزی برای پیدا کردن وجود ندارد، به این معنی که درخواست من به درستی کار کرد.
اما به یاد داشته باشید که این ابزار یک صفحه ارسال شده را از ایندکس خارج نمیکند. اگر آن صفحه را در ابزار بازرسی URL بررسی کنید، خواهید دید که هنوز در ایندکس گوگل قرار دارد.
هنگامی که تصمیم به استفاده از ابزار حذف URL میگیرید، مطمئن شوید که بهترین روشها را برای استفاده از آن دنبال میکنید. به عنوان مثال، سعی نکنید صفحاتی را که کدهای وضعیت 404 یا 502/3 را برمیگردانند درخواست حذف کنید. از آنجایی که گوگل میتواند این نشانیهای اینترنتی را، از بین رفته در نظر بگیرد، ممکن است درخواست شما منقضی شود.
تاریخچه درخواستهای حذف
میتوانید سابقه درخواستهای حذف خود را که در شش ماه گذشته انجام شدهاند، ببینید. در واقع نوع و تاریخ و وضعیت فعلی را به شما نشان میدهد.
درخواست شما میتواند یکی از پنج وضعیت زیر را داشته باشد:
- پردازش درخواست (Processing request): گوگل معمولاً یک روز طول میکشد تا یک URL را حذف کند.
- درخواست رد شد (Request denied): زمانی که صفحه ایندکس نشده باشد یا درخواست مشابه دیگری در حال انجام باشد، درخواست شما میتواند رد شود.
- درخواست لغو شد (Request canceled): شما درخواست را لغو کردید و صفحه باید دوباره در نتایج جستجو ظاهر شود.
- به طور موقت حذف شد (Temporarily removed): درخواست شما تأیید شد و گوگلURL را از نتایج جستجو حذف کرد.
- حذف منقضی شد (Removal expired): درخواست شما منقضی و صفحه میتواند دوباره در نتایج جستجو ظاهر شود.
- پاک شد (Cleared ): گوگل URL ذخیره شده را پاک کرد.
نحوه لغو درخواست
اگر میخواهید صفحه به SERPها بازگردد، مطمئن شوید که محتوا را قبل از انقضای حذف بهروزرسانی کردهاید. زیرا پس از شش ماه از ارسال درخواست، صفحه باید به طور خودکار دوباره در نتایج جستجو ظاهر شود.
با این حال، اگر تمام مشکلات را قبل از تاریخ انقضای حذف عیبیابی کنید، میتوانید به صورت دستی حذف را لغو کنید.
در اینجا نحوه لغو درخواست در ابزار حذف URL آوردهایم:
- بخش Temporary Remove URL را باز کنید.
- روی دکمه منو در کنار درخواستی که می خواهید لغو شود کلیک کنید.
- گزینه لغو درخواست (Cancel request) را انتخاب کنید.
این صفحه باید به زودی دوباره در جستجوی گوگل ظاهر شود.
با این حال، هیچ اطلاعات رسمی در مورد اینکه چه مدت طول میکشد تا گوگل یک درخواست را لغو کند، وجود ندارد. جان مولر در یکی از توییتهای خود اشاره کرد که این درخواست ها “به سرعت پردازش میشوند (processed pretty quickly).”
در اینجا بسیار سریع (pretty quickly) دقیقاً به چه معنی میباشد؟
برای آزمایش اینکه چقدر طول میکشد تا یک درخواست لغو شود، مراحل زیر را انجام دادیم:
- از ابزار حذف URL برای حذف سه صفحه از نتایج جستجو استفاده کردیم.
- منتظر ماندیم تا گوگل این صفحات را از نتایج جستجو حذف کند.
- بعد از اینکه گوگل درخواستهای ما را تأیید کرد، از گزینه لغو درخواست (Cancel request) استفاده کردیم و مدت زمان پردازش آنها را بررسی کردیم.
معلوم شد که هر سه صفحه در کمتر از 4 ساعت به نتایج جستجو برگشتند!
به طور کلی، زمانی که حذف منقضی شود، گوگل ممکن است آن را بدون هیچ اقدامی از جانب شما به SERPها بازگرداند.
با این حال، اگر این اتفاق نیفتاد، میتوانید از طریق ابزار URL Inspection درخواست ایندکس مجدد کنید.
در این ابزار، روی دکمه «Request indexing» کلیک کنید تا گوگل صفحه شما را دوباره بخزد و اگر همچنان آن را ارزشمند بداند، آن را در ایندکس باقی میگذارد و دوباره در SERPها نشان میدهد.
چگونه حذف را دائمی کنیم ؟
ابزار حذف URL تنها یک راه حل موقت ارائه میدهد. اگر میخواهید صفحه خود را برای همیشه از ایندکس خارج کنید، در اینجا سه کار وجود دارد که می توانید انجام دهید:
1. یک متا تگ noindex اضافه کنید.
متا تگ noindex نشان میدهد که شما نمیخواهید صفحه خاصی ایندکس شود.
رباتهای موتور جستجو هنگام خزیدن در صفحه، تگ noindex را کشف میکنند و اگر به آن احترام بگذارند، آن را ایندکس نمیکنند. این صفحه در وب سایت شما برای رباتهای موتور جستجو و کاربران قابل دسترسی باقی میماند اما در نتایج جستجو ظاهر نمیشود.
2. یک کد وضعیت HTTP 404/410 تنظیم کنید.
وقتی نمیخواهید محتوای خود را به روز کنید و فکر میکنید که صفحه دیگر متعلق به استراتژی کسب و کار و ایندکس کردن شما نیست، با خیال راحت آن را از دامنه خود حذف کنید.
پیاده سازی کدهای وضعیت HTTP 404 و 410 یک صفحه را از سایت شما حذف میکند. در نتیجه، رباتهای موتور جستجو و کاربران نمیتوانند به صفحه شما دسترسی پیدا کنند.
پس از راهاندازی موفقیتآمیز، صفحات آسیبدیده نیز باید وضعیت خود را درگوگل سرچ کنسول مطابق با Not found (404) یا Blocked due to other 4xx issue تغییر دهند.
3. یک رمز عبور اضافه کنید.
اگر رمز عبور از آن محافظت کند، رباتهای موتور جستجو نمیتوانند به صفحهای دسترسی پیدا کنند. اگر میخواهید اطلاعات حساس صفحه خود را ایمن کنید، راه حل خوبی است. اما مراقب باشید؛ گاهی اوقات، ممکن است بخواهید صفحات محافظت شده با رمز عبور شما در SERPها قابل مشاهده باشند.
بخش محتوای قدیمی (Outdated Content)
بخش «محتوای قدیمی» به شما نشان میدهد که شخصی محتوای شما را از طریق ابزار «حذف محتوای قدیمی» بهعنوان قدیمی گزارش میکند.
وقتی صفحهای دیگر وجود ندارد یا مالک محتوای مهم را حذف کرده است، گوگل توصیه میکند از ابزار حذف محتوای قدیمی استفاده کنید. کاربران گوگل میتوانند یکی از دو نوع حذف را درخواست کنند:
- حذف صفحه قدیمی: زمانی استفاده میشود که صفحه دیگر وجود نداشته باشد. در صورت موفقیت آمیز بودن درخواست، گوگل صفحه را از ایندکس خود حذف میکند.
- حذف حافظهی پنهان قدیمی: زمانی که صفحه وجود دارد استفاده میشود، اما برخی از محتواها حذف شده است. اگر درخواست موفقیت آمیز باشد، گوگل دیگر صفحه را برای درخواستهای مربوط به محتوای حذف شده نشان نمیدهد.
اگر شخصی محتوای شما را قدیمی گزارش کند، میتوانید وضعیت درخواست را در ابزار حذف URL نظارت کنید.هفت وضعیت ممکن وجود دارد:
- تأیید شد: درخواست کاربر موفقیت آمیز بود و صفحه شما از ایندکس حذف میشود یا گوگل دیگر آن را برای درخواستهای مربوط به محتوای حذف شده نشان نمیدهد.
- رد شد: محتوایی که هنوز در صفحه است. گوگل هیچ اقدامی علیه صفحه شما انجام نمیدهد؛ زیرا محتوای گزارش شده هنوز در صفحه است.
- Denied: محتوای قدیمی در ایندکس نیست. محتوای گزارش شده در نسخه ایندکس شده نیست. ممکن است قبلاً آن را حذف کرده باشید یا کاربر محتوای نادرستی وارد کرده باشد.
- Denied: صفحه ایندکس نشده است. صفحه گزارش شده توسط کاربر ایندکس نشده است.
- رد شد: صفحه حذف نشد. صفحه گزارش شده توسط کاربر همچنان وجود دارد.
- رد شد: درخواست تکراری. همان درخواست قبلاً در حال پردازش است.
- Denied: نامشخص: درخواست کاربر به دلایل نامشخص دیگری رد شد.
شما نمیتوانید هیچ اقدام مستقیمی در ابزار حذف URL برای توقف فرآیند انجام دهید. با این حال، هنوز ارزش نظارت بر درخواستها را دارد. اگر برخی از محتوای شما واقعا قدیمی است، میتوانید آن را بهروز کنید یا از وب سایت خود حذف کنید.
بخش SafeSearch Filtering
کاربرانی که فیلتر جستجوی ایمن را در اختیار دارند، صفحاتی را که فقط برای بزرگسالان در نظر گرفته میشوند، نمیبینند. با این حال، اگر فکر میکنند صفحهای از فیلتر عبور کرده است، میتوانند آن را در ابزار پیشنهادی SafeSearch گزارش دهند.
در بخش SafeSearch Filtering، میتوانید تاریخچه درخواستهای کاربران و وضعیت هر درخواست را مشاهده کنید:
- در حال پردازش درخواست: گوگل در حال پردازش درخواست است.
- درخواست لغو شد: کاربران به تنهایی درخواست را لغو کردند.
- درخواست رد شد: گوگل تصمیم گرفت که محتوا نباید فقط برای بزرگسالان در نظر گرفته شود.
- فیلتر شده: گوگل این درخواست را تایید کرد و صفحه را به کاربرانی که از فیلتر جستجوی ایمن استفاده میکنند، نشان نمیدهد.
ما در این مقاله معرفی و رفع خطای Blocked by page removal tool را در اختیارتان قرار دادیم. اگر درخواست تأیید شد، اما فکر میکنید نادرست است، کارشناسان ما در این زمینه میتوانند شما را یاری کنند.
شما میتوانید با مراجعه کردن به صفحه مقالات آموزشی ماکان، سایر مقالات ما را مطالعه کنید.
صفحه ما را در اینستاگرام دنبال کنید تا با مطالب روز در حوزه دیجیتال آشنا شوید.