معرفی و رفع خطای Blocked by robots.txt
همانطور که میدانید؛ شما در هنگام طراحی سایت، فایل robots.txt را باید به صورت دستی در مسیر اصلی سایت یعنی www.yourdomain.com/robots.txt بسازید. اگر تا به حال خطای Submitted URL blocked by robots.txt (URL ارسال شده توسط robots.txt مسدود شده است) را در گوگل سرچ کنسول خود و Rank Math’s analytics از گزارش وضعیت ایندکس بودن را دیدهاید، میدانید که میتواند بسیار خسته کننده باشد. قبل از همه، شما تمام دستورها را دنبال کردهاید و مطمئن شدهاید که وب سایت شما برای موتورهای جستجو مانند گوگل یا بینگ بهینه شده است. پس چرا این اتفاق میافتد؟ با ما همراه باشد تا به معرفی و رفع خطای Blocked by robots.txt بپردازیم.
خطا به چه معناست؟
خطای Submitted URL blocked by robots.txt (URL ارسال شده توسط robots.txt مسدود شده است) به این معنی است که فایل robots.txt وب سایت شما مانع از خزیدن Googlebot در صفحه میشود. به عبارت دیگر، گوگل تلاش میکند به صفحه دسترسی پیدا کند اما توسط فایل robots.txt مانع از آن میشود. این ممکن است به دلایل مختلفی اتفاق بیفتد، اما رایجترین دلیل این است که فایل robots.txt به درستی پیکربندی نشده است. به عنوان مثال، ممکن است به طور تصادفی Googlebot را از دسترسی به صفحه مسدود کرده باشید، یا ممکن است دستور غیر مجاز را در فایل robots.txt خود قرار داده باشید که مانع از خزیدن Googlebot در صفحه میشود.
چگونه این خطا را پیدا کنیم؟
خوشبختانه، پیدا کردن خطای Submitted URL blocked by robots.txt (URL ارسال شده توسط robots.txt مسدود شده است) بسیار آسان است. برای پیدا کردن این خطا میتوانید از گوگل سرچ کنسول یا گزارش وضعیت فهرست در Rank Math’s Analytics استفاده کنید.
از طریق گوگل سرچ کنسول
برای بررسی اینکه آیا این خطا را در گوگل سرچ کنسول خود دارید یا خیر، کافیست به تب Coverage بروید و در قسمت Error مطابق شکل زیر به دنبال خطا بگردید:
سپس مطابق شکل زیر بر روی خطای Submitted URL Blocked by robots.txt کلیک کنید:
اگر روی خطا کلیک کنید، لیستی از صفحاتی که توسط فایل robots.txt شما مسدود شدهاند را مشاهده خواهید کرد:
از طریق Rank Math’s Analytics
همچنین میتوانید از گزارش وضعیت ایندکس شدن در Rank Math’s Analytics برای شناسایی صفحات دارای مشکل استفاده کنید. برای انجام این کار، به Rank Math > Analytics در داشبورد وردپرس بروید. در مرحله بعد، روی تب Index Status کلیک کنید. در این برگه، real data/status صفحات خود و همچنین حضور آنها در گوگل را دریافت خواهید کرد.
علاوه بر این، میتوانید وضعیت فهرست پستها را با استفاده از منوی کشویی فیلتر کنید. وقتی وضعیت خاصی را فیلتر میکنید، مثلا «Submitted URL blocked by robot.txt» را فیلتر نمایید، میتوانید همه پستهایی را که وضعیت یکسانی دارند، ببینید.
پس از دریافت لیست صفحاتی که این وضعیت را برمیگردانند، میتوانید شروع به عیبیابی و رفع مشکل کنید.
چگونه این خطا را رفع کنیم؟
برای رفع این مشکل، باید مطمئن شوید که فایل robots.txt وب سایت شما به درستی پیکربندی شده است. میتوانید از ابزار تست فایل robots.txt گوگل برای بررسی فایل خود استفاده کنید و مطمئن شوید که هیچ دستورالعملی وجود ندارد که مانع از دسترسی Googlebot به سایت شما شود. اگر متوجه شدید که دستورالعملهایی در فایل robots.txt شما وجود دارد که مانع از دسترسی Googlebot به سایت شما میشود، باید آنها را حذف کنید یا یک مورد مجازتر جایگزین کنید. در ادامه میگوییم که چگونه میتوانید فایل robots.txt خود را آزمایش کنید و مطمئن شوید که هیچ دستورالعملی وجود ندارد که مانع از دسترسی Googlebot به سایت شما شود.
-
robots.txt Tester را باز کنید.
ابتدا به تست robots.txt بروید. اگر حساب گوگل سرچ کنسول شما با بیش از یک وب سایت مرتبط است، وب سایت خود را از لیست سایتهایی که در گوشه سمت راست بالا نشان داده شده است انتخاب کنید. اکنون گوگل فایل robots.txt وب سایت شما را بارگذاری میکند.
-
آدرس سایت خود را وارد کنید.
در پایین ابزار، گزینهای برای وارد کردن یک URL از وب سایت خود برای آزمایش پیدا خواهید کرد.
-
User-Agent را انتخاب کنید.
از منوی کشویی موجود در سمت راست کادر متن، user-agent را که میخواهید شبیه سازی کنید (ما اینجا Googlebot را انتخاب میکنیم) انتخاب کنید.
-
Robots.txt اعتبارسنجی کنید.
در نهایت روی دکمه Test کلیک کنید. اگر خزنده بر اساس پیکربندی (کانفینگ کردن) فایل robots.txt به URL دسترسی داشته باشد، فوراً اعتبارسنجی میکند. بر این اساس روی دکمه تست بزنید تا معلوم شود URL تایید یا بلاک شده است. ویرایشگر کد موجود در مرکز صفحه نیز دستور مسدودسازی را در فایل robots.txt شما برجسته کرده است. مانند شکل زیر که دسترسی به wp-admin و blog را مسدود میکند.
-
ویرایش و اشکال زدایی کنید.
اگر تست کننده robots.txt دستورهایی را پیدا کرد که از دسترسی جلوگیری میکند، میتوانید دستور را در داخل ویرایشگر کد، بصورت صحیح ویرایش کنید و سپس یک بار دیگر آزمایش را اجرا کنید. اگر قانون را اصلاح کردید، عالی است. اما لطفاً توجه داشته باشید که این یک ابزار اشکالزدایی است و هر تغییری که در اینجا ایجاد میکنید در robots.txt وبسایت شما منعکس نمیشود مگر اینکه محتوا را در robots.txt وبسایت خود کپی و جایگذاری کنید.
-
Robots.txt خود را با Rank Math ویرایش کنید.
برای انجام این کار، به فایل robots.txt خود در Rank Math بروید که در زیر داشبورد WordPress > Rank Math > General Settings > Edit robots.txt قرار دارد، همانطور که در زیر نشان داده شده است:
توجه : اگر این گزینه برای شما در دسترس نیست، مطمئن شوید که از حالت پیشرفته در Rank Math استفاده میکنید.
در ویرایشگر کدی که در وسط صفحه شما موجود است (کدی را که از robots.txt کپی کردهاید) جایگذاری کنید. تست کنید و سپس روی دکمه Save Changes کلیک کنید تا تغییرات منعکس شود.
توجه : لطفاً هنگام ایجاد هرگونه تغییری در وب سایت خود از طریق robots.txt مراقب باشید. چنانچه این تغییرات میتواند ترافیک جستجوی شما را بهبود بخشد، میتواند آسیب بزرگتری را وارد کند.پس مراقب باشید.
برای توضیحات بیشتر، اسکرین شات زیر را ببینید:پس از انجام این تغییرات، گوگل میتواند به وبسایت شما دسترسی پیدا کند و خطای Submitted URL blocked by robots.txt برطرف میشود.
چگونه از تکرار خطا جلوگیری کنیم؟
برای جلوگیری از تکرار خطای Submitted URL blocked by robots.txt در آینده، توصیه میکنیم فایل robots.txt وبسایت خود را بهطور منظم مرور کنید. این کمک میکند تا اطمینان حاصل شود که همه دستورالعملها دقیق هستند و هیچ صفحهای به طور تصادفی توسط Googlebot خزیده نمیشود. ما همچنین استفاده از ابزاری مانند Google’s Webmaster Tools را برای کمک به مدیریت فایل robots.txt وب سایت خود توصیه میکنیم. Webmaster Tools به شما این امکان را میدهد که به راحتی فایل robots.txt خود را ویرایش و بهروز کنید، همچنین صفحاتی را برای فهرستبندی، مشاهده خطاهای خزیدن و موارد دیگر ارسال کنید.
شما میتوانید با مراجعه کردن به صفحه مقالات آموزشی ماکان، سایر مقالات ما را مطالعه کنید.
صفحه ما را در اینستاگرام دنبال کنید تا با مطالب روز در حوزه دیجیتال آشنا شوید.