بهینه‌سازی سایت‌های وردپرسی همواره یکی از مهم‌ترین دغدغه‌های مدیران سایت‌ها است. یکی از مهم‌ترین دلایل بهینه‌سازی وردپرس توسط فایل robots.txt است.
فایل robots.txt چیست؟
در واقع فایل robots.txt به موتورهای جستجو نحوه ایندکس صفحات و خزیدن در سایت شما را مشخص می‌کند.
این فایل برای سئو سایت تاثیر بسزایی دارند و در مسیر روت هاست یعنی /public_html قرار دارد و ساختار کلی آن بصورت زیر است:
USER-AGENT: * Allow: /wp-content/uploads/ disallow: /wp-content/plugins disallow: /wp-admin
جهت سیاست‌های خود می‌توانید پارامتری‌های مختلفی را به این فایل اضافه کنید؛ مثلا خزیدن در یک صفحه را مجاز و صفحات دیگر را غیر مجاز کنید.
اگر آدرس یک صفحه را در فایل robots.txt را disallow کنید؛ به این معنی است که ربات‌های جستجو اجازه بررسی و ایندکس آن را ندارند.
مقاله ملاک‌های انتخاب قالب بر اساس سئو را بخوانید.
در قطعه کد بالا پوشه‌های plugins و uploads و پیشخوان مدیریت برای موتورهای جستجو ممنوع شده‌است.
برای بهینه‌سازی وردپرس نیاز به فایل robots.txt نیاز است؟
اگر این فایل در سایت شما وجود نداشته باشد، ربات‌های خزنده تمام صفحات شما را ایندکس خواهند کرد و همه صفحات سایت مرور خواهد شد.
اگر اخیرا سایت خود را طراحی کرده‌اید؛ برای سایت شما مشکلی پیش نمی‌آورد اما اگر سایتتان رشد کند، نیاز به یک ساختار مشخص برای بهینه‌سازی وردپرس خواهید داشت.
هر ربات خزنده سهمیه مشخصی برای هر وب‌سایت دارد و هر مرتبه که وب‌سایت شما را بررسی می‌کند؛ تعداد صفحات مشخصی را بررسی می‌کند و صفحاتی که بررسی نشده باشند را دفعه بعدی بررسی می‌کند و این باعث می‌شود تا سرعت ایندکس شدن صفحات وب‌سایت شما کاهش میابد.
پس شما با قرار دادن صفحات غیرضروری در فایل robots.txt از دیده شدن این صفحات توسط خزنده‌ها جلوگیری می‌کنید و پروسه ایندکس شدن صفحات وب‌سایت شما افزایش میابد.
برای بهینه‌سازی وردپرس توسط فایل robots.txt قطعه کد زیر، کد پیشنهادی ما برای این فایل است:
user-agent: * allow: /wp-content/uploads allow: /wp-admin/admin-ajax.php disallow: /wp-content/plugins/ disallow: /wp-admin// disallow: /readme.html disllow: /refer/ sitemap: https://yourdomain.com/sitemap.xml
در این قطعه کد به خزنده‌ها اجازه ایندکس کردن تصاویر و فایل داده شده‌است.
درباره رفع خطای http در وردپرس نیز بخوانید.
همچنین اجازه ایندکس کردن پلاگین ، پوشه پلاگین‌ها ، پیشخوان مدیریت ، readme.html را نمی‌دهد.
نحوه تغییر مقادیر فایل robots.txt در وردپرس
برای ایجاد تغییر در فایل robots.txt کافیست تا به مسیر root هاست خود مراجعه کرده و با کلیک راست کردن و گزینه edit فایل robots.txt را ادیت و مقادیر مدنظر خود را وارد کنید و در آخر ذخیره کنید.
نحوه تست کردن فایل robots.txt
به پیشخوان سرچ کنسول گوگل خود مراجعه کنید و در بخش crawl بر روی گزینه robots.txt tester کلیک کند.
در این فایل شما بررسی می‌شود و اگر خطایی باشد نمایش داده می‌شود و اقدام به رفع آنها کنید.
سلام
کنسول فایل رباتم رو شناسایی نمیکنه به چه شکل باید رفع بشه؟