سئو و تنظیمات فایل robots.txt

آموزش بهنیه سازی فایل robots.txt و تاثیر آن بر سئو وردپرس

فایل robots.txt راهی است برای اتصال موتورهای جستجو به سایت .
شما با تنظیمات و بهینه سازی درست این فایل مجوز ورود و سطح دسترسی موتورهای جستجو برای ایندکس کردن صفحات مدنظر از سایتتان را اعلام میکنید.

و اساسا به موتور های جستجو می فهماند که چه مطالبی از وبسایت را ایندکس کنند.

robots فایل robots.txt

البته این را هم در نظر داشته باشید که حتی اگر این فایل را نداشته باشید دلیل نمیشود که موتورهای جستجو وب سایت تان را بررسی و صفخات آن را ایندکس نکنن.
اما این فایل همچون راهنمایی برای ثبت مطالب از سوی موتورهای جستجو عمل میکند .
فایل robots.txt را در روت هاست یا همان ریشه قرار میدهمد.

نحوه استفاده از فایل robots.txt

ساخت این فایل کاملا ساده است. یک فایل متنی با فرمت txt با Notpad یا هر نرم افزار مشابهی میسازیم
در سطر اول با نامبردن User agent های مدنظرتان همچون Googlebot , Bingbot و … اجازه ورود و بررسی سایت خود را به موتورهای جستجوی که نوشته اید، میدهید. شما میتوانید جای نام بردن تک تک موتورهای جستجو با وارد کردن مقدار* به تمام این user agent ها به یکباره اجازه ورود و بررسی دهید.
مشخص کردن قسمت های مجاز و غیر مجاز برای بررسی و ایندکس را با استفاده از Allow و Disallow امکان پذیر است
کد فایل robots.txt برای مثال:

  
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html 

سئو و بهینه سازی فایل robots.txt

حال روش بهینه سازی فایل robots.txt رو میگم.
عاقلانه ترین و راحت ترین راه برای ممانعت از ایندکس شدن دسته بندی ها یا صفحات آرشیو و… نصب افزونه ای به نام WordPress SEO by Yoast است.
با استفاده از فایل robots.txt و با افزونه هایی چون WordPress SEO by Yoast بخش هایی همچون پوشه های مثل افزونه ها، تم ها، فایل readme.html یا ….. سایت و قسمت هایی که نباید در موتور های جستجو ایندکس شودند را مدیریت میکنیم.

google robots-txt گوگل روبات

گذاشتن نقشه سایت یا سایت مپ در فایل robots.txt

اول آموزش سئو وردپرس Yoast’s WordPress SEO رو اینجا یاد بگیرید ! این افزونه به صورت پیشفرض آدرس فایل نقشه سایت را در فایل robots.txt قرار می دهند.
و اگر این فایل را بصورت دستی ساخته اید یا به هر دلیل ساخت آن با این روند پیش نرفت، دستی و مانند مثال زیر عمل میکنیم. البته این یک ابزار قدرتمند است که کار سئو وردپرس را هم انجام می دهد.

  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml 

افزونه مخصوص سایت مپ (معرفی نقشه) به گوگل

ما اینجا افزونه ساخت سایت مپ را نیز معرفی کردیم که کسانی که تمایل به افزونه ای مخصوص این کار دارند و حاضر نیستند از یاست سئو استفاده کنند که میتوانید توضیحات و آموزش های لازم را اینجا مطالعه کنید.

استاندارد فایل robots.txt

در حقیقت سایت های پربازدید فایل robots.txt پیچیده ای ندارند.به این مثال توجه کنید:
در اینجا به ربات تمامی موتورهای جستجو اجازه داده شده تا بتوانند تمامی محتوای صفحه اول و لینک های نقشه سایت را بررسی و ایندکس نمایند

  User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml 

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید : کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
نمونه دیگری از فایل robots.txt :

  User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.sample.com/post-sitemap.xml
Sitemap: http://www.sample.com/page-sitemap.xml
Sitemap: http://www.sample.com/deals-sitemap.xml
Sitemap: http://www.sample.com/hosting-sitemap.xml

راستی یکی دیگر از فایل های مهم در روت هاست، فایل htaccess هست که آموزش های این فایل  را حتما دنبال ببینید!

درباره مرضیه سلیمانی

موارد جالب

افزونه Loco Translate

ترجمه قالب و افزونه وردپرس در داشبورد

سلام دوستان عزیز. ترجمه قالب و افزونه وردپرس یکی از بهترین راه های کسب درآمد ...

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *