سئو و تنظیمات فایل robots.txt

آموزش سئو و تنظیمات فایل robots.txt
سئو و تنظیمات فایل robots.txt
5 (100%) 2 votes

آموزش بهنیه سازی فایل robots.txt و تاثیر آن بر سئو وردپرس

فایل robots.txt راهی است برای اتصال موتورهای جستجو به سایت .
شما با تنظیمات و بهینه سازی درست این فایل مجوز ورود و سطح دسترسی موتورهای جستجو برای ایندکس کردن صفحات مدنظر از سایتتان را اعلام میکنید.

و اساسا به موتور های جستجو می فهماند که چه مطالبی از وبسایت را ایندکس کنند.

robots فایل robots.txt

البته این را هم در نظر داشته باشید که حتی اگر این فایل را نداشته باشید دلیل نمیشود که موتورهای جستجو وب سایت تان را بررسی و صفخات آن را ایندکس نکنن.
اما این فایل همچون راهنمایی برای ثبت مطالب از سوی موتورهای جستجو عمل میکند .
فایل robots.txt را در روت هاست یا همان ریشه قرار میدهمد.

نحوه استفاده از فایل robots.txt

ساخت این فایل کاملا ساده است. یک فایل متنی با فرمت txt با Notpad یا هر نرم افزار مشابهی میسازیم
در سطر اول با نامبردن User agent های مدنظرتان همچون Googlebot , Bingbot و … اجازه ورود و بررسی سایت خود را به موتورهای جستجوی که نوشته اید، میدهید. شما میتوانید جای نام بردن تک تک موتورهای جستجو با وارد کردن مقدار* به تمام این user agent ها به یکباره اجازه ورود و بررسی دهید.
مشخص کردن قسمت های مجاز و غیر مجاز برای بررسی و ایندکس را با استفاده از Allow و Disallow امکان پذیر است
کد فایل robots.txt برای مثال:

سئو و بهینه سازی فایل robots.txt

حال روش بهینه سازی فایل robots.txt رو میگم.
عاقلانه ترین و راحت ترین راه برای ممانعت از ایندکس شدن دسته بندی ها یا صفحات آرشیو و… نصب افزونه ای به نام WordPress SEO by Yoast است.
با استفاده از فایل robots.txt و با افزونه هایی چون WordPress SEO by Yoast بخش هایی همچون پوشه های مثل افزونه ها، تم ها، فایل readme.html یا ….. سایت و قسمت هایی که نباید در موتور های جستجو ایندکس شودند را مدیریت میکنیم.

google robots-txt گوگل روبات

گذاشتن نقشه سایت یا سایت مپ در فایل robots.txt

اول آموزش سئو وردپرس Yoast’s WordPress SEO رو اینجا یاد بگیرید ! این افزونه به صورت پیشفرض آدرس فایل نقشه سایت را در فایل robots.txt قرار می دهند.
و اگر این فایل را بصورت دستی ساخته اید یا به هر دلیل ساخت آن با این روند پیش نرفت، دستی و مانند مثال زیر عمل میکنیم. البته این یک ابزار قدرتمند است که کار سئو وردپرس را هم انجام می دهد.

افزونه مخصوص سایت مپ (معرفی نقشه) به گوگل

ما اینجا افزونه ساخت سایت مپ را نیز معرفی کردیم که کسانی که تمایل به افزونه ای مخصوص این کار دارند و حاضر نیستند از یاست سئو استفاده کنند که میتوانید توضیحات و آموزش های لازم را اینجا مطالعه کنید.

استاندارد فایل robots.txt

در حقیقت سایت های پربازدید فایل robots.txt پیچیده ای ندارند.به این مثال توجه کنید:
در اینجا به ربات تمامی موتورهای جستجو اجازه داده شده تا بتوانند تمامی محتوای صفحه اول و لینک های نقشه سایت را بررسی و ایندکس نمایند

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید : کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
نمونه دیگری از فایل robots.txt :

راستی یکی دیگر از فایل های مهم در روت هاست، فایل htaccess هست که آموزش های این فایل  را حتما دنبال ببینید!


پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

1 + 5 =