تـم لایـن | بهترین مرجع قالب و افزونه وردپرس


ربات های گوگل را کنترل کنید

ربات های گوگل را کنترل کنید

در بعضی از سایت ها ربات گوگل زیاد به سراغ آن می رود که این باعث مصرف پهنای باند سایت می شود . اما برای بعضی از سایت ها ربات گوگل دیر به آن ها سر می زند و مدیران سایت ها نگران این هستند که سیاتشان توسط گوگل پیدا نشود و در نتایج قرار نگیرد.

در حال حاضر گوگل بعضی از مواقع سایت ها را مرور می کند و اگر سایت شما به طور منظم به روز رسانی شود سریع تر به شما سر خواهد زد . اما شما می توانید فعالیت گوگل را کنترل کنید.

ربات گوگل

فایل robots.txt

برای کنترل ربات گوگل می توانید از فایل robots.txt استفاده کنید . این فایل با فرمت ASCII است را در شاخه روت سایت خود قرار می دهید. برای مثال، اگر آدرس شما http://www.domain.com است ، فایل باید در این مسیر http://www.domain.com/robots.txt قابل مشاهد باشد ، شما می توانید از این فایلیت برای کنترل پیدا کردن تصاویر و … توسط ربات های گوگل استفاده کنید.

شما با استفاده از این قابلیت می توانید یک فایل یا چند شاخه را از دسترسی ربات ها محدود کنید. کافی است در خط اول نام ربات را وارد کرده و در خط بعد شاخه ها را وارد کنید این فایل نمونه robots.txt تمامی ربات ها را برای دسترسی به شاخه تصاویر و کد Perl و ربات گوگل را از دسترسی به شاخه و آدرس copyright مسدود خواهد کرد.

 

اگر قصد کنترل میزان بازدید ربات های گوگل از سایت خود را دارید ، باید در Google Webmaster Tools عضو شوید و در آن جا میزان مراجعه ربات گوگل را مشخص کنید.

توجه داشته باشید که هیچ کدام از این روش ها ۱۰۰% نیستند. برای حاصل اطمینان می توانید از کد های متا استفاده کنید . مثلا با کد زیر به گوگل دستور می دهیم که این سایت را ایندکس نکند :

<meta name=“robots” content=“NOINDEX”>

با کد زیر به گوگل دستور می دهیم که این سایت را دنبال نکند.

<meta name=“robots” content=“NOFOLLOW”>

تنها گوگل است که این ۲ روش را متوجه می شود ولی ممکن است موتور های جستجو دیگر این کد ها را متوجه نشوند و کار ندهند . برای همین بهترین گزینه همان robots.txt است.

روبات گوگل

آموزش سئو آموزش مدیریت سایت آموزش ویژه مقالات آموزشی

دیدگاه خود را بیان کنید

1 + = 5