ربات های موتورهای جست و جو گر وظیفه دارند تمام فعالیت ها و اقدامات بهینه سازی سایت را مورد بررسی قرار دهند (ایندکس). در نتیجه سایت مورد نظر توسط این ربات ها رتبه بندی می شود. یکی از تکنیک های سئو برای بهینه کردن ایندکس صفحات سایت استفاده ازRobots.txt و Robots metatag است.
فایل های Robots.txt چیست ؟
این فایل ها، این اجازه را به ربات های جست و جوگر میدهند که صفحات مورد نظر وبسایت را ایندکس کنند. تمام دستور العمل های ایندکس شدن صفحات سایت در این فایل ها قرار میگیرد.
Robots meta tag چیست؟
این تگ همانند فایل های بالا عمل می کند.این تگ ها به شیوه خزیدن ربات های جست وجو گر در صفحات وب کمک میکند.
تفاوت بین آنها چیست؟
برای دسترسی به فایل robots.txt می توانید آدرس سایت مورد نظرتان در آدرس زیر وارد کنید.
www.example.com/robots.tx
اما برای استفاده از متاتگ ربات از دستور عمل زیر پیروی می کنیم:
<head> <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”> </head>
با استفاده از فایل های ربات می توانید صفحات بسیاری را مسدود کنید. ولی برای مسدود کردن همان صفحات مورد نظر باید تگ متاتگ ربات را در هر صفحه وارد کنید. در فایل های ربات می توانید نقشه سایت را به ربات های جست و جو گر معرفی کنید، ولی با متاتگ چنین کاری امکان پذیر نیست. برای ربات های جست و جو گر، الویت با فایل های ربات است. ولی انعطاف پذیری متاتگ بیشتر از این فایل ها است.
اگر می خواهید از هر دو متد استفاده کنید، ایرادی ندارد. ولی باید به این نکته توجه کنید که ربات های گوگل محتوای مسدود شده توسط فایل های ربات را ایندکس نمی کنند. ولی اگر لینک محتوای مسدود شده را در جای دیگری از سایت پیدا کنند، آن را در نتایج سرچ گوگل نمایش می دهند. برای حل این مشکل راه حل های متفاوتی وجود دارد، که آسان ترین راه استفاده از متاتگ ربات به شیوه ی ذکر شده در بالا است.