آشنایی با فایل Robots.txt , نحوه ایجاد و فواید آن

- visibility ۳۱ mode_comment

فایل  Robots.txt یک فایل متنی بسیار ساده ,در عین حال بسیار مفید و تاثیر گذار می باشد.توسط این فایل شما قادر خواهید بود تا صفحات,لینک ها,پوشه های خاصی را از دید موتور های جستجو پنهان کنید این کار کمک شایانی در seo یک سایت می کند بطوری که وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها  زیادی رو بر روی سایت خود ایجاد نمایید.

برای ایجاد فایل Robots.txt  کافیه از یک نرم افزار ویرایش متن مثل notepad استفاده کنید,نرم افزار رو اجرا کنید و شروع کنید به وارد کردن کدهای مورد نظرتون. به شکل زیر توجه کنید...

همانطور که در تصویر بالا مشاهده می کنید ابتدای هر کد از واژه Disallow استفاده شده این واژه به معنی عدم اجازه می باشد و به موتور جستجو می فهماند که اجازه دسترسی به پوشه و یا فایل مورد نظر راندارد در نتیجه موتور جستجو  فایل هایی با این شرایط را را ایندکس گذاری نمی کند.

به عنوان مثال عبارت Disallow:/wp-admin پوشه ادمین وردپرس را برای موتور های جستجو غیر قابل دسترس می کند.و اگر بخواهیم فایل خاصی را در پوشه ی مورد نظر غیر قابل دسترس کنیم تنها کافیست بعد از اشاره به پوشه مورد نظر نام فایل یا پوشه ی مد نظرتان راوارد کنید مانند:

Disallow:/wp-admin/نام فایل یا پوشه مورد نظر

نکته مهم دیگری که باید مورد توجه قرار گیرد محل ذخیره فایل Robots.txt می باشد این فایل باید در ریشه اصلی سایت مورد نظر ایجاد و یا ذخیره شود بدین صورت :

http://www.yoursite/robots.txt 

به همین راحتی و با چند خط کد شما هم میتوانید seo سایت خود را بهتر و هم امنیت سایت خود را فزایش دهید...

در پایان تعدادی از دستورات مهم این فایل رو مشاهده می کنید که برای دو  cms قدرتمند جوملا و وردپرس مورد استفاده قرار می گیرد...

joomla

wordperss

امیدوارم که این مطلب مورد توجه شما قرار گرفته باشه...

comment دیدگاه کاربران
Pakdaman

تشکر از شما بخاطر این آموزش
چطور میشه یه دسته خاص رو از چشم موتور های جستجو خارج کنم
مثلاً سایتم تو موتور های جستجو با عنوان ” لباس مجلسه ” ثبت شده اما من میخوام چند تا مطلب هم بزارم که اصلا هیچ ربطی به محتوای سایت نداره
دسته مورد نظرم رو فرض بگیرید آموزش دفاع شخصیه! حالا باید چه کار کنم؟

لقمان آوند

خوب یه disallow ساده می خواد . چیزی شبیه این :
Disallow: /cat/amoozesh-defa-shakhsi/*

reza

سلام با تشکر از مطالب خوبتان برای دیتا لایف نیز کد ان را درج نمائید

پوریا

سلام من ساختار سایتم فرق میکنه میخواستم بدونم چگونه از این فایل میتونم استفاده کنم !
سایت من به یه صفحه اینکس معمولی بر پایه اچ تی ام لی میباشد و لینک شده به چندین ساب دامین هست به این صورت :
man.site.com
yo.site.com
و غیره که دارای سیستم های مختلفی مثل ورد پرس هستن اما در مقابل صفحه اصلی سایت فقط یه اینکس HTMl هست ممنون میشم راه نمایی کنید برای قرار دادن این فایل

کیوان علی محمدی

سلام این فایل باید توی پوشه ریشه هر کدوم از زیر دامنه ها قرار بگیره.

علی

سلام ، ممنون بابت آموزش جامه و مفصلتون…
با این فایل چه طور میتونم از دسترسی موتورهای جستجو برای یک URL خاص جلوگیری کنم ؟

کیوان علی محمدی

خوب طبق آموزش آدرس مورد نظر رو در قست deny قرار بدید.

Kish TB

ممنون عالی بود:smile:

سامان

سلام
آقا دستتون درد نکنه واقعا عالی بود
خیلی خیلی از شما ممنونم

تفریحی رزپاتوق

سلام ممنون عالی ومفیدبود

Paria RVN

سلام
ممنون از مطلبتون

من از ASP.net استفاده می کنم، برای ساخت فایل Robots.txt می تونم از همین آموزش استفاده کنم؟

مثلاً با داشتن پوشه ی administrator از همین کد استفاده کنم؟

Disallow: /administrator/

کیوان علی محمدی

بله مشکلی نداره.این فایل مربوط به اسپایدر های وب هستش و ربطی به نوع پلت فرم نداره.

نیاز به لاگین

برای ارسال دیدگاه و یا پرسیدن سوال خود در این قسمت، باید در سایت لاگین شوید.
1 2