• slide 0

    کاملترین دوره آموزش PHP به زبان فارسی !

  • slide 1

    آموزش فروشگاه ساز Open Cart - مقدمه

  • slide 2

    وردپرس - ایجاد شورتکد و دکمه اختصاصی در ادیتور - قسمت اول

  • slide 3

    LivIcons : آیکون ها زنده!

  • slide 4

    9 استایل زیبا برای CheckBox با CSS3


اطلاعیه : در حال حاضر کاملترین دوره ی مجازی آموزش زبان PHP با قیمتی بسیار مناسب نسبت به کلاس های حضوری در حال برگذاری است . از این فرصت ویژه استفاده نمایید.

لقمان آوند ۱۱ تیر ۹۱ 17,521 بازدید

:: موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته .
صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید :
1x1.trans فایل robot.txt چیست و چرا باید از آن استفاده کرد ؟
1x1.trans فایل robot.txt چیست و چرا باید از آن استفاده کرد ؟
همونطور که در عکس بالا میبینید ، در سایتی که از فایل robot.txt استفاده نشده باشه روبات های موتورهای جستجو همه ی صفحات رو ایندکس می کنند در صورتی که با استفاده از این فایل میشه این ایندکس شدنها رو برای پوشه های مختلف کنترل کرد ! از این فایل همچنین برای جلوگیری از ایندکس شدن تکراری صفحات با url های مختلف استفاده میشه .
:: خوب حالا که فهمیدید دلیل استفاده از فایل مهم robot.txt چی هست ، نحوه استفاده از اون رو براتون توضیح میدیم :
فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است . در زیر چند تا از مهمترین دستوراتی که توی این فایل می تونید بیارید آوردم .
User-agent
در خط اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent میاریم . به شکل زیر :

علامت * میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه .
مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :

در اینجا میتونید لیست همه ی روبوت های موجود و معروف رو ببینید .
اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می دن .
Disallow
برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه . بزارید چندتا مثال بزنیم :

این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .

در مثال فوق همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند .

در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند .

البته میتونید برای روبوت های مختلف محدودیت های مختلف تعیین کنید :

Allow
از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :

در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره !

robot.txt برای سایت های وردپرسی !
در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم . می تونید ازش استفاده کنید . میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها و ... اجازه دسترسی داده نشده .

همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد .

robot.txt برای سایت های پیاده سازی شده با جوملا !

:: در آخر هم بد نیست یه نگاهی به فایل robot.txt خود سایت گوگل بکنید !

:: امیدوارم که مفید واقع شده باشه ! حمایت از ما (+1 در گوگل) فراموش نشه ... خوش باشید !

لینک دانلود PDF مطالب برای کاربران VIP در دسترس است . شما هم می توانید عضو VIP شوید .
:: مطالب جدید سون لرن را از طریق ایمیل دریافت کنید :
mftpirouzi

دیدگاه ها

تاکنون 24 دیدگاه برای این مطلب مطرح شده است . نظردهی برای این مطلب بسته شده است .
  • ‏‏
    منصوری(۱۸ مرداد ۱۳۹۱)

    ماژولی مثل نویسنده توی این سایت برای جوملا میخوام

    هستش

    0
    • ‏‏
      لقمان آوند(۱۸ مرداد ۱۳۹۱)

      سلام
      باید بگردی . این ماژول نیست ه اینجا استفاده شده . از یه سری از توابع وردپرس استفاده کردم . مطمئنا اگه با وملا خوب آشنا باشی چنین چیزی داره .

      0
  • ‏‏

    با سلام و تشکر از مطالب آمزشی دقیق شما
    ببخشید این مسئله رو می شه برای صفحاتی که گوگل ارور داده یعنی صفحات از سایت پاک شده بکار برد

    0
  • ‏‏

    مثل اینکه سایت گوگل از سایتهایی که روبتس تکست داشته باشن بدش میاد. چون من داشتم تو گوگل سرچ میکردم ، تو نتایج سرچ بر ای چندتا سایت نوشته بود اینها دارای فایل روبتس تکست هستند و نتایج آنها قابل مشاهده نیست. مثل اینکه گوگیل اونها رو تحریم بکنه. درسته چنین مطلبی؟ توضیح بدید و لطفا جواب رو به آدرس ایمیلم نیز بفرستید خواهشا.

    0
    • ‏‏
      لقمان آوند(۱۶ اسفند ۱۳۹۱)

      سلام
      خیر اینطور نیست . حتی گوگل در وبمستر تولز خودش قسمتی برای آنالیز این فایل داره .
      اون سایت ها احتمالا بد استفاده کردند و تعداد زیادی از صفحات سایتشون رو با این فایل unFollow کردن !

      0
  • ‏‏

    خسته نباشید.
    مطلب جالبی بود.

    0
  • 0
    0
    0
    0
    X

    ورود/عضویت سریع با اکانت یاهو/جیمیل شما

    :: شما می توانید با استفاده از اکانت یاهو و یا جیمیل خود به صورت کاملا امن، سریع و بدون نیاز به ورود اطلاعات عضو و وارد سایت شوید. در این صورت هیچ نیازی به ورود نام کاربری و رمز عبور خود نخواهید داشت و هویت شما از طریق ایمیلتان مورد تائید قرار می گیرد .
    برای استفاده از این روش باید در اکانت یاهو و یا جیمیل خود لاگین باشید .

    ورود به سایت

    ورود سریع از طریق اکانت یاهو/جیمیل شما
    Username :
    Password :
    Remember ?  

    جستجو در سون لرن

    عبارت :