کار و کسب

صاحبان وب سایت از این فایل برای انجام تنظیمات مربوط به روباتهای جستجوگر اینترنت استفاده میکنند،و به پروتوکل استثناهای روباتهای وب معروف است.

تنطیمات روبات وب بسیار ساده است. روباتها برای فهرست بندی و ایندکس گذاری به سایت مراجعه می کنند و در هنگام مراجعه به سایت قبل از هر آدرسی مثلا http://YourSite.com/gallery.html فایل http://YourSite.com/robots.txt را می خوانند تا فیلترهای مشخص شده وب سایت را بدانند و بر اساس آن اقدام به فهرست بندی کنند.

به طور معمول در این فایل محتوای زیادی قرار ندارد و چند کلمه کوتاه در 2 خط تکلیف روبات را مشخص میکند ولی اگر به اشتباه و بدون دقت از اولین سایت آموزشی دو خط در متن نادرست کپی کنیم ممکن است به روباتها گفته باشید این سایت را نبین. البته روباتهای بد یا اسپمر ها به قوانین این فایل اهمیت نمی دهند و این قانون برای روباتهای معتبر تا حدود زیادی موثر است.

چگونه یک فایل robots.txt بسازیم؟
ابتدا یک فایل به نام robots.txt در notepad یا هر ویرایشگر ساده دیگری ایجاد نمایید سپس دستورالعملی که به آن نیاز دارید را در فایل قرار دهید و فایل را به سایت منتقل نمایید.

محل فایل روبات کجاست؟
فایل روبات robots.txt در ریشه وب سایت قرار می گیرد که آدرس ریشه معمولا در وب سایتها پوشه www یا public_html می باشد و این همان محلی است که فایل صفحه اصلی یا index در آن قرار داده می شود.

ادامه مطلب...