آشنایی با فایل robots.txt

فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر public_html و در بالاترین سطح)  از فایل robots.txt برای مواردی استفاده می شود که نمی خواهیم صفحاتی از سایتمان…