در این مطلب میخواهیم به robots.txt بپردازیم ، اول از هر چیزی بگم که robots.txt خوبی های زیادی داره بدی های زیادی هم داره و اگر بلد نیستید یا بلد نشدید هیچ کاری نکنید. یکی از مزیت های خوبش اینه ک میتونید امنیت سایتتون رو در مقابل روش google hacking یا روش های دیگر هک کردن ، افزایش بدید یا برای seo سایتتون کارایی انجام بدین.
از زمان شکل گیری ابزار ارتباطی نوین به نام اینترنت یا شبکه جهانی، قوانین و قواعدی نیز به همراه آن وضع شد که در بحث بهینه سازی سایت یا سئو (Search Engine Optimization) واضعان آن قواعد و قوانین، عمدتا موتورهای جستجوگر معروفی چون گوگل (google)، بینگ (bing)، یاهو (yahoo) و. بوده اند، بدین ترتیب با هم اندیشی توسعه دهنده گان وب و مهندسین این شرکت ها، به تدریج استانداردها و قواعدی برای مدیران سایت ها تدوین شد که یکی از این قواعد، کنترل رفتار ربات های خزنده (bots) موتورهای جستجو به وسلیه ایجاد و تنظیم فایلی به نام robots.txt در ریشه سایت است؛ بدین وسیله می توان تا حدودی رفتار ربات ها را در نحوه جستجو و ایندکس صفحات مدیریت کرد، در ادامه به چگونگی انجام این کار و همچنین بایدها و نبایدهای استفاده از این امکان اشاره خواهیم کرد.
سایتکت:سایبر+پروتکت=امنیت،حفظ و حراست اطلاعات robots ,سایت ,بدین ,رفتار ربات منبع
درباره این سایت