robots.txt бұл іздеу машиналарына көмек ретінде жасайсың. Оның еш қиындығы жоқ. Және де алып бара жатқандай артықшылығы да жоқ. Біздің сайттың робот.тхт былай көрсетілген.
User-agent: *
Sitemap: www.surak-zhauap.kz/sitemap.xml
Disallow: /rus
осы мәтінді қарапайым текстік файлға тастап атын robots.txt деп сақтап қоясың. Оны апарып директория www -тың ішіне тастайсың. Бұл жерде:
User-agent: * - оны онша түсінбедім.
Sitemap: www.surak-zhauap.kz/sitemap.xml - бұл сайттың картасын іздеу боттары жылдам тауып алу үшін сілтеме.
Disallow: /rus -бұл www директорияның ішіндегі rus -деген папаканы іздеу боттарына тексеруден өткізбе деген нұсқаулық. Егер сенің сайтыңның аты www.saitkaz.kz болсын. Сенің админкаң www.saitkaz.kz/admin болса, бірақ саған админкандағы құжаттар іздеу боттары оқымасын десең
Disallow: /admin деп көрсетесің.
