Файл robots.txtФайл robots.txt предназначен для заперта индексации некоторых страниц, содержание которых не представляет никакого интереса для пользователей, приходящих на сайт с поисковых систем, и чтобы не вводить поисковых роботов в заблуждение. Файл robots.txt должен находиться в корневой директории сайта, независимо от того, в какой папке установлен интернет-магазин.Рекомендуется запретить индексацию поисковыми системами файлов cart.php, а также pages.php. Прежде всего это касается файла cart.php. Если магазин установлен в корне сайта (т.е. является главной страницей сайта, например, http://www.site.nnn/ или http://shop.site.nnn/ ), по умолчанию файл robots.txt уже присутствует в папке со скриптом. Если же магазин установлен не в корне сайта, а в отдельную папку (т.е. НЕ является главной страницей сайта, например, http://www.site.nnn/shop/ ), то Вы можете создать файл robots.txt в корне сайта, со следующим текстом: User-Agent: * Disallow: /shop/cart.php Disallow: /shop/pages.php где shop - имя папки, в которую установлен магазин. |