Файл robots.txt

Файл robots.txt предназначен для заперта индексации некоторых страниц, содержание которых не представляет никакого интереса для пользователей, приходящих на сайт с поисковых систем, и чтобы не вводить поисковых роботов в заблуждение. Файл robots.txt должен находиться в корневой директории сайта, независимо от того, в какой папке установлен интернет-магазин.

Рекомендуется запретить индексацию поисковыми системами файлов cart.php, а также pages.php. Прежде всего это касается файла cart.php.

Если магазин установлен в корне сайта (т.е. является главной страницей сайта, например, http://www.site.nnn/ или http://shop.site.nnn/ ), по умолчанию файл robots.txt уже присутствует в папке со скриптом. Если же магазин установлен не в корне сайта, а в отдельную папку (т.е. НЕ является главной страницей сайта, например, http://www.site.nnn/shop/ ), то Вы можете создать файл robots.txt в корне сайта, со следующим текстом:

User-Agent: *
Disallow: /shop/cart.php
Disallow: /shop/pages.php

где shop - имя папки, в которую установлен магазин.