Рекомендации по составлению файла robots.txt
Для снижения нагрузки на сервер, вызываемой роботами поисковых систем (Яндекс, Google, Рамблер и др.), эффективным средством является размещение файла robots.txt с директивами, ограничивающими перечень адресов (URL) страниц сайта, подлежащих индексированию. Кроме того, ограничение списка индексируемых адресов позволяет запретить включение в базу данных поисковых систем нерелевантной (т.е. не имеющей ценности с точки зрения поиска в интернете) информации.
Использовать этот метод можно и для WebAsyst Shop-Script. Поскольку адреса многих страниц витрины WebAsyst Shop-Script различаются в зависимости от того, включен ли режим ЧПУ, ниже предложены отдельные рекомендации для магазинов с включенным и выключенным режимом ЧПУ.
Внимание: использование файла robots.txt допустимо только в случае установки скриптов WebAsyst на собственном сервере или сервере хостинг-провайдера. Пользователи веб-сервиса WebAsyst не могут размещать файл robots.txt на сервере.
С включенными ЧПУ |
Без ЧПУ |
Комментарии |
| Значения User-agent | ||
| User-agent: * | Список User-agent поисковых роботов, к которым должны применяться указанные ниже директивы. Для применения директив к роботам всех поисковых систем используется символ *. | |
| Для снижения нагрузки | ||
| Disallow: /pricelist/ | Disallow: /*ukey=pricelist | Страница прайс-листа |
| Disallow: /search/ | Disallow: /*ukey=search* | Страница поиска |
| Disallow: /*sort=* | Disallow: /*sort=* | Страница с результатами сортировки товаров в категории |
| Для отмены индексации нерелевантной информации | ||
| Disallow: /auth/ | Disallow: /*ukey=auth | Страница входа в аккаунт покупателя |
| Disallow: /cart/ | Disallow: /*ukey=cart | Корзина с товарами |
| Disallow: /checkout/ | Disallow: /*ukey=checkout | Страница оформления заказа |
| Disallow: /feedback/ | Disallow: /*ukey=feedback | Форма обратной связи |
| Disallow: /installer/ | Disallow: /installer/ | WebAsyst Installer |
| Disallow: /login/ | Disallow: /login/ | Вход в аккаунт пользователя WebAsyst |
| Disallow: /logout/ | Disallow: /*ukey=logout | Ссылка для выхода из аккаунта покупателя |
| Disallow: /myaccount/ | Disallow: /*ukey=office | Аккаунт покупателя |
| Disallow: /order_status/ | Disallow: /*ukey=order_status | Ссылка для просмотра статуса заказа |
| Disallow: /published/SC/html/scripts/ | Disallow: /published/SC/html/scripts/ | Различные служебные скрипты (например, RSS-лента) |
| Disallow: /published/wbsadmin/ | Disallow: /published/wbsadmin/ | WebAsyst Installer |
| Disallow: /register/ | Disallow: /*ukey=register | Страница регистрации покупателя |
| Disallow: /remind_password/ | Disallow: /*ukey=remind_password | Ссылка для напоминания пароля покупателю |
| Disallow: /*view=* | Disallow: /*view=* | Служебные ссылки (например, печатная форма страницы) |
| Disallow: /*/reviews/ | isallow: /*ukey=discuss_product | Ссылка на страницу с обсуждениями товара |