Настройка индексации интернет магазина

Настройка индексации интернет магазина

Не для кого не секрет, что любой сайт должен быть настроен для индексации поисковыми роботами Яндекс, Google, Mail.ru, bing, в том числе и интернет магазин автозапчастей, купленный в нашей компании. Чтобы поисковые роботы Яндекс, Google, Mail.ru, bing правильно индексировали нужные разделы интернет магазина, необходимо произвести следующие seo-настройки:

1. Создать файл robots.txt в корневой директории вашего интернет магазина. Данный файл предназначен для определения условий индексации основных разделов и страниц Вашего интернет магазина различными поисковыми роботами;

2. Для того, чтобы при посещение несколькими поисковыми системами, Ваш интернет магазин стабильно работал, необходимо установить интервал между запросами не менее 3-х секунд с помощью директивы «Crawl-delay».

3. С помощью директив «Disallow:» файла robots.txt необходимо закрыть от индексации страницы поиска по номеру (проценку от web-service поставщиков). Многие поставщики предоставляющие свои Online-прайсы, при прохождение по странице поиска по номеру, делают к их веб-сервисам многотысячные запросы. После чего они закрывают доступ к своим веб-сервисам, из-за превышения лимитов поисковых запросов к их веб сервисам.

4. С помощью директив «Disallow:» файла robots.txt закройте от индексации административную часть системы. К примеру Disallow: /Admin/. Так как, для доступа к админке требуется пройти авторизацию, а поисковый робот соответственно не знает данных аутентификации, произойдет ошибка индексации. Поэтому, чтобы уменьшить количество ошибок при индексации необходимо закрыть доступ к административной части, а так же другие вспомогательные разделы сайта. Файл robots.txt поставляется в комплекте с программным обеспечением интернет магазина, и уже предварительно настроен.

Пример содержания файла robots.txt:
User-agent:*
Crawl-delay: 5
Disallow: /Admin/
Disallow: /App_Code/
Disallow: /Bin/
Disallow: /Client/
Disallow: /Help/
Disallow: /highslide/
Disallow: /Image/
Disallow: /images/
Disallow: /Image_temp
Disallow: /Image_Avtoshop
Disallow: /Input/
Disallow: /js/
Disallow: /MailFiles/
Disallow: /MANAGER/
Disallow: /orders/
Disallow: /Output/
Disallow: /s_ARTNUM.aspx

роддом ЦКБ