К чему может привести не корректный robots.txt

Часто причиной резкой потери позиции может быть некорректное содержание файла robots.txt, который отвечает на сканирование сайта пауками поисковых систем, а также наличие meta-тега robots, запрещающего индексацию документа.

То что страница разрешена к индексации, можно проверить с помощью сервиса ADD URL в Яндексе, просто введя интересующий адрес в форму, если документ запрещен к индексации посредством файла robots.txt или meta-тега, то выведется предупреждение свидетельствующее об этом.



Добавление документа в сервис add url Яндекса
Рисунок 5. Вывод сообщения «Указанный URL запрещен к индексации в файле robots.txt» при добавлении документа в сервис ADD URL Яндекса.

Пример корректно составленного файла:
User-Agent: Yandex
Disallow: /papku-ne-nado-indeksirovat
Disallow: *?i-etot-get-parametr=*
Host: Ваш хост

User-Agent: *
Disallow: /papku-ne-nado-indeksirovat
Disallow: *?i-etot-get-parametr=*

Дополнительно стоит проверить наличие и корректность атрибута rel="canonical" тега. Его требуется использовать, если на сайте есть два и большее количество URL-адресов, по которым оказывается доступен один и тот же документ. Чтобы избежать наличия дублей в индексе, на всей группе одинаковых страниц устанавливается тег, указывающий основной адрес (канонический).

©pixelplus