website-studio1

К чему может привести не корректный robots.txt

1 0
17:18 7 июля 2014 — опубликовал Артур
Часто причиной резкой потери позиции может быть некорректное содержание файла robots.txt, который отвечает на сканирование сайта пауками поисковых систем, а также наличие meta-тега robots, запрещающего индексацию документа.

То что страница разрешена к индексации, можно проверить с помощью сервиса ADD URL в Яндексе, просто введя интересующий адрес в форму, если документ запрещен к индексации посредством файла robots.txt или meta-тега, то выведется предупреждение свидетельствующее об этом.