SEO на практике. Yandex следует по ссылкам в noindex

Для оптимизации сайта под Яндекс контент иногда лучше скрыть. Часто используется тег noindex. Не менее часто в ход идет nofollow, но он не скрывает контент. Используется по незнанию.

Для цели скрыть контент можно использовать мета-теги, robots.txt, специальный код или теги noindex, nofollow.

Запрет через robots.txt выглядит так:

User-agent: Yandex

Disallow:

User-agent: YandexImages

Disallow: /bad-pages/

Однако, указания robots.txt только директива, которая не дает гарантию на запрет индексации сайта ботами.

Можно запретить ссылке через noindex.

Тем не менее, лог сервера показывает, что поисковая система переходит по ссылкам, даже если используются теги которые призваны запретить переходить по ссылкам. Это означает что индексируется и анализируется весь контент в тегах noindex, то что вы хотели скрыть.

Яндекс следует по ссылкам, даже если ссылка заключена в noindex и/или nofollow.. Это важно учитывать при продвижении.

Запрещать ссылки и скрывать можно используя код. Более подробно в материале на MegaIndex.org по ссылке — Как скрывать нерелевантные блоки от индексации на сайте.

В приложении "Внешние ссылки" проверка ссылок проводится бесплатно. Услуга от сервиса MegaIndex предоставляется бесплатно
Регистрация по ссылке — MegaIndex
Ссылка на приложение — Внешние ссылки