Как закрыть страницы сайта от индексации

Задача закрытия страниц от индексации является важной задаче в плане внутренний оптимизации сайта.

Документы сайта закрываются в случае решение следующих

• Закрыть не приносящие пользы страницы (дубли, технические страницы прочее) от индексации поисковыми системами;
• Закрыть индексации ссылочный профиль.

Рассмотрим обе задачи более подробно.

Закрыть не приносящие пользы страницы от индексации поисковыми системами

Страницы закрываются от индексации c целью не попадания в поисковую базу спамных страниц.

Основные способы установки директивы на запрет индексации заключается в использовании:

• Файла robots.txt;
• Заполнении мета-тега robots.

Пример кода для страницы page.html:

User-agent: *
Disallow: /page.html

Запрет на индексацию может подаваться через мета-тег robots. Мета-тег задается на странице.

Допустимые значение тега robots задаются через атрибут content:

index (разрешает индексацию);
noindex (запрещает индексацию);
follow (разрешает индексировать ссылки странице);
nofollow (запрещает индексацию ссылок на странице);
all (включает в себя сразу index и follow (разрешает индексировать и страницу и ссылки);
none – включает noindex и nofollow, то есть запрещает индексацию)

Пример кода:

<meta name="robots" content="all"/>

Еще пример:

<meta name="robots" content="noindex, nofollow">

Закрыть индексации ссылочный профиль

Для скрытия ссылочного профиля сайта от глаз конкурентов необходимо скрыть доступ к сайтом парсящим ссылки. Закрыть сайт от внешних исследований можно задав директиву в robots.txt.
Однако, за крайне редкими исключениями большинство роботов игнорируют данные инструкции.

Можно закрыть страницы от индексации посредством captha.

Файл htaccess может заблокировать доступ к определенной части сайта, например к отдельной странице. Если вы хотите закрыть страницу от Яндекса то вам нужна такая запись.

Для скрытия ссылочного профиля рекомендуется использовать модуль mod_setenvif.c:

# BEGIN Hide My Links
<IfModule mod_setenvif.c>
	BrowserMatchNoCase "AhrefsBot" hml_agent
	SetEnvIfExpr "-T reqenv('hml_agent')" hml_block
	Order Allow,Deny
	Allow from all
	Deny from env=hml_block
</IfModule>
# END Hide My Links