Что такое краулинговый бюджет и как его оптимизировать

2 0
13:31 10 апреля 2015 — Угниченко Дмитрий
Что такое краулинговый бюджет и как его оптимизировать

Что такое краулинговый бюджет

Краулинговый бюджет — это количество страниц, которые поисковые бот может обойти за конкретный временной период. Поэтому, мусор должен быть удален.

Как оптимизировать, что сделать

Найти мусорные страницы

Найти мусорные страницы можно путем сортировки по размеру страницы используя бесплатное программного обеспечение Screaming Frog SEO Spider.

Screaming Frog SEO Spider

Или Xenu's Link Sleuth

Все страницы должны быть доступны по одному URL. Дубликаты страниц должны отдавать 301 редирект.

Использовать заголовок HTTP/1.1 304 Not Modified

Отдавая поисковому роботу 304 код (если страница не была изменена с предыдущего захода) мы даем роботу понять, что заново страницу индексировать не надо и экономим краулинговый бюджет, которым располагает наш сайт.

Рекомендованное чтиво по теме на сайте социальной сети интернет-специалистов MegaIndex.org по ссылкам далее:

0 комментариев

+ Добавить комментарий

Только зарегистрированные пользователи могут добавлять комментарии.