Что такое краулинговый бюджет

Краулинговый бюджет — это количество страниц, которые поисковые бот может обойти за конкретный временной период. Поэтому, мусор должен быть удален.

Как оптимизировать, что сделать

Найти мусорные страницы

Найти мусорные страницы можно путем сортировки по размеру страницы используя бесплатное программного обеспечение Screaming Frog SEO Spider.



Или Xenu's Link Sleuth

Все страницы должны быть доступны по одному URL. Дубликаты страниц должны отдавать 301 редирект.

Использовать заголовок HTTP/1.1 304 Not Modified

Отдавая поисковому роботу 304 код (если страница не была изменена с предыдущего захода) мы даем роботу понять, что заново страницу индексировать не надо и экономим краулинговый бюджет, которым располагает наш сайт.

Рекомендованное чтиво по теме на сайте социальной сети интернет-специалистов MegaIndex.org по ссылкам далее:

• Индексация сайта.

Термины

Краулинговый спрос — цифра обозначающая количество страниц подлежащих индексации по расчету поисковой системой. Расчет производится на основании:

• Актуальности контента документов сайта в индексе поисковой системы;
• Популярности документа на основе сигналов из социальных сетей.

Краулинговый бюджет — цифра обозначающая количество страниц подлежащих сканированию.
На цифру краулингово бюджета влияет краулинговый спрос и доступность сервера.
Например, если на IP расположено множество сайтов, Google проиндексирует можно ожидать цифру краулингового бюджета меньше за цифру краулинговый спроса.

Факторы

На индексирование и последующее сканирование влияет список из приведенных далее факторов:

• Фасетная навигация в URL;
• Идентификаторы сессий в URL;
• Страницы возвращающие ошибки 404;
• Взломанные страницы;
• Низкокачественный контент, например — автоматический перевод;
• Спамный контент;
• URL создающие бесконечные пространства, например — календарь.

Крау бюджет расходуется на все ссылки, включая файлы AMP, CSS, JS и прочие.

Скорость загрузки сайта влияет на краулиноговый бюджет.

Рекомендованное чтиво по теме скорости сайта на сайте социальной сети интернет-специалистов MegaIndex.org по ссылкам далее:

• Как увеличить скорость загрузки сайта;
• Оптимизация скорости загрузки сайта;
• Accelerated Mobile Pages;
• Как используя официальные методы усовершенствовать Google Analytics, чтобы система начала подсчитывать скорость загрузки страниц;
• Как ускорить индексацию;
• Оптимизация скорости загрузки сайта;
• Как ускорить загрузку сайта.

Google следует по ссылкам с заданным параметром rel=nofollow, следовательно директива nofollow на цифру краулиногового бюджета сайта никакого воздействия не оказывает.