Оценка стоимости продвижения поискового запроса или перехода с поиска стоит перед оптимизаторами с самого момента зарождения профессии. Каждый год эту задачу решить все сложнее, так как на оценку влияет все больше параметров.

Мы решили создать алгоритм, который позволит оценить сложность получения перехода с органической выдачи. Для этого мы решили агрегировать ключевые показатели всех сайтов, а именно:
— количество эффективных показов в органическом поиске
— количество внешних ссылок

Пол года назад в Яндексе появилась возможность получения частоты запроса с учетом точного указания последовательности слов. Это стало возможным благодаря использованию оператора с квадратными скобками.

Например, стало возможным определить отдельно статистику по запросам "калева окна" и "окна калева"

В классификатор запросов добавлена оценка геозависимости в Яндекс, которая для каждого запроса сравнениет ТОП10 результатов поиска для Москве и Санкт-Петербурга.

Теперь в таблице сразу доступны все необходимые параметры запросов, а также их можно получить по API:



Процент геозависимости считается по доле совпадающих URL в ТОПах.

Перейти на классификатор запросов: https://ru.megaindex.com/a/wordinfo

За последний год мы внедрили в MegaIndex множество современных и модных алгоритмов, которые помогают оптимизатору (LSI, LDA, word2vec и т.д.) Все эти параметры и алгоритмы сложны для понимания, но их было необходимо использовать для достижения высокого качества оптимизации документов.

Теперь мы постарались связать все эти параметры и показать Вам одно разумное значение, которое позволит оценить эффективность оптимизации страницы под выбранное семантическое ядро. Для этого мы несколько месяцев исследовали корреляции различных алгоритмов с поисковым ранжированием и вырабатывали максимально простую, но эффективную формулу оценки релевантности. Результатом этой работы стала количественная оценка оптимизации страницы под соответствующие запросы.

Рассмотрим работу приложения на примере решения задачи по оптимизации одной страницы под 4 запроса:



Теперь мы можем оценить оптимизацию этой страницы под каждый запрос и дать рекомендации по комплексной доработке страницы:

Текстовый анализатор является достаточно популярным приложением MegaIndex и позволяет неплохо оптимизировать страницу под заданный запрос. Благодаря этому приложению можно всего за несколько минут сделать страницу, контент которой будет максимально похож на документы, которые сейчас ранжируются на первых местах.

Но почти всегда оптимизаторам нужно продвигать страницу по нескольким запросам, а это значительно усложняет задачу. Мы можем оптимизировать страницу под один запрос, но потерять релевантность по другой фразе.

Новая версия текстового анализатора позволяет указать несколько запросов и выбрать по этой массе запросов самые жесткие требования, которые необходимо реализовать для достижения высокой релевантности по всем фразам

Рассмотрим пример работы такого алгоритма. Допустим, Вы решили продвигать два совершенно разных запроса "окна" и "перевозки" на одну страницу, рассмотрим требования, которым должен удовлетворять такой документ:



Как видно из примера, документ должен включать различные слова, которые относятся к этим различным запросам: окна, переезды, пластиковые, грузоперевозки и т.д.

А TITLE пришлось бы писать по таким требованиям, что почти невозможно:


Таким образом, Вы легко сможете добавить продвигаемые запросы на страницу и доработать оптимизацию с учетом новых требований.

Рассмотрим более разумную задачу по оптимизации 4 запросов на один документ:


Здесь мы видим уже более реальные требования к контенту и оценку того, что нужно доработать:

При анализе внешних ссылок во всех известных нам продуктах стоит проблема большого числа зеркал популярных ресурсов, что по сути добавляют мусор в отчет по внешним ссылкам.

Мы долго работали над решением этой проблемы и готовы к запуску технологии автоматического поиска зеркал, что позволит очистить наш индекс от бесполезных ссылок.

Выявление зеркал работает на основе алгоритма SimHash. Алгоритм позволяет быстро находить сайты с идентичным контентом. Наш индексатор в автоматическом режиме считает главным зеркалом тот домен, на который стоит подавляющее большинство внешних ссылок.

Подробнее об алгоритме SimHash: http://jmlr.org/proceedings/papers/v33/shrivastava14.pdf

В настоящий момент в базу нашего индекса попала информация только по 10% зеркал, полное обновление базы займет еще около 3 недель.

Сейчас Вы уже можете видеть записи о том, что сайт является зеркалом к основному домену:


Пример отчета по внешним ссылкам — перейти

Мы обновили алгоритм классификации запросов в MegaIndex.com

Теперь мы выделяем 3 уровня тематических категорий (ранее было только 2). Соответственно и количество категорий выросло в несколько раз.

Также нам удалось значительно повысить качество определение тематики запроса за счет замены LDA для более эффективный алгоритм для данной задачи

https://ru.megaindex.com/a/wordinfo/

Мы запустили классификатор поисковых запросов
https://ru.megaindex.com/a/wordinfo/

Сервис позволяет по любым поисковым запросам определить:
— тематику
— количество запросов в месяц
— долю коммерческих сайтов в ТОПе
— медианное значение по числу внешних ссылок на сайты и URL из ТОПа
— количество главных в SERP



Получение данных по API
https://ru.megaindex.com/api/catalog/view/28

Презентация доклада с Data Driven SEO
https://drive.google.com/file/d/0B9m3r-Ruxrshc0VRLWVvYWFPVjQ/view?usp=sharing

29 и 30 сентября MegaIndex организует бесплатную трансляцию SEO Conference 2106.

Конференция проходит в три потока: SEO, Digital, Mobile. Выбирайте интересные доклады!

Не пропустите доклад Николай Хиврина 29 сентября в 14:30 в потоке SEO на тему "Алгоритмы выявления SEO-ссылок"

Перейти на страницу трансляции: http://www.megaindex.tv/seoconf/

Приглашаем Вас на третий вебинар от Николая Хиврина завтра (20 июля) в 21:00 по созданию эффективной внутренней перелинковки

Трансляция будет доступна на странице:
https://ru.megaindex.com/blog/about/vebinar-3-sozdanie-effektivnoy-perelinkovki