Главная /

Блог /

Накрутка поведенческих факторов в Яндекс

SEO

#SEO

#Продвижение

SEO-оптимизатор

Автор: Андрей Валентинов

Содержание

В последнее время все чаще и чаще конкуренты, желая занять более высокую позицию в топ-10, пытаются манипулировать результатами поиска, используя накрутку поведенческих факторов. В результате страницы теряют свою видимость или вылетают из индекса.

Раньше отрицательные ПФ накручивали боты для всего сайта и ждали, когда сайты попадут под санкции, их документы в выдаче потеряют свои высокие позиции, и в конце концов они вылетят из ТОПа. Сейчас же негативное воздействие оказывают роботы, которые имитируют заходы на страницы с короткими сессиями. В результате у страниц растет показатель отказов, что отрицательно сказывается на ранжировании как отдельного документа, так и сайта в целом.

Накрутки можно разделить по их цели: вывести страницу своего сайта на более высокую позицию или "понизить" конкурента. В результате их делят на позитивные и негативные.

Если одни "топят" своих конкурентов, оставаясь белыми для поисковых систем, то другие "крутят" сами себя на свой страх и риск, заведомо зная, что Яндекс все же раскрывает такие сайты и понижает их в результатах поиска. Это делается с одной целью – занимать самые высокие места и получать больше трафика, который должен конвертироваться в продажи.

Например, в тематике "Напольные покрытия" сайт https://nachniremont.pro/ занимает очень высокие позиции по ВЧ запросам, обойдя в топ-3 такие сайты, как https://leroymerlin.ru/ , https://moscow.petrovich.ru/ , https://www.obi.ru/

Достаточно сравнить ИКС сайтов (или хостовые факторы), чтобы начать сомневаться в актуальности ранжирования в топ-1 https://nachniremont.pro/

Основные поведенческие метрики, на которые SEO-специалисты обращают внимание в первую очередь при накрутке:

___увеличение процента отказов;
___снижение времени на сайте;
___уменьшение глубины просмотра.

Накрутчики используют различные тактики негативного воздействия на своих конкурентов. Это могут быть манипуляции:

___через глубину просмотра;
___время на сайте;
___конкретный запрос;
___CTR;
___поисковые подсказки.

В системах аналитики Яндекс.Метрика и Google Analytics, с учетом особенностей алгоритмов подсчета, проценты отказов отличаются. Вот почему:

1. Яндекс.Метрика: если пользователь провел на сайте в рамках одной страницы менее 15 секунд, этот визит будет считаться отказом.

2. Google Analytics: сеанс будет считаться отказным, если пользователь открыл одну страницу сайта и покинул его, не активировав других запросов. То есть учитывается, сколько запросов было к серверу за время сеанса.


Кроме того, существуют и другие причины, которые влияют на разницу в показателях отказов:

1. Счетчик одной системы аналитики может быть размещен в коде намного ниже другого, из-за чего пользователь просто мог не дождаться загрузки страницы. В результате такие сессии не учитывались в показателях отказов.

2. Возникшие сбои в работе систем аналитики.

3. Одна из систем может учитывать трафик со старого зеркала сайта, на котором остался ее счетчик.

4. Различие в настройках тайм-аута, которое учитывает время допустимого бездействия посетителя.

Накрутка ПФ делится на 3 типа:

1. Прямая: на сайт "гонят" трафик с продолжительностью сеанса менее 15 секунд. Как правило, это самый часто используемый способ.

2. По ключам: осуществляется переход на сайт по ключевой фразе в поисковой выдаче. Проводят на странице менее 15 секунд и возвращаются обратно в поиск. Далее находят свой сайт и остаются там более продолжительное время. В результате CTR сниппета "отрицательно накрученного" сайта снижается, а у сайта-конкурента – повышается.

3. По ссылкам: происходит переход по внешней ссылке, после чего жмут на кнопку "Назад" в браузере.

Чаще всего накрутчики, пытаясь "понизить" своих более успешных конкурентов, гонят на сайт роботизированный трафик. Эти автоматические боты выполняют ряд заложенных в них действий. Но для более "естественных" манипуляций используются специально обученные люди.


Выделяется 2 вида накрутки ПФ: роботизированные (RPA) и человеческие (нативные):

1. RPA-накрутки: роботу задаются параметры, согласно которым он будет совершать те или иные действия на странице. Обычно используют специализированный софт для накрутки поведенческих факторов сайта. Такие действия в Метрике отмечаются как роботные, и поэтому они малоэффективны.

2. Нативные накрутки: специально обученным людям с сервисов накрутки ПФ дается задание по проведению определенных действий в выдаче и на конкретной странице. Как правило, это переход из поиска на страницу сайта со временем пребывания на ней менее 10–15 секунд и переключение вкладки.

Как показывает наш опыт продвижения сайтов, накрутка ПФ никак не сказывается на ранжировании запросов страницы в поисковой системе Google.


Вот пример:

У Яндекса как всегда все не просто. Официально поисковик утверждает, что научился отличать "накрученный" трафик от естественного, и накрутка не влияет на ранжирование запросов страницы. Но на примере мы видим обратное.

Однако велика вероятность попадания под фильтр Яндекса за накрутку ПФ в том случае, если конкуренты в течение месяца негативно воздействуют на сайт. Эту информацию можно получить в Я.Вебмастере в разделе «Безопасность и нарушения» специальным уведомлением. Срок санкции действует от 8 до 12 месяцев.

Результат накрутки ПФ может быть любым, но чаще всего позиции страниц выпадают из топ-10 и ранжируются на 20–30 местах, сайт теряет видимость по большинству запросов в Яндексе. Но в таком случае позиции еще можно вернуть. Объем работ и период возврата будут зависеть от конкретного сайта.

Если домен все же попал под бан-фильтр, его видимость может упасть до нуля, так как страницы могут вылететь из индекса. Это напрямую отразится на трафике, который снизится в несколько раз.

Пример отчета из Яндекс Метрики: Источник, сводка → Прямые заходы

Это самый основной признак прямой накрутки, на который нужно обратить внимание. Важно отметить, что на данном примере крутили именно главную страницу сайта, поэтому кривая на графике не показывает резкого изменения.

Накрутка сопровождается скачком роботности, поэтому нужно обратить внимание на этот отчет. Пример отчета из Яндекс Метрики:

Данные за последний год:

Для сравнения:

01.06.21 было 1088 отправок данных

01.06.21 было 1138 отправок данных

01.06.21 было 8821 отправка данных

01.06.21 было 11262 отправки данных


Видно, что за последние 2 месяца в июне и июле 2022 года на сайте значительно увеличилось число отправок роботных данных.

Данные разбиты по неделям с 06.06.22 по 07.08.22


Уточняющие данные:

___все переходы "Отказ 100%";

___время, проведенное на сайте, ___меньше 5 секунд;

___сплошная линия – переходы ___"Только люди";

___пунктирная линия – переходы ___"Только роботы"

На графике видно, что за неделю с 18.07 по 24.07 число роботных прямых заходов резко увеличилось, а за неделю 25.07–31.07 это число увеличилось практически в 2 раза. В результате отчетливо видно, что за неделю с 25.07 по 31.07 конкуренты пытались воздействовать на позиции сайта в ПС Яндекс путем накрутки поведенческих факторов.

Характерное поведение робота:

___медленный скроллинг контента страницы с приостановкой на небольшие паузы;

___при прокрутке вниз в движении курсора наблюдаются рывки;

___"нарезание кругов" вокруг элементов страницы;

___непопадания по анкорам (miss click), например в развернутом меню.

Чтобы найти, откуда бот переходит на сайт, часто используется анализ логов.


Основным преимуществом логов является то, что по ним можно получить много информации о User Agent. Например, по названию можно понять, является этот юзер ботом популярной поисковой системы, или стоит его взять под сомнение.


Пример User Agent, который не стоит блокировать:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)


Пример User Agent, который нужно блокировать:

GuzzleHttp/6.5.4 curl/7.58.0 PHP/7.0.31-1+ubuntu18.04.1+deb.sury.org+1


Рассмотрим также и другие признаки накрутки поведенческих факторов


Анализ наличия накрутки ПФ по резкому изменению позиций "Популярных запросов" в Яндекс Вебмастере.

Отчет в Вебмастере: "Поисковые запросы" → "Статистика запросов"


Последовательность действий:

___выбираем нужный нам отрезок времени (предположительно когда была зафиксирована накрутка) и регион ранжирования сайта;

___выбираем фильтр "Популярные запросы";

___кликаем на "шестеренку" и выбираем показатели: средняя позиция и средняя позиция клика.

Если наблюдается чрезмерный резкий рост средней позиции запроса (или нескольких запросов), то можно сделать вывод о том, что по этим ключевым фразам на сайт крутят негативные ПФ.

Информация о кликабельности сниппетов также может помочь в определении накрутки со страницы выдачи. Как это проверить:

___заходим в Я.Вебмастер;

___открываем раздел "Поисковые запросы";

___кликаем на отчет "Статистика запросов";

___жмем на "шестеренку" и выбираем показатель "CTR, %".

Выбираем интересующий нас промежуток времени и проверяем запросы, у которых в разы увеличился CTR.

Снимаем позицию анализируемого ключа и смотрим, какая позиция у него была ранее. В нашем случае это продвигаемый запрос, который долгое время имел позиции в топ-10, но после накрутки вылетел в топ-20. При этом его CTR резко подскочил. Это явный маркер накрутки.

Анализ соотношения переходов на сайт с разных типов устройств за период возможной накрутки.

К примеру, на основе данных Яндекс.Метрики мы знаем, что ежемесячно на сайт переходят 70% с мобильных устройств (в основном со смартфонов) и 30% – с ПК. Но в период, когда была зафиксирована накрутка, это соотношение резко меняется.

Увеличение видимости сайта по брендовой семантике.

Простой и верный способ – это воспользоваться сервисом Яндекс.Вордстат, в котором выбрать отчет "История запросов"

Далее выбрать необходимый регион и вбить анализируемый запрос с брендом. В ежемесячной статистике показов по брендовым фразам не должно быть неестественного роста показов.

Если на графике абсолютных значений наблюдается резкий скачок роста спроса, можно сделать вывод о том, что по данной ключевой фразе идет накрутка.

Резкое увеличение показов из посторонних регионов по запросам с конкретным топонимом.


Чуть выше я писал о том, что в тематике "напольные покрытия" сайты крутят ПФ. Вот как это можно проверить:

___переходим в сервис Я.Вордстат;

___кликаем на отчет "По регионам";

___вбиваем запрос с конкретным топонимом и смотрим на популярность и число показов данного запроса за месяц в различных городах.

На изображении ниже видно, что "ламинат в Москве" активно ищут в Москве и области, что логично. Но также отчетливо виден аномальный рост популярности данной фразы из Белгорода (284%). Для сравнения – из Санкт-Петербурга популярность этого запроса всего 15%.

Из данного анализа можно сделать вывод о том, что резкие скачки неестественной популярности запроса из несвойственного региона являются маркером накрутки.

Если все же ваш сайт попал под санкции поисковых систем за накрутку поведенческих факторов, то в этом случае надеяться на быстрое снятие фильтра не строит. Техническая поддержка Яндекса может рассмотреть вашу заявку только через полгода. Отмечается, что вывод сайта из - под фильтра занимает около года.

Молодые сайты обычно не имеют нужного веса, не набрали траста, у них невысокая видимость и небольшой трафик. Здесь особо жертвовать нечем, и можно просто перейти на новый домен и продвигать его заново.

За старый сайт есть смысл побороться, особенно если ранее он приносил вам доход. Можно попробовать доказать ТП Яндекса, что вы не занимаетесь накруткой, особенно если есть факты и доказательства, что вас явно пытаются "завалить". Если ничего доказать не получится, многие рекомендуют сменить домен и склеить его со старым путем простановки 301 редиректов.

Если после проведения на сайте работ по борьбе с роботизированным трафиком его рост прекратился, то в Яндекс.Вебмастере нужно перейти в отчет "Безопасность и нарушения" и нажать кнопку "Я все исправил".

Этот метод основан на блокировке спамных IP через модуль CMS "Проактивная защита", который позволяет создавать стоп-листы. Ниже показан пример панели администрирования Bitrix.

Если вы определили, на какие страницы "гонят" ботов, то есть решение просто удалять такие страницы, предварительно сохранив контент. Далее нужно создать новые страницы (на замену удаленным) с другим URL и видоизменными заголовками. Разместить на новых страницах сохраненный контент и отправить их на переобход. Когда они попадут в индекс и будут иметь видимость по запросам, вопрос будет решен.

Программное решение поможет за 2 секунды определить, кто заходит на сайт: робот или человек. Пользователям без cookie показывается всплывающее окно, которое можно оформить в виде приветствия. При любом взаимодействии с окном, например клик по кнопке "Продолжить", выполняется отложенная загрузка счетчиков Яндекс.Метрики и Google Analytics.

Скрипт определит бота, если он никак не смог взаимодействовать с поп-апом. Коды систем аналитики от него будут скрыты.


Как происходит разделение посетителей:

1. Боты поисковиков и соцсетей игнорируют скрипт и без проблем заходят на сайт.

2. Реальные посетители должны кликнуть по кнопке во всплывающем окне и через пару секунд после проверки попасть на сайт.

3. Спамные боты определяются скриптом и отсеиваются. Системы аналитики их не учитывают

Этот метод подходит, если подтвердился факт попадания сайта под санкции. Необходимо использовать резервный домен, на который нужно переклеить путем 301 редиректа старый сайт. Важно, чтобы новый домен был в поиске и имел возраст хотя бы не менее 2 лет.

Как это работает: перенаправление будет принудительно перекидывать роботов на другие URL-адреса, отличные от тех, на которые они переходили изначально.

С помощью доработки кода Метрики можно вывести данные об IP того или иного визита в Вебвизоре в столбце «Параметры визита». Это позволит проводить все дальнейшие действия в отношении конкретного IP:

1. Блокировка IP в файле .htaccess (сайт будет недоступен с добавленных в файл IP). Этот пункт опасен тем, что вместе с предполагаемыми ботами могут быть заблокированы реальные пользователи, что приведет к объективным негативным последствиям в дальнейшем.

2. Блокировка статистики конкретного IP в счетчике Метрики. Данные по конкретному IP-адресу позволят нам заблокировать статистику предположительного бота в Метрике, добавив его IP в фильтр счетчика. Таким образом, статистика по отфильтрованному IP в Метрике учитываться не будет, а поисковой системе будет дан сигнал о подозрительном визите.

3. Установка более строго правила для фильтрации роботов. Это позволит Метрике фильтровать визиты по поведению (в отчеты не будут включены визиты с роботным поведением, но отсев будет происходить в автоматическом режиме). Но не стоит забывать о том, что это может повлечь за собой отсеивание реальных пользователей, которые просто не были удовлетворены контентом сайта

Чаще всего используются такие системы, как Cloudflare, BotFAQtor и другие. По своим различным поведенческим и техническим параметрам они проводят анализ входящего на сайт трафика. В результате происходит блокировка ботов.

Можно попробовать написать в техподдержку Яндекса, но ожидать, что они войдут в ваше положение и решат проблему, не стоит. У них есть стандартные ответы, что все негативные воздействия на сайт учитываются их алгоритмами, и советы о развитии сайта для пользователей.

В последнее время тема накрутки ПФ очень популярна во многих тематиках. Появляется все больше способов манипуляции, а роботы становятся "хитрее" и "умнее".

Защититься от того, что на ваш сайт могут начать крутить негативные поведенческие факторы, практически невозможно, но можно это пресечь на ранних этапах. Для этого нужно проводить мониторинги трафика в Метрике и Analytics, следить за динамикой кликов и средней позицией запросов в Яндекс.Вебмастере и Search Console. Подозрительные всплески роста отказных визитов или снижение кликов дадут понимание, что с сайтом что-то не так.