В настоящее время существует проблема с индексацией и переиндексацией страниц сайта в Google. Это вызвано проблемой с огромными объемами обрабатываемых данных Гуглом и способом сокращения их издержек. В связи с этим особенно испытывают проблемы молодые сайты и сайты с большим количеством страниц, но редко обновляемым контентом, данные ресурсы могут не индексироваться достаточно продолжительное время.

Как говорит сам Google:

Интернет — большое место; постоянно создается новый контент. У Google ограниченное количество ресурсов, поэтому, столкнувшись с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только часть.
Источник: https://developers.google.com

Для массовой быстрой индексации страниц в настоящее время доступен инструмент Indexing API — позволяющей проиндексировать огромное количество страниц в кратчайшие сроки (до суток при отправке в рамках краулингового бюджета).

Но стоит обратить внимание, что это не панацея и в первую очередь необходимо проработать базовые факторы, которые мешают индексированию сайта и снижают его "качество":

отсутствуют ошибки "404" и «Soft 404»;

карты сайта (sitemap.xml) имеют корректные ссылки и обновляются;

корректно настроен файл robots.txt;

страницы сайта не закрыты от индексации тегами, атрибутами noindex;

корректно создана внутренняя перелинковка и т. п.

отсутствуют множественные дубли контента и некачественный контент;

Для подготовки данной программы и написания статьи мы вдохновились скриптом наших коллег из Ant-Team.ru и сделали пользовательский интерфейс под программу в формате .exe для удобства использования и для тех, кому не удобно или лень управлять скриптом из консоли.

Для подготовки данной программы и написания статьи мы вдохновились скриптом наших коллег из Ant-Team.ru и сделали пользовательский интерфейс под программу в формате .exe для удобства использования и для тех, кому не удобно или лень управлять скриптом из консоли
Google Indexing API.rar

Иструкция по получению сервисных аккаунтов в Google Cloud Platform и JSON-ключей

Для использования данного инструмента необходимо получить связку сервисного аккаунта в Google Cloud Platform и JSON-ключа данного аккаунта для подтверждения доступа к проекту в Google Search Console.

Порядок действий:

Создаем сервисный аккаунт

01.

Создаем проект, перейдя по ссылке: https://console.cloud.google.com
(ссылка также доступна в приложении на вкладе FAQ)

В первом окне нажимаем CREATE (названия не важны, но для удобства можно использовать названия index-1 и т. п.)

Примечание: В одном аккаунте Google можно создать до 7 проектов (об этом более подробно расскажем далее)

Создаем сервисный аккаунт

02.

В созданном проекте нажимаем на создание сервисного аккаунта (+CREATE SERVICE ACCOUNT)

В открывшемся окне важно в п.2 выбрать роль "Owner" (остальные пункты можно оставить как есть и просто прокликать).

Сохраняем созданный email сервисного аккаунта

03.

Полученный на данном этапе email-адрес сохраняем отдельно — именно он будет нужен в дальнейшем для предоставления доступа к сайтам (если вы подразумеваете использовать сервис только для одного сайта, можете сразу добавить его в серч консоль с правами владельца).

Получаем JSON-ключ

04.

Для этого кликаем по адресу сервисного аккаунта, переходя в его настройки, выбираем вкладку KEYS, далее:
Нажимаем ADD KEY – Create new key – CREATE

В окне выбираем формат JSON и CREATE

После данных действий ключ автоматически скачается на ваш ПК. Рекомендуется создать отдельную папку на компьютере, с любым названием, и в данную папку перенести данный файл (все файлы, при множественном создании).

В данном файле хранится информация о сервисном аккаунте и он является ключом подтверждения со стороны ПК (в связке ПК — Google Search Console для подтверждения прав на отправку запросов средствами Indexing API).

Активация функции API

05.

Для работы API необходимо перейти по ссылке и активировать данную функцию:
Ссылка: https://console.cloud.google.com

(ссылка также доступна в приложении на вкладе FAQ)

Перейдя по ссылке, прокликиваете подтверждение:

Лимиты отправок на переиндексацию

06.

1 сервисный аккаунт позволяет отправить на переиндексацию 200 URL адресов в сутки (в дальнейшем можно запросить увеличение до 400 при активном использовании).
В 1 Google аккаунте можно создать 7 проектов с 1 сервисным аккаунтом в каждом. (7х200=1400 url в сутки)

Добавление в Google Search Console

07.

Для работы необходимо добавить данный аккаунт в серч консоль, для этого переходим в настройки:

Пользователи и разрешения:

Важно: для работы необходимо давать разрешение — Владелец, с другими правами работать не будет!

!

Добавить пользователя

Добавляем в поле адрес — адрес сервисного аккаунта, добавляем статус — Владелец:

После выполнения вышеперечисленных пунктов работы с аккаунтами проводить не требуется.

Для работы с несколькими проектами необходимо для данных сайтов также добавить только доступы в Google Search Console.

Работа с приложением

Настройка софта

01.

Распакуйте архив в любое удобное место

Для работы с приложением его необходимо скачать — Google Indexing API.rar

Исполняемым файлом для запуска приложения является файл Indexing (Indexing.exe), для удобства дальнейшей работы рекомендуется создать ярлык файла и разместить в быстро доступном месте)

Также при работе скрипт помещает url для отправки в файл - urls.csv, тут стоит учесть, что при добавлении в окно отправки адресов в большем количестве, чем позволяют лимиты, скрипт сохранит этот избыток в данной таблице и при следующем включении отправления первоочередно отправит данные url.

Добавление JSON

02.

Открыть вкладку JSON — нажать кнопку "Загрузить" — выбрать папку с сохраненными файлами json (в окне выбора сами файлы могут не отображаться, после выбора папки они должны появиться в окне программы)

При последующих запусках программы данные действия повторять не требуется!

Вкладка "FAQ"

03.

В данной вкладке присутствует краткая инструкция, аналогичная этой статье, а также в левом нижнем углу продублированы ссылки на создание сервисных аккаунтов и включение API.

Отправление на индексацию

04.

Дождаться вывода результата в нижнем окне

Нажать кнопку запуск

В верхнее окно добавить необходимые url адреса

Для отправления на переиндексацию страниц необходимо перейти на основную для работы вкладку — "Индексирование"

Для отправки адресов необходимо выполнить последовательность действий:

Важно: программа не выводит результат работы в текущем времени, отправка запросов занимает некоторое время, после окончания всех url или исчерпания лимитов выведется результат.
Во время работы приложение может — (Не отвечает) — это нормально, действий предпринимать не требуется, дождитесь результата.

!

Также на данной вкладке выводится информация о примерных лимитах (считается от количества доступных JSON - файлов, без проверки их доступов к сайту в консоли, в связи с этим может отличаться от действительности).

Кнопка сохранить результат позволит вам выгрузить txt файл с результатом отправки в удобное место.

Примеры использования Indexing API

Поддомен интернет магазина

01.

На одном из поддоменов сайта в индексе Google было не более 100 страниц, после переотправки страниц сайта с помощью API спустя 1 день было добавлено 543 URL и при последующей отправке добавлены остальные страницы.

Новый сайт услуг

02.

Данный сайт спустя ~3 месяца после создания и до прихода к нам имел в индексе всего 2 страницы (и еще 2 технических страницы wordpress). После отправки данного сайта на индексацию в первые сути проиндексировалось 22 страницы, на вторые — все остальные (76 url):

http://joxi.ru/EA4Yz59f008xYr

Примечательно, что одновременно с этим у сайта появилась видимость и часть НЧ запросов уже попала в топ-10.

Скачать индексатор "Google Indexing API"

Скачать