Индексируем сайт в Google c помощью Indexing API

+программа для индексации сайта

Что такое Indexing API

В настоящее время существует проблема с индексацией и переиндексацией страниц сайта в Google. Это вызвано проблемой с огромными объемами обрабатываемых данных Гуглом и способом сокращения их издержек. В связи с этим особенно испытывают проблемы молодые сайты и сайты с большим количеством страниц, но редко обновляемым контентом, данные ресурсы могут не индексироваться достаточно продолжительное время.

Как говорит сам Google:

Интернет — большое место; постоянно создается новый контент. У Google ограниченное количество ресурсов, поэтому, столкнувшись с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только часть.
Источник: https://developers.google.com

Для массовой быстрой индексации страниц в настоящее время доступен инструмент Indexing API — позволяющей проиндексировать огромное количество страниц в кратчайшие сроки (до суток при отправке в рамках краулингового бюджета).

Но стоит обратить внимание, что это не панацея и в первую очередь необходимо проработать базовые факторы, которые мешают индексированию сайта и снижают его "качество":

• страницы сайта не закрыты от индексации тегами, атрибутами noindex;
• корректно настроен файл robots.txt;
• карты сайта (sitemap.xml) имеют корректные ссылки и обновляются;
• отсутствуют ошибки "404" и «Soft 404»;
• отсутствуют множественные дубли контента и некачественный контент;
• корректно создана внутренняя перелинковка и т. п.

Для подготовки данной программы и написания статьи мы вдохновились скриптом наших коллег из Ant-Team.ru и сделали пользовательский интерфейс под программу в формате .exe для удобства использования и для тех, кому не удобно или лень управлять скриптом из консоли.

Иструкция по получению сервисных аккаунтов в Google Cloud Platform и JSON-ключей

Для использования данного инструмента необходимо получить связку сервисного аккаунта в Google Cloud Platform и JSON-ключа данного аккаунта для подтверждения доступа к проекту в Google Search Console.

1. Создаем сервисный аккаунт

Создаем проект, перейдя по ссылке: https://console.cloud.google.com
(ссылка также доступна в приложении на вкладе FAQ)

В первом окне нажимаем CREATE (названия не важны, но для удобства можно использовать названия index-1 и т. п.)

Примечание: В одном аккаунте Google можно создать до 7 проектов (об этом более подробно расскажем далее)

2. Создаем сервисный аккаунт

В созданном проекте нажимаем на создание сервисного аккаунта (+CREATE SERVICE ACCOUNT)

В открывшемся окне важно в п.2 выбрать роль "Owner" (остальные пункты можно оставить как есть и просто прокликать).

3. Сохраняем созданный email сервисного аккаунта

Полученный на данном этапе email-адрес сохраняем отдельно — именно он будет нужен в дальнейшем для предоставления доступа к сайтам (если вы подразумеваете использовать сервис только для одного сайта, можете сразу добавить его в серч консоль с правами владельца).

4. Получаем JSON-ключ

Для этого кликаем по адресу сервисного аккаунта, переходя в его настройки, выбираем вкладку KEYS, далее:
Нажимаем ADD KEY – Create new key – CREATE

В окне выбираем формат JSON и CREATE

После данных действий ключ автоматически скачается на ваш ПК. Рекомендуется создать отдельную папку на компьютере, с любым названием, и в данную папку перенести данный файл (все файлы, при множественном создании).

В данном файле хранится информация о сервисном аккаунте и он является ключом подтверждения со стороны ПК (в связке ПК — Google Search Console для подтверждения прав на отправку запросов средствами Indexing API).

5. Активация функции API

Активация функции API05.Для работы API необходимо перейти по ссылке и активировать данную функцию:
Ссылка: https://console.cloud.google.com

(ссылка также доступна в приложении на вкладе FAQ)

Перейдя по ссылке, прокликиваете подтверждение:

6. Лимиты отправок на переиндексацию

1 сервисный аккаунт позволяет отправить на переиндексацию 200 URL адресов в сутки (в дальнейшем можно запросить увеличение до 400 при активном использовании). В 1 Google аккаунте можно создать 7 проектов с 1 сервисным аккаунтом в каждом. (7х200=1400 url в сутки)

7. Добавление в Google Search Console

Для работы необходимо добавить данный аккаунт в серч консоль, для этого переходим в настройки:

Пользователи и разрешения:

Добавить пользователя

Добавляем в поле адрес — адрес сервисного аккаунта, добавляем статус — Владелец:

После выполнения вышеперечисленных пунктов работы с аккаунтами проводить не требуется.

Для работы с несколькими проектами необходимо для данных сайтов также добавить только доступы в Google Search Console.

Работа с приложением

1. Настройка софта

Для работы с приложением его необходимо скачать — Google Indexing API.rar

Распакуйте архив в любое удобное место

Исполняемым файлом для запуска приложения является файл Indexing (Indexing.exe), для удобства дальнейшей работы рекомендуется создать ярлык файла и разместить в быстро доступном месте

Также при работе скрипт помещает url для отправки в файл - urls.csv, тут стоит учесть, что при добавлении в окно отправки адресов в большем количестве, чем позволяют лимиты, скрипт сохранит этот избыток в данной таблице и при следующем включении отправления первоочередно отправит данные url.

2. Добавление JSON

Открыть вкладку JSON — нажать кнопку "Загрузить" — выбрать папку с сохраненными файлами json (в окне выбора сами файлы могут не отображаться, после выбора папки они должны появиться в окне программы)

При последующих запусках программы данные действия повторять не требуется!

3. Вкладка "FAQ"

В данной вкладке присутствует краткая инструкция, аналогичная этой статье, а также в левом нижнем углу продублированы ссылки на создание сервисных аккаунтов и включение API.

4. Отправление на индексацию

Для отправления на переиндексацию страниц необходимо перейти на основную для работы вкладку — "Индексирование"

Для отправки адресов необходимо выполнить последовательность действий:

• В верхнее окно добавить необходимые url адреса
• Нажать кнопку запуск
• Дождаться вывода результата в нижнем окне

Также на данной вкладке выводится информация о примерных лимитах (считается от количества доступных JSON - файлов, без проверки их доступов к сайту в консоли, в связи с этим может отличаться от действительности).

Кнопка сохранить результат позволит вам выгрузить txt файл с результатом отправки в удобное место.

Примеры использования Indexing API

1. Поддомен интернет магазина

На одном из поддоменов сайта в индексе Google было не более 100 страниц, после переотправки страниц сайта с помощью API спустя 1 день было добавлено 543 URL и при последующей отправке добавлены остальные страницы.

2. Новый сайт услуг

Данный сайт спустя ~3 месяца после создания и до прихода к нам имел в индексе всего 2 страницы (и еще 2 технических страницы wordpress). После отправки данного сайта на индексацию в первые сути проиндексировалось 22 страницы, на вторые — все остальные (76 url):

Примечательно, что одновременно с этим у сайта появилась видимость и часть НЧ запросов уже попала в топ-10.