Главная /
Блог /
Индексируем сайт в Google c помощью Indexing API (+программа для индексации сайта)
SEO
#SEO
#Продвижение

Индексируем сайт в Google c помощью Indexing API (+программа для индексации сайта)

SEO-оптимизатор
Автор: Павел Обухов
~ 10мин
Поделиться статьей
easy
сложность:
20.12.2022
В настоящее время существует проблема с индексацией и переиндексацией страниц сайта в Google. Это вызвано проблемой с огромными объемами обрабатываемых данных Гуглом и способом сокращения их издержек. В связи с этим особенно испытывают проблемы молодые сайты и сайты с большим количеством страниц, но редко обновляемым контентом, данные ресурсы могут не индексироваться достаточно продолжительное время.

Что такое Indexing API

Как говорит сам Google:

Интернет большое место; постоянно создается новый контент. У Google ограниченное количество ресурсов, поэтому, столкнувшись с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только часть.
Источник:
https://developers.google.com

Для массовой быстрой индексации страниц в настоящее время доступен инструмент Indexing API — позволяющей проиндексировать огромное количество страниц в кратчайшие сроки (до суток при отправке в рамках краулингового бюджета).
Но стоит обратить внимание, что это не панацея и в первую очередь необходимо проработать базовые факторы, которые мешают индексированию сайта и снижают его "качество":
отсутствуют ошибки "404" и «Soft 404»;
карты сайта (sitemap.xml) имеют корректные ссылки и обновляются;
корректно настроен файл robots.txt;
страницы сайта не закрыты от индексации тегами, атрибутами noindex;
корректно создана внутренняя перелинковка и т. п.
отсутствуют множественные дубли контента и некачественный контент;
Для подготовки данной программы и написания статьи мы вдохновились скриптом наших коллег из Ant-Team.ru и сделали пользовательский интерфейс под программу в формате .exe для удобства использования и для тех, кому не удобно или лень управлять скриптом из консоли.
Для подготовки данной программы и написания статьи мы вдохновились скриптом наших коллег из Ant-Team.ru и сделали пользовательский интерфейс под программу в формате .exe для удобства использования и для тех, кому не удобно или лень управлять скриптом из консоли
Google Indexing API.rar


Иструкция по получению сервисных аккаунтов в Google Cloud Platform и JSON-ключей

Для использования данного инструмента необходимо получить связку сервисного аккаунта в Google Cloud Platform и JSON-ключа данного аккаунта для подтверждения доступа к проекту в Google Search Console.
Порядок действий:
Создаем проект, перейдя по ссылке: https://console.cloud.google.com
(ссылка также доступна в приложении на вкладе FAQ)
01.

Создаем сервисный аккаунт

В первом окне нажимаем CREATE (названия не важны, но для удобства можно использовать названия index-1 и т. п.)
Примечание: В одном аккаунте Google можно создать до 7 проектов (об этом более подробно расскажем далее)
В созданном проекте нажимаем на создание сервисного аккаунта (+CREATE SERVICE ACCOUNT)
02.

Создаем сервисный аккаунт

В открывшемся окне важно в п.2 выбрать роль "Owner" (остальные пункты можно оставить как есть и просто прокликать).
Полученный на данном этапе email-адрес сохраняем отдельно — именно он будет нужен в дальнейшем для предоставления доступа к сайтам (если вы подразумеваете использовать сервис только для одного сайта, можете сразу добавить его в серч консоль с правами владельца).
03.

Сохраняем созданный email сервисного аккаунта

Для этого кликаем по адресу сервисного аккаунта, переходя в его настройки, выбираем вкладку KEYS, далее:
Нажимаем ADD KEY – Create new key – CREATE
04.

Получаем JSON-ключ

В окне выбираем формат JSON и CREATE
После данных действий ключ автоматически скачается на ваш ПК. Рекомендуется создать отдельную папку на компьютере, с любым названием, и в данную папку перенести данный файл (все файлы, при множественном создании).
В данном файле хранится информация о сервисном аккаунте и он является ключом подтверждения со стороны ПК (в связке ПК — Google Search Console для подтверждения прав на отправку запросов средствами Indexing API).
Для работы API необходимо перейти по ссылке и активировать данную функцию:
Ссылка: https://console.cloud.google.com
(ссылка также доступна в приложении на вкладе FAQ)
Перейдя по ссылке, прокликиваете подтверждение:
05.

Активация функции API

1 сервисный аккаунт позволяет отправить на переиндексацию 200 URL адресов в сутки (в дальнейшем можно запросить увеличение до 400 при активном использовании).
В 1 Google аккаунте можно создать 7 проектов с 1 сервисным аккаунтом в каждом. (7х200=1400 url в сутки)
06.

Лимиты отправок на переиндексацию

Для работы необходимо добавить данный аккаунт в серч консоль, для этого переходим в настройки:
07.

Добавление в Google Search Console

Пользователи и разрешения:
Добавить пользователя
Добавляем в поле адрес — адрес сервисного аккаунта, добавляем статус — Владелец:
!
Важно: для работы необходимо давать разрешение — Владелец, с другими правами работать не будет!
После выполнения вышеперечисленных пунктов работы с аккаунтами проводить не требуется.
Для работы с несколькими проектами необходимо для данных сайтов также добавить только доступы в Google Search Console.

Работа с приложением

Распакуйте архив в любое удобное место
Для работы с приложением его необходимо скачать — Google Indexing API.rar
Исполняемым файлом для запуска приложения является файл Indexing (Indexing.exe), для удобства дальнейшей работы рекомендуется создать ярлык файла и разместить в быстро доступном месте)
01.

Настройка софта

Также при работе скрипт помещает url для отправки в файл - urls.csv, тут стоит учесть, что при добавлении в окно отправки адресов в большем количестве, чем позволяют лимиты, скрипт сохранит этот избыток в данной таблице и при следующем включении отправления первоочередно отправит данные url.
Открыть вкладку JSON — нажать кнопку "Загрузить" — выбрать папку с сохраненными файлами json (в окне выбора сами файлы могут не отображаться, после выбора папки они должны появиться в окне программы)
02.

Добавление JSON

При последующих запусках программы данные действия повторять не требуется!
В данной вкладке присутствует краткая инструкция, аналогичная этой статье, а также в левом нижнем углу продублированы ссылки на создание сервисных аккаунтов и включение API.
03.

Вкладка "FAQ"

Для отправления на переиндексацию страниц необходимо перейти на основную для работы вкладку — "Индексирование"
Для отправки адресов необходимо выполнить последовательность действий:
04.

Отправление на индексацию

Дождаться вывода результата в нижнем окне
Нажать кнопку запуск
В верхнее окно добавить необходимые url адреса
Также на данной вкладке выводится информация о примерных лимитах (считается от количества доступных JSON - файлов, без проверки их доступов к сайту в консоли, в связи с этим может отличаться от действительности).
Кнопка сохранить результат позволит вам выгрузить txt файл с результатом отправки в удобное место.
!
Важно: программа не выводит результат работы в текущем времени, отправка запросов занимает некоторое время, после окончания всех url или исчерпания лимитов выведется результат.
Во время работы приложение может — (Не отвечает) — это нормально, действий предпринимать не требуется, дождитесь результата.

Примеры использования Indexing API

На одном из поддоменов сайта в индексе Google было не более 100 страниц, после переотправки страниц сайта с помощью API спустя 1 день было добавлено 543 URL и при последующей отправке добавлены остальные страницы.
01.

Поддомен интернет магазина

Данный сайт спустя ~3 месяца после создания и до прихода к нам имел в индексе всего 2 страницы (и еще 2 технических страницы wordpress). После отправки данного сайта на индексацию в первые сути проиндексировалось 22 страницы, на вторые — все остальные (76 url):
02.

Новый сайт услуг

http://joxi.ru/EA4Yz59f008xYr
Примечательно, что одновременно с этим у сайта появилась видимость и часть НЧ запросов уже попала в топ-10.

Скачать индексатор "Google Indexing API"