Как ускорить индексацию сайта в Google и Яндексе

Страница появляется в поиске после обнаружения, обхода, рендеринга и включения в индекс. Sitemap, ручной запрос и IndexNow сообщают поисковой системе об URL, но не гарантируют индексацию или позиции.

Ускорение начинается с диагностики статуса. Если URL закрыт robots.txt, возвращает ошибку, указывает canonical на другую страницу или содержит дубль, повторная отправка не исправит причину. Если страница доступна, но поисковая система не включает ее в индекс, проверяют соответствие запросу, оригинальный вклад, внутренние ссылки и качество соседних страниц.

Поисковый робот узнает об URL из внутренней или внешней ссылки, sitemap, редиректа, ручного запроса или IndexNow. Для новой страницы важнее всего доступная ссылка из действующего раздела сайта и корректная запись в sitemap.

Робот запрашивает URL и ресурсы страницы. На этом шаге мешают Disallow, ошибки 4xx и 5xx, таймауты, бесконечные параметры и нестабильный сервер. Факт обхода еще не говорит о включении страницы в индекс.

Поисковая система собирает HTML, CSS и JavaScript в итоговую страницу. Если основной текст появляется только после действия человека, ресурс закрыт или скрипт падает, робот может получить неполную версию. Серверный рендеринг и пререндеринг снижают этот риск для шаблонных страниц.

Поисковая система решает, какую версию страницы хранить и показывать. Она может выбрать другой canonical, исключить дубль или отложить URL со слабым ответом на запрос. Индексацию проверяют в Search Console и Яндекс Вебмастере.

Проиндексированная страница участвует в выдаче по релевантным запросам. Позиция зависит от запроса, качества ответа, конкурентов, сайта и других сигналов. Включение в индекс не обещает показы или клики по нужной теме.

Разместите карту по адресу /sitemap.xml или /sitemap_index.xml, добавьте ее в robots.txt и панели поисковых систем. В sitemap включают canonical URL с кодом 200. Параметр lastmod меняют после существенного обновления страницы. Каждая сборка сайта сама по себе не требует новой даты.

Крупный сайт можно разделить на карты услуг, товаров, статей и категорий. Такое разделение упрощает диагностику: видно, какой тип URL выпадает из индекса. Google прямо указывает, что sitemap сообщает о предпочтительных URL, но не гарантирует их обход или включение в индекс.

Источник: Google о sitemap.

Для Яндекса в robots.txt используются поддерживаемые директивы User-agent, Disallow, Allow, Sitemap и Clean-param. Директива Host в текущем перечне Яндекса отсутствует. Основной домен задают редиректами, canonical и едиными внутренними ссылками.

Disallow закрывает обход, поэтому робот может не увидеть meta robots noindex. Для удаления доступной страницы используют noindex, корректный код ответа или инструмент временного удаления по задаче. Правило выбирают по жизненному циклу URL.

Источник: Яндекс о robots.txt.

Универсального требования в 2-3 ссылки нет. Число зависит от места страницы в структуре. Новая услуга может получить ссылки из каталога, отраслевой страницы, релевантного кейса и статьи. Материал блога может получать ссылки из хаба, соседних публикаций и страницы автора.

Ссылка должна быть доступна в HTML, вести на canonical URL и иметь текст, который описывает страницу назначения. Скрытие основной навигации за действием пользователя усложняет обнаружение.

В Google используйте URL Inspection и Request Indexing. В Яндекс Вебмастере - Переобход страниц. Ручная отправка подходит для новой услуги, важной статьи или страницы после существенного исправления.

Google указывает, что обход может занять от нескольких дней до нескольких недель. Повторные запросы одного URL не ускоряют процесс. Запрос обхода также не обещает включение в индекс.

Источник: Google о повторном обходе.

Self-referencing canonical указывает предпочтительную версию URL. Редиректы и rel=canonical относятся к сильным сигналам, sitemap - к более слабым. Google может выбрать другую canonical, если содержание, редиректы и внутренние ссылки противоречат указанному адресу.

Проверьте протокол, домен, слэш, параметры, пагинацию и региональные версии. Внутренние ссылки и sitemap должны вести на тот же URL, который указан в canonical. Странице фильтра оставляют self-canonical, если она дает самостоятельный ответ на спрос и должна участвовать в выдаче.

Источник: Google о canonical.

IndexNow передает уведомление о создании, изменении или удалении URL. Отправлять нужно фактическое событие, без повторной массовой подачи неизменных страниц. Яндекс прямо указывает, что полученное уведомление не гарантирует обход или индексацию.

IndexNow дополняет sitemap и внутренние ссылки. Для динамического каталога или частых публикаций его подключают на уровне CMS или процесса сборки.

Источник: Яндекс об IndexNow.

Сортировки, пустые теги, параметры сессии и повторные фильтры могут создавать много URL с одинаковым содержанием. Исключите такие адреса из sitemap, настройте canonical, редиректы или noindex по назначению. Для Яндекса Clean-param может убрать незначимые параметры при обходе.

Crawl budget требует отдельной работы прежде всего на крупных и часто обновляемых сайтах. Для небольшого сайта сначала проверяют доступ, структуру, дубли и качество страниц. Массовое закрытие параметров без карты URL может убрать страницы, которые уже получают спрос.

Основной текст, title, canonical, ссылки и форма должны появляться в отрендеренной версии. Проверьте страницу через URL Inspection, браузер без кэша и серверный журнал. Если важное содержимое зависит от клика, авторизации или упавшего API, поисковый робот может его не получить.

Для больших наборов однотипных страниц используют SSR или пререндеринг. Решение выбирают по архитектуре проекта, частоте обновления и нагрузке.

Источник: Google о JavaScript SEO.

Новая страница не должна существовать только в sitemap. Добавьте ее в каталог, хаб, релевантную статью, кейс или блок новых материалов. Внешняя ссылка может ускорить обнаружение, если робот посещает источник, но покупать случайные ссылки ради индексации не требуется.

Рассылка, социальная сеть и реклама могут привести людей на страницу. Эти переходы оценивают как распространение контента и источник обращений. Прямой сигнал индексации из рекламного трафика обещать нельзя.

Для действующего сайта подготовка sitemap и robots.txt обычно занимает 1-2 рабочих дня после получения доступов. Настройка IndexNow, проверка canonical и внутренних ссылок может занять 1-3 дня. Очистка параметров и дублей крупного сайта требует от одной до двух недель. Эти сроки относятся к типовым задачам; точный срок зависит от CMS, числа шаблонов и участия разработчика.

Запрос переобхода в Яндексе может привести робота на страницу в течение трех дней, а данные поиска могут обновляться до двух недель. Это срок обработки запроса, без гарантии включения страницы в индекс.

Источник: Яндекс о переобходе.

Аудит GSC в Метриум стоит от 150 000 ₸. SEO Start стоит от 190 000 ₸ в месяц. Разработка, исправление шаблонов, контент и интеграции рассчитываются отдельно после проверки сайта. Старые цены на отдельную настройку robots.txt, Clean-param и IndexNow в расчет не переносятся.

В одном из проектов Метриум для компании из сферы B2B-услуг в Алматы был запущен раздел на 24 URL. Домену было два года, в блоге находилось более 300 материалов. Команда разделила sitemap на пять карт, добавила 3-4 внутренние ссылки на каждый новый URL, исправила два конфликта пагинации и canonical, настроила Clean-param для шести нецелевых параметров и отправила 12 приоритетных URL через инструменты поисковых систем.

По данным проекта, Google добавил 20 из 24 страниц за 48 часов. Еще четыре URL вошли в индекс за шесть дней после дополнительной перелинковки. Яндекс добавил 18 URL за три дня, остальные шесть - в течение семи дней после исправления параметров. К концу второй недели раздел получал 35-60 органических переходов в сутки. Индексация подтверждалась в GSC и Яндекс Вебмастере, трафик - в Метрике и GA4. Эти сроки описывают один проект и не задают срок для другого сайта.

Обход означает, что робот запросил страницу. Индексация означает, что поисковая система сохранила выбранную версию для участия в выдаче. Статус проверяют в URL Inspection и разделе страниц Яндекс Вебмастера.

Проверьте код ответа, сервер, внутренние ссылки, sitemap, canonical, дубли и назначение страницы. После исправления один раз запросите обход и дождитесь обновления статуса.

Отдельная карта удобна для большого блога или частых публикаций. Она упрощает проверку ошибок и числа проиндексированных URL. Небольшой сайт может хранить статьи в общей карте.

Они распространяют ссылку и приводят людей. Поисковый робот может обнаружить URL через доступную внешнюю ссылку. Переходы из рекламы, рассылки или социальной сети не дают гарантии обхода, индексации или позиции.

Для Google и Яндекса достаточно доступных внутренних ссылок, sitemap, URL Inspection, Переобхода и IndexNow по назначению. Массовая отправка неизменных URL через сторонний сервис не устраняет техническую причину.

Разработчик нужен при ошибках шаблона, JavaScript-рендеринга, canonical, редиректов, параметров, sitemap, серверных ответов 4xx или 5xx и автоматизации IndexNow.

Соберите список приоритетных URL и выгрузите для каждого код ответа, canonical, статус индексации, число внутренних ссылок и дату последнего изменения. Если нужна проверка всего сайта, посмотрите состав SEO-продвижения Метриум.