Поисковая система обнаруживает URL, загружает страницу, при необходимости выполняет рендеринг, выбирает canonical, индексирует содержание и ранжирует документ по запросу. Sitemap и IndexNow сообщают о URL, а решение об индексировании принимает поисковая система. Регион в Яндекс влияет на выдачу по геозависимым запросам. Core Web Vitals характеризуют загрузку, отзывчивость и стабильность интерфейса и входят в общую оценку страницы при ранжировании.
Различия Google и Яндекс заметны в инструментах диагностики, обработке региональности и способах сообщить об изменении URL. Базовые требования совпадают: робот должен получить ответ сервера, увидеть основной адрес, прочитать содержание, перейти по внутренним ссылкам и распознать назначение страницы. Проверку проводят по стадиям, потому что ошибка обнаружения требует другого действия, чем выбранный поисковой системой canonical.
Из каких стадий состоит индексация
Обнаружение начинается с внутренней ссылки, sitemap, внешней ссылки, Search Console, Яндекс Вебмастера или IndexNow. Наличие URL в sitemap сообщает поисковой системе, что владелец считает страницу доступной для сканирования. Дата lastmod должна отражать существенное изменение содержания, изображения, structured data или других частей страницы.
Доступ проверяется по HTTP-ответу, robots.txt, meta robots и заголовку X-Robots-Tag. Страница с ответом 200 может оставаться закрытой директивой noindex. URL с редиректом передает сигнал на другой адрес. Ошибки 4xx и 5xx прерывают обычную обработку и требуют проверки сервера или маршрутизации.
После загрузки поисковая система анализирует HTML, ссылки, canonical, языковые признаки и содержание. Для JavaScript-страницы дополнительно нужен успешный рендеринг. Основной текст, H1, ссылки и данные услуги лучше отдавать в исходном HTML или через надежный серверный рендеринг. Тогда робот получает содержание даже при задержке скрипта.
Поисковая система сравнивает дубли и выбирает основной URL. Указанный разработчиком rel=canonical служит подсказкой. Редиректы, sitemap, внутренние ссылки и единообразие URL усиливают выбор. Если они противоречат друг другу, Google или Яндекс может назначить другой canonical.
Индексирование означает, что содержание сохранено и может участвовать в выдаче. Ранжирование начинается после этого и зависит от запроса, качества ответа, региона, языка, ссылок, технического состояния и других сигналов. Страница может находиться в индексе и получать мало показов из-за слабого соответствия запросу.
Что проверять в Google и Яндекс
| Задача | Яндекс | Общее действие | |
|---|---|---|---|
| Обнаружение URL | Sitemap, внутренние ссылки, URL Inspection | Sitemap, внутренние ссылки, IndexNow, Вебмастер | Добавить индексируемую ссылку и обновить карту сайта |
| Доступ робота | Page indexing, Crawl stats, live test | Диагностика страниц, проверка ответа и robots | Проверить HTTP, robots.txt, meta robots и X-Robots-Tag |
| Canonical | User-declared и Google-selected canonical | Главная версия страницы и дубли в Вебмастере | Согласовать canonical, редиректы, sitemap и внутренние ссылки |
| JavaScript | Rendered HTML и скриншот в URL Inspection | Доступность текста и ссылок после обработки страницы | Отдать основной контент в HTML и проверить рендер |
| Повторное сканирование | Запрос индексирования для отдельных URL, sitemap для групп | IndexNow, переобход и sitemap | Сообщить об изменении и проверить статус позднее |
| Регион | Язык, адрес, локальные страницы и профиль компании | Регион сайта и геозависимые запросы | Указать реальную географию бизнеса и адресные сигналы |
Google: диагностика через Search Console
URL Inspection показывает, известен ли адрес Google, разрешено ли сканирование, какой canonical указан владельцем и какой вариант выбрал Google. Для свежей проверки используйте live test. Он подтверждает доступ текущей версии, но еще не сообщает о будущем решении по индексу.
Запрос индексирования подходит для нескольких важных URL после существенной правки. Google указывает, что повторное сканирование может занять от нескольких дней до нескольких недель. Многократная отправка одного адреса не ускоряет очередь. Для большого числа страниц используют sitemap и внутренние ссылки.
Статус Discovered - currently not indexed означает, что Google знает URL и еще не завершил сканирование. Crawled - currently not indexed означает, что страница загружена, но пока не выбрана для индекса. Во втором случае проверьте дубли, глубину содержания, назначение страницы и внутренние ссылки. Простая повторная отправка редко устраняет причину.
Отчет Page indexing нужно читать вместе с конкретным URL и датой последнего сканирования. Групповая причина объединяет страницы с разными обстоятельствами. Возьмите несколько примеров, сравните шаблон, canonical, HTTP-ответ и содержание, затем исправляйте общий дефект.
Яндекс: региональность и уведомление об изменениях
Яндекс Вебмастер показывает загрузку страниц, исключенные URL, sitemap, регион и диагностические сообщения. Для геозависимых запросов регион влияет на состав выдачи. Компания из Алматы должна подтверждать город контактами, адресом, содержанием страницы и настройкой региона, если бизнес действительно работает в этом городе.
Один сайт может обслуживать несколько регионов Казахстана. В таком случае нужны страницы с реальными условиями работы по городам: доставка, выезд, сроки, офис или зона обслуживания. Механическая замена названия города создает дубли и слабые страницы. Каждый региональный URL должен отвечать на отличающиеся условия клиента.
IndexNow передает поисковой системе адрес созданной, измененной или удаленной страницы. Протокол ускоряет уведомление об URL, а проверка и индексирование проходят по правилам поисковой системы. Для массовых изменений сохраняйте журнал отправки: URL, дата, HTTP-ответ API и дата последующей проверки в Вебмастере.
Sitemap остается основным перечнем индексируемых страниц. IndexNow дополняет его при изменениях. В карте сайта должны находиться canonical URL с ответом 200. Редиректы, страницы с noindex и технические параметры исключают из списка.
JavaScript, скорость и мобильная версия
JavaScript может скрыть содержание от робота при ошибке API, блокировке ресурса, долгой загрузке или обязательном действии пользователя. Проверьте rendered HTML и убедитесь, что заголовок, основной текст, ссылки, цена и контакты присутствуют после рендеринга. Кнопка или аккордеон не должны быть единственным способом загрузить критическую информацию.
Core Web Vitals измеряют три свойства пользовательского опыта: LCP для загрузки основного элемента, INP для реакции интерфейса и CLS для визуальной стабильности. Хорошие показатели находятся на уровне LCP до 2,5 секунды, INP менее 200 миллисекунд и CLS до 0,1 по 75-му процентилю реальных посещений.
Эти показатели участвуют в общей оценке страницы при ранжировании. Медленный интерфейс также влияет на пользователя: форма поздно появляется, кнопка смещается, мобильное меню задерживается. Сам по себе слабый INP обычно не объясняет отсутствие URL в индексе. Сначала проверяют доступ, canonical, содержание и рендер.
Для небольшого корпоративного сайта приоритетом служат индексируемые ссылки, чистые canonical, отсутствие технических дублей и стабильный сервер. Управление crawl budget становится отдельной задачей у крупных или быстро меняющихся ресурсов с большим числом URL.
Серверные журналы и фактический обход
Search Console и Вебмастер показывают обработанный статус, а серверный журнал отвечает на вопрос, приходил ли робот к URL и какой ответ получил. Для спорной страницы найдите запросы Googlebot и YandexBot за установленный период. Сравните время, код ответа, итоговый адрес после редиректа, размер ответа и повторяемость посещений.
Перед анализом подтвердите подлинность робота по официальной процедуре поисковой системы. Одного имени user agent недостаточно, потому что его может указать любой клиент. После проверки отделите HTML, изображения, JavaScript и другие ресурсы. Страница может отвечать 200, пока критический API или скрипт возвращает 403 либо 500.
Если робот получает 5xx, проверьте нагрузку, правила защиты, CDN, лимиты запросов и время генерации страницы. Разовый сбой редко требует переработки сайта. Повторяющаяся ошибка на группе URL указывает на шаблон, базу данных, маршрутизацию или защитный фильтр. После исправления сохраните период и список страниц для повторной проверки.
Серверный журнал также раскрывает технические URL, которые расходуют обход: параметры фильтров, поиск по сайту, календарь, дубли со слешем и бесконечные комбинации сортировки. Для небольшого сайта сначала устраняют источники таких ссылок, настраивают canonical и редиректы. Запрет в robots.txt применяют после проверки влияния на рендеринг и обработку дублей.
Canonical, параметры и языковые версии
Основной URL должен быть одинаковым в rel=canonical, sitemap, внутренних ссылках и редиректах. Проверьте варианты HTTP и HTTPS, www и без www, слеш на конце, регистр символов, метки кампаний и параметры сортировки. Каждый лишний вариант увеличивает число сигналов, которые поисковой системе приходится сопоставлять.
UTM-метки обычно сохраняют canonical на чистый адрес страницы. Внутренняя навигация использует чистые ссылки без рекламных параметров. Если параметр меняет товар, город, язык или содержание, разработчик определяет отдельный индексируемый URL либо canonical по правилам каталога. Универсальная очистка всех параметров может скрыть нужные страницы.
Для русской и казахской версий используйте отдельные URL, самоссылочный canonical и корректный hreflang. Перевод должен присутствовать в HTML, а переключатель языка вести на соответствующую страницу. Регион и язык решают разные задачи: регион описывает географию бизнеса, язык - версию содержания для пользователя.
Диагностика страницы, которой нет в поиске
| Симптом | Где проверить | Вероятная причина | Следующий шаг |
|---|---|---|---|
| Поисковая система не знает URL | Sitemap, внутренние ссылки, URL Inspection, Вебмастер | Страница изолирована или отсутствует в карте | Добавить индексируемую ссылку и отправить актуальный sitemap |
| URL обнаружен, сканирование не завершено | Дата обнаружения, серверные журналы, статус обхода | Очередь, слабая внутренняя роль, перегрузка сервера | Усилить внутреннюю ссылку и проверить стабильность ответа |
| URL просканирован и исключен | Page indexing и исключенные страницы | Дубль, слабое содержание, soft 404 или иной технический сигнал | Сравнить назначение страницы, контент, HTTP и дубли |
| Выбран другой canonical | Canonical владельца и поисковой системы | Противоречие ссылок, sitemap, редиректов и canonical | Привести сигналы к одному основному URL |
| В рендере отсутствует текст | Live test, rendered HTML, браузер без кэша | Ошибка JavaScript, API или загрузки ресурса | Исправить рендеринг и отдать основной текст в HTML |
| В поиске осталась старая версия | Дата обхода, сохраненный HTML, сниппет | Робот еще не обработал изменение | Сообщить об URL и дождаться повторного сканирования |
Проводите проверку сверху вниз. Если URL неизвестен, анализ CTR и позиции преждевременен. Если страница индексирована, но не получает показов, переходите к запросам, содержанию, внутренним ссылкам и конкурирующим URL.
Structured data проверяют после индексации основного содержания. Разметка должна повторять видимые сведения о компании, статье, товаре, услуге или FAQ. Ошибка schema редко объясняет полное отсутствие страницы в поиске, но может лишить документ расширенного оформления. Проверьте синтаксис, соответствие правилам типа данных и совпадение с текстом страницы.
Сроки и контроль результата
Для Google нормальный срок повторного обхода измеряется днями или неделями. Скорость зависит от сайта, важности URL, частоты изменений, внутренней архитектуры и стабильности сервера. Дата в sitemap и запрос индексирования сообщают о правке, но не назначают срок обработки.
IndexNow сокращает время доставки уведомления в поддерживающие протокол системы. Он не гарантирует включение в индекс и позицию. После отправки проверьте ответ API, затем статус URL в Яндекс Вебмастере и фактическое присутствие страницы в выдаче по брендовому или точному запросу.
Контрольный журнал содержит URL, тип изменения, исходный статус, дату сообщения поисковой системе, дату нового обхода, выбранный canonical и результат. Такой журнал отделяет техническое исправление от последующего роста показов.
Кейс: ускорение индексации и региональное SEO
В проекте образовательной компании среднее время появления новой карточки курса в поиске сократилось с 10 до 3 дней после исправления canonical, sitemap, авторских данных, внутренних ссылок и рендеринга шаблона. Показатель рассчитан по группе новых карточек.
В другом периоде региональная настройка, технические исправления и редакционная программа вывели около 70% приоритетных запросов в топ-5 Яндекс за два месяца. Результат относится ко всему набору работ. Одна отправка IndexNow или смена региона не дает такого эффекта отдельно.
FAQ
Достаточно ли добавить URL в sitemap?
Sitemap сообщает поисковой системе об индексируемом URL и дате существенного изменения. Дополнительно нужны доступ, canonical, внутренние ссылки и содержание, отвечающее запросу.
Гарантирует ли IndexNow индексацию?
IndexNow передает уведомление об изменении URL. Яндекс отдельно сканирует страницу, оценивает технические сигналы и принимает решение об индексе.
Влияет ли регион в Яндекс на частоту обхода?
Регион влияет прежде всего на выдачу по геозависимым запросам. Частоту обхода определяют изменения сайта, архитектура, доступность URL и другие сигналы.
Может ли плохой INP исключить страницу из индекса?
Слабый INP характеризует задержку интерфейса и входит в общую оценку страницы. Причину отсутствия в индексе сначала ищут в доступе, canonical, содержании и рендеринге.
Как проверить JavaScript-страницу?
Откройте live test и rendered HTML, сравните заголовок, основной текст, ссылки и данные услуги с браузером. Затем проверьте ошибки ресурсов и ответ API.
Проверить индексацию сайта
Метриум проверит sitemap, robots.txt, canonical, JavaScript, внутренние ссылки, Search Console, Яндекс Вебмастер и региональные сигналы. Состав SEO-работ размещен на странице SEO-продвижения. Отдельный алгоритм для публикаций находится в разборе причин отсутствия SEO-статей в индексе.