Блог Метриум

Google и Яндекс: в чём разница индексации и продвижения сайта

Как Google и Яндекс находят, сканируют, индексируют и ранжируют страницы: sitemap, canonical, JavaScript, региональность, IndexNow и диагностика URL.

Специалисты маркетингового агентства Метриум анализируют алгоритмы индексации Google и Яндекс

Поисковая система обнаруживает URL, загружает страницу, при необходимости выполняет рендеринг, выбирает canonical, индексирует содержание и ранжирует документ по запросу. Sitemap и IndexNow сообщают о URL, а решение об индексировании принимает поисковая система. Регион в Яндекс влияет на выдачу по геозависимым запросам. Core Web Vitals характеризуют загрузку, отзывчивость и стабильность интерфейса и входят в общую оценку страницы при ранжировании.

Различия Google и Яндекс заметны в инструментах диагностики, обработке региональности и способах сообщить об изменении URL. Базовые требования совпадают: робот должен получить ответ сервера, увидеть основной адрес, прочитать содержание, перейти по внутренним ссылкам и распознать назначение страницы. Проверку проводят по стадиям, потому что ошибка обнаружения требует другого действия, чем выбранный поисковой системой canonical.

Из каких стадий состоит индексация

Обнаружение начинается с внутренней ссылки, sitemap, внешней ссылки, Search Console, Яндекс Вебмастера или IndexNow. Наличие URL в sitemap сообщает поисковой системе, что владелец считает страницу доступной для сканирования. Дата lastmod должна отражать существенное изменение содержания, изображения, structured data или других частей страницы.

Доступ проверяется по HTTP-ответу, robots.txt, meta robots и заголовку X-Robots-Tag. Страница с ответом 200 может оставаться закрытой директивой noindex. URL с редиректом передает сигнал на другой адрес. Ошибки 4xx и 5xx прерывают обычную обработку и требуют проверки сервера или маршрутизации.

После загрузки поисковая система анализирует HTML, ссылки, canonical, языковые признаки и содержание. Для JavaScript-страницы дополнительно нужен успешный рендеринг. Основной текст, H1, ссылки и данные услуги лучше отдавать в исходном HTML или через надежный серверный рендеринг. Тогда робот получает содержание даже при задержке скрипта.

Поисковая система сравнивает дубли и выбирает основной URL. Указанный разработчиком rel=canonical служит подсказкой. Редиректы, sitemap, внутренние ссылки и единообразие URL усиливают выбор. Если они противоречат друг другу, Google или Яндекс может назначить другой canonical.

Индексирование означает, что содержание сохранено и может участвовать в выдаче. Ранжирование начинается после этого и зависит от запроса, качества ответа, региона, языка, ссылок, технического состояния и других сигналов. Страница может находиться в индексе и получать мало показов из-за слабого соответствия запросу.

Что проверять в Google и Яндекс

Что проверять в Google и Яндекс
ЗадачаGoogleЯндексОбщее действие
Обнаружение URLSitemap, внутренние ссылки, URL InspectionSitemap, внутренние ссылки, IndexNow, ВебмастерДобавить индексируемую ссылку и обновить карту сайта
Доступ роботаPage indexing, Crawl stats, live testДиагностика страниц, проверка ответа и robotsПроверить HTTP, robots.txt, meta robots и X-Robots-Tag
CanonicalUser-declared и Google-selected canonicalГлавная версия страницы и дубли в ВебмастереСогласовать canonical, редиректы, sitemap и внутренние ссылки
JavaScriptRendered HTML и скриншот в URL InspectionДоступность текста и ссылок после обработки страницыОтдать основной контент в HTML и проверить рендер
Повторное сканированиеЗапрос индексирования для отдельных URL, sitemap для группIndexNow, переобход и sitemapСообщить об изменении и проверить статус позднее
РегионЯзык, адрес, локальные страницы и профиль компанииРегион сайта и геозависимые запросыУказать реальную географию бизнеса и адресные сигналы
Параллельная проверка одного URL в Google Search Console и Яндекс Вебмастере.
Доступ, canonical и содержание проверяются в обеих системах, регион отдельно учитывается в Яндекс.

Google: диагностика через Search Console

URL Inspection показывает, известен ли адрес Google, разрешено ли сканирование, какой canonical указан владельцем и какой вариант выбрал Google. Для свежей проверки используйте live test. Он подтверждает доступ текущей версии, но еще не сообщает о будущем решении по индексу.

Запрос индексирования подходит для нескольких важных URL после существенной правки. Google указывает, что повторное сканирование может занять от нескольких дней до нескольких недель. Многократная отправка одного адреса не ускоряет очередь. Для большого числа страниц используют sitemap и внутренние ссылки.

Статус Discovered - currently not indexed означает, что Google знает URL и еще не завершил сканирование. Crawled - currently not indexed означает, что страница загружена, но пока не выбрана для индекса. Во втором случае проверьте дубли, глубину содержания, назначение страницы и внутренние ссылки. Простая повторная отправка редко устраняет причину.

Отчет Page indexing нужно читать вместе с конкретным URL и датой последнего сканирования. Групповая причина объединяет страницы с разными обстоятельствами. Возьмите несколько примеров, сравните шаблон, canonical, HTTP-ответ и содержание, затем исправляйте общий дефект.

Яндекс: региональность и уведомление об изменениях

Яндекс Вебмастер показывает загрузку страниц, исключенные URL, sitemap, регион и диагностические сообщения. Для геозависимых запросов регион влияет на состав выдачи. Компания из Алматы должна подтверждать город контактами, адресом, содержанием страницы и настройкой региона, если бизнес действительно работает в этом городе.

Один сайт может обслуживать несколько регионов Казахстана. В таком случае нужны страницы с реальными условиями работы по городам: доставка, выезд, сроки, офис или зона обслуживания. Механическая замена названия города создает дубли и слабые страницы. Каждый региональный URL должен отвечать на отличающиеся условия клиента.

IndexNow передает поисковой системе адрес созданной, измененной или удаленной страницы. Протокол ускоряет уведомление об URL, а проверка и индексирование проходят по правилам поисковой системы. Для массовых изменений сохраняйте журнал отправки: URL, дата, HTTP-ответ API и дата последующей проверки в Вебмастере.

Sitemap остается основным перечнем индексируемых страниц. IndexNow дополняет его при изменениях. В карте сайта должны находиться canonical URL с ответом 200. Редиректы, страницы с noindex и технические параметры исключают из списка.

JavaScript, скорость и мобильная версия

JavaScript может скрыть содержание от робота при ошибке API, блокировке ресурса, долгой загрузке или обязательном действии пользователя. Проверьте rendered HTML и убедитесь, что заголовок, основной текст, ссылки, цена и контакты присутствуют после рендеринга. Кнопка или аккордеон не должны быть единственным способом загрузить критическую информацию.

Core Web Vitals измеряют три свойства пользовательского опыта: LCP для загрузки основного элемента, INP для реакции интерфейса и CLS для визуальной стабильности. Хорошие показатели находятся на уровне LCP до 2,5 секунды, INP менее 200 миллисекунд и CLS до 0,1 по 75-му процентилю реальных посещений.

Эти показатели участвуют в общей оценке страницы при ранжировании. Медленный интерфейс также влияет на пользователя: форма поздно появляется, кнопка смещается, мобильное меню задерживается. Сам по себе слабый INP обычно не объясняет отсутствие URL в индексе. Сначала проверяют доступ, canonical, содержание и рендер.

Для небольшого корпоративного сайта приоритетом служат индексируемые ссылки, чистые canonical, отсутствие технических дублей и стабильный сервер. Управление crawl budget становится отдельной задачей у крупных или быстро меняющихся ресурсов с большим числом URL.

Серверные журналы и фактический обход

Search Console и Вебмастер показывают обработанный статус, а серверный журнал отвечает на вопрос, приходил ли робот к URL и какой ответ получил. Для спорной страницы найдите запросы Googlebot и YandexBot за установленный период. Сравните время, код ответа, итоговый адрес после редиректа, размер ответа и повторяемость посещений.

Перед анализом подтвердите подлинность робота по официальной процедуре поисковой системы. Одного имени user agent недостаточно, потому что его может указать любой клиент. После проверки отделите HTML, изображения, JavaScript и другие ресурсы. Страница может отвечать 200, пока критический API или скрипт возвращает 403 либо 500.

Если робот получает 5xx, проверьте нагрузку, правила защиты, CDN, лимиты запросов и время генерации страницы. Разовый сбой редко требует переработки сайта. Повторяющаяся ошибка на группе URL указывает на шаблон, базу данных, маршрутизацию или защитный фильтр. После исправления сохраните период и список страниц для повторной проверки.

Серверный журнал также раскрывает технические URL, которые расходуют обход: параметры фильтров, поиск по сайту, календарь, дубли со слешем и бесконечные комбинации сортировки. Для небольшого сайта сначала устраняют источники таких ссылок, настраивают canonical и редиректы. Запрет в robots.txt применяют после проверки влияния на рендеринг и обработку дублей.

Canonical, параметры и языковые версии

Основной URL должен быть одинаковым в rel=canonical, sitemap, внутренних ссылках и редиректах. Проверьте варианты HTTP и HTTPS, www и без www, слеш на конце, регистр символов, метки кампаний и параметры сортировки. Каждый лишний вариант увеличивает число сигналов, которые поисковой системе приходится сопоставлять.

UTM-метки обычно сохраняют canonical на чистый адрес страницы. Внутренняя навигация использует чистые ссылки без рекламных параметров. Если параметр меняет товар, город, язык или содержание, разработчик определяет отдельный индексируемый URL либо canonical по правилам каталога. Универсальная очистка всех параметров может скрыть нужные страницы.

Для русской и казахской версий используйте отдельные URL, самоссылочный canonical и корректный hreflang. Перевод должен присутствовать в HTML, а переключатель языка вести на соответствующую страницу. Регион и язык решают разные задачи: регион описывает географию бизнеса, язык - версию содержания для пользователя.

Диагностика страницы, которой нет в поиске

Симптом, инструмент и следующий шаг
СимптомГде проверитьВероятная причинаСледующий шаг
Поисковая система не знает URLSitemap, внутренние ссылки, URL Inspection, ВебмастерСтраница изолирована или отсутствует в картеДобавить индексируемую ссылку и отправить актуальный sitemap
URL обнаружен, сканирование не завершеноДата обнаружения, серверные журналы, статус обходаОчередь, слабая внутренняя роль, перегрузка сервераУсилить внутреннюю ссылку и проверить стабильность ответа
URL просканирован и исключенPage indexing и исключенные страницыДубль, слабое содержание, soft 404 или иной технический сигналСравнить назначение страницы, контент, HTTP и дубли
Выбран другой canonicalCanonical владельца и поисковой системыПротиворечие ссылок, sitemap, редиректов и canonicalПривести сигналы к одному основному URL
В рендере отсутствует текстLive test, rendered HTML, браузер без кэшаОшибка JavaScript, API или загрузки ресурсаИсправить рендеринг и отдать основной текст в HTML
В поиске осталась старая версияДата обхода, сохраненный HTML, сниппетРобот еще не обработал изменениеСообщить об URL и дождаться повторного сканирования
Порядок диагностики страницы, которая отсутствует в Google или Яндекс.
Проверка идет от обнаружения URL и доступа к canonical, рендерингу, индексу и соответствию запросу.

Проводите проверку сверху вниз. Если URL неизвестен, анализ CTR и позиции преждевременен. Если страница индексирована, но не получает показов, переходите к запросам, содержанию, внутренним ссылкам и конкурирующим URL.

Structured data проверяют после индексации основного содержания. Разметка должна повторять видимые сведения о компании, статье, товаре, услуге или FAQ. Ошибка schema редко объясняет полное отсутствие страницы в поиске, но может лишить документ расширенного оформления. Проверьте синтаксис, соответствие правилам типа данных и совпадение с текстом страницы.

Сроки и контроль результата

Для Google нормальный срок повторного обхода измеряется днями или неделями. Скорость зависит от сайта, важности URL, частоты изменений, внутренней архитектуры и стабильности сервера. Дата в sitemap и запрос индексирования сообщают о правке, но не назначают срок обработки.

IndexNow сокращает время доставки уведомления в поддерживающие протокол системы. Он не гарантирует включение в индекс и позицию. После отправки проверьте ответ API, затем статус URL в Яндекс Вебмастере и фактическое присутствие страницы в выдаче по брендовому или точному запросу.

Контрольный журнал содержит URL, тип изменения, исходный статус, дату сообщения поисковой системе, дату нового обхода, выбранный canonical и результат. Такой журнал отделяет техническое исправление от последующего роста показов.

Кейс: ускорение индексации и региональное SEO

В проекте образовательной компании среднее время появления новой карточки курса в поиске сократилось с 10 до 3 дней после исправления canonical, sitemap, авторских данных, внутренних ссылок и рендеринга шаблона. Показатель рассчитан по группе новых карточек.

В другом периоде региональная настройка, технические исправления и редакционная программа вывели около 70% приоритетных запросов в топ-5 Яндекс за два месяца. Результат относится ко всему набору работ. Одна отправка IndexNow или смена региона не дает такого эффекта отдельно.

FAQ

Достаточно ли добавить URL в sitemap?

Sitemap сообщает поисковой системе об индексируемом URL и дате существенного изменения. Дополнительно нужны доступ, canonical, внутренние ссылки и содержание, отвечающее запросу.

Гарантирует ли IndexNow индексацию?

IndexNow передает уведомление об изменении URL. Яндекс отдельно сканирует страницу, оценивает технические сигналы и принимает решение об индексе.

Влияет ли регион в Яндекс на частоту обхода?

Регион влияет прежде всего на выдачу по геозависимым запросам. Частоту обхода определяют изменения сайта, архитектура, доступность URL и другие сигналы.

Может ли плохой INP исключить страницу из индекса?

Слабый INP характеризует задержку интерфейса и входит в общую оценку страницы. Причину отсутствия в индексе сначала ищут в доступе, canonical, содержании и рендеринге.

Как проверить JavaScript-страницу?

Откройте live test и rendered HTML, сравните заголовок, основной текст, ссылки и данные услуги с браузером. Затем проверьте ошибки ресурсов и ответ API.

Проверить индексацию сайта

Метриум проверит sitemap, robots.txt, canonical, JavaScript, внутренние ссылки, Search Console, Яндекс Вебмастер и региональные сигналы. Состав SEO-работ размещен на странице SEO-продвижения. Отдельный алгоритм для публикаций находится в разборе причин отсутствия SEO-статей в индексе.

Наши контакты
для расчёта проектов

Оставьте номер - перезвоним, уточним задачу и согласуем расчет проекта.

Карта офиса Метриум в Алматы на улице Жамбыла 114/85

Заказать звонок