Страница открывается у редактора, но в поиске её не видно. В такой ситуации легко начать добавлять текст или снова отправлять URL на переобход. В Гуси-Лебеди предлагаем сначала разобраться, на каком этапе возникло препятствие: робот не знает адрес, не получает нужное содержимое или исключает страницу после обработки.
Покажем, как проверить индексацию сайта в Яндексе, собрать задачу на исправление и оценить результат. Пример каталога с 240 целевыми страницами и разбор ошибки шаблона ниже учебные, без результатов клиентского проекта.
Индексация сайта - обработка его страниц поисковой системой. Содержимое обработанной страницы может использоваться в поиске, но её участие в выдаче нужно проверять отдельно.
Что такое индексация сайта и какие страницы проверять
| Этап | Что устанавливаем | Чего это ещё не доказывает |
|---|---|---|
| Обнаружение | Известен ли адрес роботу | Что он уже скачал страницу |
| Обход | Когда и с каким ответом получен URL | Что получен нужный контент |
| Участие в поиске | Каков статус конкретной страницы | Что она видна по нужному запросу |
| Ранжирование | Показы и позиции по запросам | Что посетитель оставит заявку |
Начните с точного адреса, включая протокол, поддомен, завершающий слеш и параметры. Проверка главной ничего не говорит о новой категории. Ответ 200 на странице входа ничего не говорит о доступности карточки за авторизацией. Скриншот выдачи без даты и региона не заменяет статус URL в панели вебмастера.
Список нужных страниц важнее общего числа URL.
Не ставьте цель «проиндексировать всё». В CMS существуют корзина, результаты внутреннего поиска, сортировки, служебные ответы и дубли с метками. Для них отсутствие в выдаче может быть ожидаемым. Составьте реестр целевых адресов из каталога, CMS, структуры сайта и Sitemap, а затем сопоставьте с отчётами поисковика.
В учебном каталоге нужны 200 карточек, 30 категорий и 10 инструкций: всего 240 адресов. Дополнительно обнаружено 760 комбинаций сортировки и параметров, которые не планируются как самостоятельные посадочные. Если в поиске 210 нужных страниц и 40 дублей, показатель «250 страниц в поиске» выглядит хорошо, но скрывает 30 отсутствующих целевых URL.
Полезная метрика здесь - 210 / 240 = 87,5% покрытия согласованного списка. Это внутренняя метрика примера, а не универсальный норматив качества. Отдельно отметьте коммерчески важные категории: отсутствие одной из них может быть важнее десятка архивных материалов.
Как проверить индексацию страницы в Яндексе
Запишите точный URL, тип страницы, ожидаемое состояние, текущий статус в Вебмастере, дату последнего обхода, код ответа, основной адрес и дату последнего релиза. Добавьте ссылку, по которой пользователь должен попасть на страницу, и принадлежность к Sitemap. Такой набор позволяет передать задачу разработчику без потери контекста.
При техническом SEO-аудите сайта разбираем документ целиком: доступность, обнаружение, основной адрес и содержание. Один статус в инструменте не объясняет всю цепочку обработки страницы.
- Выберите нужный сайт в Яндекс Вебмастере и откройте «Индексирование → Проверка страницы».
- Введите полный URL конкретной страницы. Укажите устройство и доступного в инструменте робота.
- Сопоставьте ответ сервера, доступное роботу содержимое и статус страницы.
- Запишите даты полученных сведений. Сравните их с публикацией материала или исправлением ошибки.
- Для группы страниц откройте «Страницы в поиске» и разберите причины исключения нужных адресов.
Для дополнительной ручной проверки можно использовать поисковый запрос url:example.com/catalog/item/ с адресом вашей страницы. В инструкции Яндекса по проверке страницы в Поиске этот способ отделён от выяснения причины отсутствия URL. Одной выдачи для диагностики недостаточно.
В Яндекс Вебмастере используйте «Проверку страницы» для конкретного адреса и раздел «Страницы в поиске» для групп. Сверяйте дату сведений с датой исправления: старый результат не доказывает, что свежая правка не сработала. Поисковые операторы удобны для дополнительной проверки, но число результатов не используйте как полный инвентарный список сайта.
Для сайта с разными шаблонами проверяйте несколько представителей: категорию, карточку с остатком, отсутствующий товар, статью, страницу с параметрами. Общая ошибка шаблона воспроизводится на группе; единичная ошибка контента или настройки может затрагивать только один адрес.
Дополнительная проверка ответа сервера.
Для публичного учебного адреса example.com команда ниже сохраняет заголовки всех переходов и конечное тело ответа в два отдельных файла. Подставляйте только адрес своего проверяемого публичного ресурса. В PowerShell используйте именно curl.exe, чтобы не попасть на одноимённый псевдоним.
curl.exe -sS -L --max-redirs 10 -D headers.txt -o page.html "https://example.com/catalog/item/"В headers.txt посмотрите последовательность статусов и Location, а также X-Robots-Tag. В page.html найдите title, основной заголовок, canonical и robots. Команда выполняет GET: это полезно, поскольку ответ на HEAD у некоторых конфигураций отличается от получения страницы. Тело не исполняет JavaScript, поэтому оно показывает исходный HTML, а не полную отрисовку приложения.
Если curl получил товар, а проверка поисковика - заглушку, сравните время запросов, правила кеша и защиты, а не подменяйте User-Agent ради красивого результата. Если HTML содержит только контейнер приложения, проверьте отрисовку отдельно и установите, доступна ли нужная информация роботу. Не делайте вывод о невозможности индексации только из наличия JavaScript.
В задачу приложите краткий фрагмент без cookies и других служебных секретов: проверяемый URL, цепочку статусов, найденное правило, ожидаемый результат. Полный журнал чужих запросов для этой диагностики не нужен. После правки повторите ту же проверку: изменение инструмента и условий одновременно затрудняет сравнение.
Почему робот не обходит страницу
Убедитесь, что на страницу ведёт обычная ссылка с адресом, а не только обработчик клика или поиск внутри приложения. Проверьте опубликованный Sitemap: нужный URL должен действительно присутствовать, файл должен открываться и содержать корректный XML. Запись в административной панели генератора не является проверкой публичного файла.
Далее проверьте DNS, TLS, перенаправления и ответ сервера. WAF, географические ограничения и защита от ботов иногда отдают поисковому роботу другой ответ, чем авторизованному редактору. Сопоставьте проверку ответа в Вебмастере с серверными журналами. Строку User-Agent в логе нельзя без дополнительной проверки считать доказательством подлинности робота.
Не открывайте весь сайт ради одной страницы. Если закрыт раздел с личными данными, доступ должен защищаться авторизацией; изменение robots.txt не является способом управления правами. Исправляйте правило ровно для публичного ресурса, который должен участвовать в поиске.
Почему страница исключена из поиска
Перенаправление. Проверьте всю цепочку и конечный URL. После переноса старый адрес может закономерно отсутствовать в выдаче, потому что его заменил новый. Ошибка возникает, когда цепочка ведёт на главную, цикл или нерелевантную категорию.
Запрет индексирования. Ищите метатег robots и HTTP-заголовок X-Robots-Tag, включая ответ после редиректа. Проверяйте настройки окружения: правило со стенда иногда попадает в рабочий шаблон. Не путайте HTML-элемент noindex для фрагмента текста с метатегом запрета всей страницы.
Дублирование. Сопоставьте canonical, адреса внутренних ссылок, Sitemap и редиректы. Если категория указывает canonical на главную, увеличение текста не устраняет конфликт. Исправьте источник неверного адреса и проверьте все страницы этого шаблона.
Недоступный или неполноценный контент. Страница может отдавать 200, но содержать сообщение «товар не найден», пустую оболочку или ошибку API. Сравните исходный ответ, отрисованный результат и данные инструмента поисковика. Проверка только количества HTML-байтов здесь бесполезна.
Качество и полезность. Если технические препятствия не найдены, проверьте самостоятельную ценность страницы. Десятки адресов с заменённым названием города и одинаковым предложением не становятся разными полезными материалами от добавления ещё одного абзаца. Решение может быть в объединении, переработке или отказе от ненужного URL.
Смысл конкретных статусов сверяйте с официальным описанием исключённых страниц. Само наличие исключений не означает санкцию: среди них закономерно оказываются удалённые документы и технические адреса.
| Наблюдение | Что проверить | Что исправлять при подтверждении |
|---|---|---|
| Нет нового обхода | Ссылки, Sitemap, доступность URL | Путь обнаружения или препятствие доступа |
| Робот получает заглушку | Ответ сервера и правила защиты | Доступ к публичной странице и её ресурсам |
| Страница закрыта | Метатег robots и X-Robots-Tag | Неверное правило в шаблоне или окружении |
| Выбран другой адрес | Canonical, дубли и внутренние ссылки | Конфликт основных URL |
| Технических препятствий нет | Причину в отчёте и самостоятельную ценность материала | Содержание или назначение страницы |
Учебная ситуация: карточка указывает canonical на категорию.
Учебная ситуация: новые карточки открываются, но часть перестала участвовать в поиске. Редактор видит товары, сервер отвечает 200. Первое предположение - «мало текста», однако сравнение шаблонов показывает canonical на URL категории вместо адреса карточки.
- Сохраните примеры затронутых и незатронутых URL, статус и время обхода.
- Найдите место формирования canonical и проверьте правило для карточек, категорий и параметров.
- Исправьте шаблон, очистите относящийся к нему кеш и проверьте публичный HTML без авторизации.
- Проверьте внутренние ссылки и Sitemap: они должны вести на согласованные основные адреса.
- Отправьте исправленные важные URL на переобход и наблюдайте обновление статуса после нового посещения робота.
Критерий завершения технической задачи - правильный ответ и разметка на всей затронутой группе. Критерий восстановления поиска - обновлённое состояние целевых URL. Между ними есть задержка; её нельзя заменить обещанием «завтра всё вернётся».
Как помочь поисковику узнать об изменениях
Для новых и изменённых материалов используйте внутренние ссылки, актуальный Sitemap, переобход важных страниц и при необходимости IndexNow. В документации IndexNow прямо указано: уведомление не гарантирует индексирование. Успешный ответ API подтверждает приём уведомления, а не появление страницы в поиске.
Отправляйте реальные изменения, а не каждый URL при каждом запуске сборки. Для больших сайтов полезен журнал: адрес, тип изменения, время отправки, ответ, следующая проверка. Повторная отправка тысячи неизменённых страниц не объяснит, почему у них одинаковый контент или недоступен сервер.
Не оценивайте платный сервис только по скриншоту «до/после»: нужны исходные URL, даты, независимая проверка статусов и понимание, что происходило с сайтом одновременно. Рост числа страниц мог совпасть с обычным обходом или исправлением технической ошибки. Результат одного чужого эксперимента не даёт гарантии вашему сайту.
Как проверить результат исправления
Сохраните неизменный набор проверяемых URL. Для каждого отмечайте время исправления, новый обход, новый статус и дальнейшие показы. Разделяйте новые страницы и восстановленные: у них разная история. Не меняйте знаменатель отчёта незаметно, удаляя проблемные адреса из списка.
После устранения причины в рамках поискового продвижения сайта подтверждаем изменения на конкретных группах URL. Повторная отправка адреса - действие, а включение в поиск - наблюдаемый результат, и их не стоит смешивать в отчёте.
Если техническая часть исправлена, робот уже получил новую версию, но исключение сохраняется, пересмотрите соответствие назначению страницы и причину в отчёте. Для обращения в поддержку подготовьте несколько точных URL, даты и воспроизводимые результаты проверки, а не общий запрос «сайт не индексируется».
Правила обхода разобраны в материале про robots.txt, источники обнаружения - в статье про проверку Sitemap. После переноса используйте план миграции, а для регулярной диагностики - работу с Яндекс Вебмастером.
Хороший отчёт об индексации заканчивается перечнем важных страниц с объяснённым состоянием и проверенными исправлениями. Общее число URL без назначения страниц и дат проверки для управления сайтом недостаточно.
Сколько времени занимает индексация? По одному факту публикации срок не определить. Сначала выясняем, получил ли робот новую версию, затем наблюдаем статус нужного URL. Обещать одинаковый срок всем страницам было бы неверно.
Что передать специалисту? Точный URL, ожидаемое состояние, даты публикации и обхода, ответ сервера, причину исключения и найденные правила. По этим данным мы можем разбирать конкретную проблему, а не повторять общие советы.