Почему страницы сайта не индексируются: диагностика

Как проверить, что страница действительно не индексируется#

Проверьте конкретный адрес в Google Search Console и Яндекс Вебмастере, затем сопоставьте статус с назначением страницы. Обход, индексирование и показ по запросу проходят отдельно. Робот может прочитать страницу, поисковик — включить её в индекс, но не показать по выбранной вами фразе. Поэтому проверка позиции не заменяет проверку индексирования.

В Google Search Console откройте проверку URL. Сохранённые сведения описывают известную Google версию. Проверка опубликованной страницы показывает её текущее состояние. Разницу объясняет документация инструмента. Общий отчёт об индексировании помогает найти группы адресов с одинаковыми причинами исключения.

В Яндекс Вебмастере изучите «Страницы в поиске», причины исключения и «Мониторинг важных страниц». Записывайте результаты поисковых систем отдельно. Общий статус вроде «сайт индексируется» для этой задачи не подходит: нужны сведения по точному URL.

Отсутствие позиции по запросу ещё не доказывает отсутствие страницы в индексе.

Допустим, опубликованная услуга не находится по целевой фразе. Сначала проверьте её URL с точным протоколом, доменом, путём и параметрами. Если нужный адрес уже в индексе, переходите к проверке позиций сайта. Переписывание текста в таком случае пока отложите.

Почему страницы сайта не индексируются: как определить причину#

Причину ищите по состоянию конкретного URL: знает ли поисковик адрес, состоялся ли обход, разрешено ли индексирование и какой адрес он считает основным. Статус отчёта задаёт направление проверки, но сам по себе не объясняет весь случай. Сначала отделите намеренные исключения от проблем страниц, которые должны привлекать посетителей.

В Google состояния «Обнаружено, но пока не проиндексировано» и «Просканировано, но пока не проиндексировано» различаются фактом обхода. Их описывает справка отчёта об индексировании.

Состояние страницы	Что известно	Что проверить дальше
Адрес обнаружен, обхода ещё нет	Google знает URL	Доступность, внутренние ссылки, Sitemap
Обход состоялся, индексирования нет	Google прочитал страницу	Запреты, дубли, канонический адрес, содержимое
Адрес служит альтернативой дубля	Есть другая версия страницы	Какую версию поисковик выбрал основной

Исключённая служебная страница и исключённая страница услуги требуют разных решений. Для первой ограничение может соответствовать задаче сайта. Для второй нужно установить препятствие и исправить его.

Не превращайте название статуса в диагноз «санкции» или «плохой сайт». Запишите подтверждённый факт и следующую проверку. Если проблема затрагивает разные разделы, используйте чек-лист поискового аудита, чтобы сохранить общую картину.

Как проверить доступность страницы и запреты индексирования#

Проверьте ответ сервера поисковому роботу, правила обхода и директивы индексирования. Страница, которая открывается в вашем браузере, может требовать авторизацию или встречать робота защитой от ботов. Успешный ответ HTTP 200 входит в технические требования Google, но не гарантирует включение в индекс. Поисковику также нужны доступ и содержимое.

Ответы 404 и 410 требуют проверки намеренности удаления. При 403 изучите ограничения доступа. При 429 проверьте ограничения частоты запросов. При 5xx разберите ошибки сервера. Смотрите ответ именно поисковому роботу, а не только своей сессии в браузере.

Обход и индексирование проверяйте отдельно#

Disallow в robots.txt управляет обходом. Такой запрет не гарантирует, что URL исчезнет из Google. Директива noindex запрещает индексирование через метатег robots или заголовок X-Robots-Tag. Роботу нужен доступ, чтобы её увидеть. Google не поддерживает noindex внутри robots.txt. Подробности — в правилах noindex.

Проверяйте ответ роботу и запреты в коде: открытие страницы в браузере не завершает диагностику.

После переноса со стенда проверьте шаблон и заголовки ответа на случай оставленного запрета. Такие следы часто связаны с ошибками при разработке сайта. При soft 404 изучите содержимое: сервер может отвечать успешно, хотя страница показывает сообщение об отсутствии материала или пустой блок вместо него.

Как найти проблемы с дублями и каноническими адресами#

Сравните содержимое похожих URL и проверьте, какую версию поисковик считает основной. Дубли возникают, когда одинаковое или близкое основное содержимое доступно по разным адресам. Отсутствие альтернативного URL в индексе может соответствовать задаче сайта. Исправление нужно, когда поисковик выбирает нежелательную версию или объединяет страницы с разным назначением.

В проверке URL Google Search Console сопоставьте канонический адрес владельца с адресом, выбранным Google. rel="canonical" сообщает предпочтение, но Google может выбрать другую версию. Проверьте согласованность внутренних ссылок, Sitemap и канонического указания по документации объединения дублей.

Например, карточка доступна с параметром и без него. Сначала определите предпочтительную версию и проверьте её индексирование. Затем направьте внутренние ссылки и остальные указания на этот адрес.

Для дублей цель проверки — присутствие предпочтительной версии в индексе.

Если URL перенаправляет посетителя, проверяйте конечную страницу. Добиваться индексирования исходного адреса в таком сценарии незачем.

Сохраняйте опубликованный URL по умолчанию. Обоснованную смену адреса сопровождайте проверкой ссылок и постоянным редиректом. Такие требования полезно заранее включить в техническое задание на сайт, чтобы исправление дублей не создавало новые разрывы.

Что делать, если технических препятствий нет#

Проверьте обнаружение страницы и содержимое, которое получает робот. Убедитесь, что к URL ведут доступные внутренние ссылки, затем изучите Sitemap и результат отображения страницы. Если обход уже состоялся, переходите к редакционной проверке назначения материала. Статус «Просканировано, но пока не проиндексировано» не даёт единственной установленной причины для всех страниц.

Представьте статью, которую можно открыть только по прямому адресу. До переписывания добавьте уместную внутреннюю ссылку и проверьте передачу адреса через Sitemap. При этом Google предупреждает: карта сайта не гарантирует обход и индексирование перечисленных URL.

Если страница зависит от JavaScript, изучите доступное роботу содержимое и результат загрузки в инструменте диагностики. Сверьте его с тем, что видит посетитель: присутствует ли основной ответ, загрузились ли нужные блоки.

Проверьте самостоятельную задачу материала#

В Яндексе статус «Малоценная или маловостребованная страница» отражает оценку вероятной востребованности алгоритмом. Справка Яндекс Вебмастера описывает это состояние.

Не дописывайте текст ради объёма. Проверьте отличие от соседних публикаций и содержательный ответ посетителю. Для такой работы пригодится разбор подготовки SEO-статьи.

В каком порядке исправлять проблемы#

Начните с доступности сервера, затем устраните случайные запреты, разберите адреса и дубли, проверьте обнаружение и только после этого дорабатывайте содержимое. Завершите цикл повторной проверкой. Это редакционная схема организации работ, а не норматив поисковика. Приоритет внутри неё определяйте по важности страницы для бизнеса, масштабу проблемы и подтверждённости причины.

Создайте рабочий реестр: URL, поисковая система, назначение страницы, статус, подтверждённая причина, действие, исполнитель и результат. Отделяйте наблюдение от гипотезы. Формулировка «робот обнаружил запрет в шаблоне» даёт исполнителю конкретную задачу. Фраза «поисковик не любит страницу» оставляет причину неизвестной.

Исправляйте общую причину в шаблоне до отправки отдельных страниц на переобход.

Если запрет затронул страницы услуг, разработчик меняет шаблон и проверяет затронутые типы страниц. Специалист по поисковому продвижению отвечает за диагностику и адреса, редактор — за содержимое, владелец бизнеса — за приоритеты.

Сохраняйте обоснованные ограничения для служебных URL. Цель работ — доступность нужных страниц для поиска, а не индексирование всех адресов сайта.

Для сайта с автоматическим производством статей включите проверку опубликованного адреса в порядок работы контент-фабрики. Тогда редактор передаёт материал вместе с результатом проверки, а обнаруженную ошибку шаблона получает ответственный разработчик.

Как проверить результат после исправлений#

Сначала проверьте опубликованный URL: доступность, отсутствие случайных запретов, нужное содержимое и канонический адрес. Затем сообщите поисковику об изменениях и дождитесь сведений после нового обхода. Результат оценивайте по индексированию предпочтительной версии. Позиции и показы проверяйте отдельно: они отвечают на другой вопрос — видят ли страницу пользователи поиска.

В Google Search Console после исправления отправьте запрос индексирования. Он не гарантирует включение страницы в индекс. Повторная отправка того же URL не ускоряет обход — это прямо указано в инструкции Google.

В Яндекс Вебмастере используйте «Переобход страниц», затем контролируйте статус. Справка инструмента отдельно предупреждает: обработка заявки не означает индексирование страницы.

Если вы сняли запрет, а отчёт продолжает показывать прежнюю причину, сопоставьте текущую проверку с данными последнего обхода. Старые сведения сами по себе не доказывают, что изменение не сработало.

Устранённое препятствие и включение в индекс подтверждайте отдельно.

Не назначайте универсальный срок появления страницы в поиске. В реестре фиксируйте выполненное действие, текущую доступность и результат последующей проверки. Если после нового обхода причина сохраняется, вернитесь к диагностике именно этого URL.

Что подготовить до старта диагностики#

Подготовьте список важных URL, доступ к инструментам поисковиков и сведения о последних изменениях сайта. Такой набор помогает проверить конкретные причины и передать исполнителям понятные задачи. Начинайте со страниц услуг, карточек и материалов, которые нужны бизнесу. Для каждого адреса заранее объясните, зачем он должен присутствовать в поиске.

• Точные адреса страниц. Сохраните протокол, домен, путь и параметры, чтобы участники проверки обсуждали одну версию.
• Назначение каждого URL. Укажите, какую услугу, товар или вопрос посетителя раскрывает страница.
• Сведения из Google Search Console и Яндекс Вебмастера. Приложите статусы и данные обхода отдельно для каждого поисковика.
• Последние изменения сайта. Отметьте перенос, смену шаблона, адреса или настроек видимости, если такие изменения происходили.
• Предпочтительные адреса дублей. Зафиксируйте версию, которую вы хотите сохранить основной.
• Ответственные за исправления. Назначьте участников, которые могут менять сервер, шаблоны, ссылки и содержимое.

С этим набором можно обсуждать подтверждённые препятствия и порядок работ. Не подменяйте отсутствующие сведения догадками: оставляйте в реестре пометку о проверке, которую ещё нужно выполнить.

Эти вопросы возникают при передаче задачи и закрытии работы. Они не заменяют проверку URL в Google Search Console и Яндекс Вебмастере.

Источники#

Для проверки конкретного случая используйте документацию той поисковой системы, в которой обнаружили проблему. Сопоставляйте документ с точным URL и текущей версией страницы.

• Отчёт об индексировании страниц — Google.
• Технические требования Google Search — Google.
• Страницы в поиске: статусы и причины исключения — Яндекс.
• Переобход страниц — Яндекс.