Страницы не проиндексированы: дерево решений с проверкой ссылок
Search Console выдает два похожих label с разными причинами. Пройдите по ветвям последовательно и остановитесь на первой, которая совпадает.
Исследовательская команда ArchiLinks ·
Статус «Обнаружено, но не в кэше» означает, что Google знает URL, но еще не загрузил его. Статус «Проиндексировано, но не в кэше» означает, что страница была загружена, но Google решил не добавлять ее в индекс. Первая ситуация в основном касается приоритета и обнаружения. Вторая — качества самой страницы.
Почему ссылки важны для диагностики
Команды часто диагностируют проблемы индексации как чисто технические. Это часто так. Однако один сигнал легко упустить.
Когда вы находите backlinks на URL сайтов, которых нет в индексе, вы узнаете, поддерживают ли их внешние сайты. Страница с нулем внутренних и нулем внешних ссылок дает Google очень мало причин тратить время на обход или место в индексе.
Сайт с несколькими десятками тонких страниц и плоской картой сайта — достаточно распространенный случай, который стоит проверить в первую очередь.
Полный набор вызовов API см. в API scripts; для разделов, которые вы собираетесь перенести, migration checklist помещает проверки индексации на T+1 week. Bing и Yahoo также могут отличаться от Google, поэтому тестируйте их отдельно и рассмотрите IndexNow для Bing с момента его запуска в 2021 году.
Дерево решений
1. Заблокирована ли страница или имеет метку noindexed?
Проверьте URL в Search Console. Посмотрите отрендеренный HTML, HTTP-заголовки и robots.txt. Оставшийся noindex от стадии разработки — обычная причина. Если да, удалите его и запросите индексацию.
2. Выбирает ли Google другой canonical?
Сравните объявленный пользователем canonical с выбранным Google. Если они различаются, страница считается дубликатом или почти дубликатом с точки зрения Google. Объедините, дифференцируйте или примите это.
3. Доступна ли страница из реальных разделов?
Посчитайте внутренние ссылки со страниц, которые уже проиндексированы. Меньше двух ссылок или только из карты сайта означает слабое обнаружение. Добавьте ссылки из хаба.
4. Есть ли у страницы внешние ссылки?
Проверьте toppages и backlinks для URL. Если другие домены ссылаются на нее, сначала исправьте внутренние ссылки и ожидайте более быстрого обхода. Если ссылок нет, страница должна заслужить свое место контентом.
5. Стоит ли страницу сохранять?
Тонкие, шаблонные или параметрические страницы часто исключаются намеренно. Объедините, добавьте noindex или удалите. Не тратьте крауль-бюджет на споры.
На что обычно указывает каждая ветка
| Находка | Типичная причина | Действие | Время до появления эффекта |
|---|---|---|---|
| noindex или блокировка robots | Правило staging попало в production | Удалить и запросить индексацию | От нескольких дней до нескольких недель |
| Различный Google canonical | Дубликаты, параметры, тонкие варианты | Объединить или переписать | Недели |
| Мало внутренних ссылок | Сирота или глубокая страница | Ссылка из хабов и карты сайта | Недели |
| Ссылки есть, но страница не проиндексирована | Контент сочтен низкокачественным | Улучшить контент, сохранить честный redirect или canonical | Один-два месяца |
| Много страниц, все затронуты | Сигнал общего качества или структуры сайта | Очистить и объединить перед отправкой большего количества | Месяцы |
Когда количество проиндексированных страниц резко падает
Падение количества с десятков тысяч до нескольких десятков — это событие, а не тренд. Сначала посмотрите на дату. Сравните ее со своими релизами, так как изменение шаблона или флаг noindex на общем компоненте объясняют большинство внезапных падений.
Затем сделайте выборку. Возьмите пятьдесят URL до падения и пятьдесят после, и посмотрите статус, canonical и внутренние ссылки каждой группы. Паттерн обычно проявляется в выборке до того, как станет виден в общих цифрах.
Проиндексировано, но заблокировано robots.txt
URL может отображаться как проиндексированный, хотя robots.txt блокирует обход. Google может знать адрес из ссылок и перечислять его без чтения контента, поэтому запись будет неполной и часто без описания. Разблокируйте путь, если хотите, чтобы страница оценивалась по контенту, или оставьте заблокированной и примите пустую запись.
Проверьте правило, соответствующее URL. Широкий паттерн, написанный для staging-пути, может случайно захватить живые папки продуктов, и исправление — это более узкая строка, а не второй файл.
Почему запись в карте сайта ждет, а ручной запрос — нет
URL, запрошенный вручную, может быть проиндексирован в течение нескольких дней, в то время как тот же URL, указанный только в карте сайта, остается вне индекса. Этот разрыв обычно отражает приоритет обхода, а не качество страницы. Запрос перемещает страницу в начало очереди, а запись в карте сайта ждет в ней.
Долговременное исправление одинаково в обоих случаях. Ссылкайте на страницу со страницы, которую уже обходят, и держите карту сайта чистой от устаревших записей, чтобы оба пути вели к одному URL.
Перед тем как запросить индексацию для URL
- URL возвращает 200 с реальным контентом, а не оболочкой или спиннером.
- Нет noindex в HTML или заголовке ответа.
- Canonical указывает на сам URL или на версию, которую вы выбрали намеренно.
- По крайней мере одна внутренняя ссылка идет со страницы, которая уже проиндексирована.
- URL указан в карте сайта, и карта сайта не содержит устаревших записей.
- У вас есть краткая заметка о том, почему страница вообще должна быть проиндексирована.
Чтение результатов site: и живых тестов
Запрос site: показывает, что Google имеет в своем индексе, когда вы его запускаете. Это снимок. Пустой результат для страницы, которую вы видите в отчете Pages, — это повод проверить снова, а не приговор.
URL Inspection и его живой тест отвечают на более узкий вопрос: что Google может загрузить и отрендерить прямо сейчас для одного адреса. Используйте это, чтобы отделить проблему загрузки или рендеринга от проблемы качества.
Запуск запросов site: без самообмана
Запустите site: с точным адресом, затем снова с уникальной фразой со страницы. Два пустых ответа для живой страницы обычно означают, что URL не проиндексирован или проиндексирован под другим canonical. Проверьте canonical, прежде чем делать выводы.
Результат без сниппета — это другое состояние, чем отсутствие результата вообще. Обратите внимание, что вы видите, так как исправление для каждого случая разное.
Сравнение объявленного и выбранного canonical
Откройте URL Inspection на проиндексированной странице и сравните объявленный вами canonical с выбранным Google. Несоответствие означает, что Google выбрал другую страницу как представитель этого контента. Этот выбор может быть правильным или неправильным для вас, поэтому решите, какой он, прежде чем что-то менять.
Если отрендеренная версия пуста, проблема в сборке, а не в индексе. JavaScript link audit охватывает этот случай.
Запуск проверки в большем масштабе
Проверка нескольких сотен URL вручную работает один раз. Регулярная проверка требует данных о статусе, canonical и ссылках из скрипта и файла, который хранит историю каждого запуска.
Начните с URL, которые уже привлекают внешние ссылки. Запустите toppages для хоста, чтобы найти backlinks на разделы сайта, которые стоит проверить, затем сравните этот список с экспортом «Not indexed». Пересечение — это группа, которую нужно исправить в первую очередь. Внешние сайты уже ссылаются туда.
Что записывать для каждого URL
Храните одну строку на URL с кодом статуса, объявленным canonical, canonical, выбранным Google, количеством внутренних ссылок с проиндексированных страниц и количеством доменов, ссылающихся на страницу. Пяти колонок достаточно, чтобы отсортировать список в группы, требующие разной работы.
Отсортируйте группы перед действием. URL с внешними ссылками, неверным canonical и отсутствием внутреннего пути требует другого исправления, чем просто новый URL, и смешивание их тратит спринт на неправильную проблему.
Храните файл для каждого запуска. Изменение между двумя запусками показывает, сработало ли исправление, чего не скажет единый снимок.
Поддержание очереди запросов короткой
Ограничьте ручные запросы индексации группой, у которой есть внешние ссылки и чистый canonical. У этих страниц наилучшие шансы на быстрое обходное включение, и они несут наибольшую ценность, если останутся вне индекса.
Страницы с конфликтующим canonical или тонким контентом должны быть в отдельном списке для консолидации. Запрос их снова и снова только добавляет шум в очередь и ничего нового вам не говорит.
Вопросы по индексации
- Как долго новая страница должна появляться в индексе?
- От нескольких часов до нескольких недель. Устоявшиеся сайты с сильным внутренним линкингом видят новые URL в течение нескольких дней. Новые сайты обычно ждут дольше. Менее четырех недель без признаков проблемы — не повод для паники.
- Влияет ли noindex на крауль-бюджет?
- Страница с noindex все еще обходится для проверки тега, хотя Google обычно снижает частоту его возврата. Для большинства сайтов с количеством URL ниже десятков тысяч крауль-бюджет — не тот лимит, о котором стоит беспокоиться.
- Помогают ли backlinks странице попасть в индекс?
- Они помогают обнаружению и показывают, что страница вызывает внешний интерес. Они не гарантируют индексацию. Связанная страница, которая является тонкой или дубликатом, все еще может быть исключена.
- Является ли запрос индексации в Search Console исправлением?
- Это подталкивание, а не лечение. Если основная причина — конфликт canonical, тонкий контент или отсутствие внутренних ссылок, страница, как правило, снова выпадет из индекса.
