Сторінки не проіндексовані: дерево рішень із перевіркою посилань
Search Console надає два схожі статуси з різними причинами. Переходьте по гілках послідовно і зупиніться на першій, яка відповідає вашому випадку.
Команда досліджень ArchiLinks ·
«Відкриті, наразі не проіндексовані» означає, що Google знає URL, але ще не завантажив сторінку. «Прокраулені, наразі не проіндексовані» означає, що Google завантажив сторінку, але вирішив не додавати її до індексу. Перший випадок стосується переважно пріоритетності та відкриття, а другий — якості самої сторінки.
Чому посилання мають бути частиною діагностики
Команди часто діагностують проблеми індексації як суто технічні. Так і буває. Однак один сигнал легко пропустити.
Коли ви знаходите зовнішні посилання на URL сторінок, яких немає в індексі, ви дізнаєтеся, чи рекомендують їх інші сайти. Сторінка без внутрішніх посилань і без зовнішніх посилань дає Google дуже мало причин витрачати час на краулінг або місце в індексі.
Сайт із кількома десятками тонких сторінок і плоскою картою сайту — досить поширене явище, яке варто перевірити в першу чергу.
Повний набір викликів API дивіться в сценаріях API; для розділів, які ви збираєтеся перенести, чек-лист міграції розміщує перевірки індексації на тиждень T+1. Bing і Yahoo також можуть відрізнятися від Google, тому тестуйте їх окремо, а також розгляньте IndexNow для Bing з моменту його запуску у 2021 році.
Дерево рішень
1. Чи заблокована сторінка або має noindex?
Перевірте URL у Search Console. Подивіться на відрендерений HTML, HTTP-заголовки та robots.txt. Залишений noindex після етапу розробки — найпоширеніша причина. Якщо так, видаліть його і подайте запит на індексацію.
2. Чи обирає Google інший канонічний URL?
Порівняйте вказаний користувачем канонічний URL із тим, який обрав Google. Якщо вони різняться, сторінка є дублікатом або майже дублікатом з точки зору Google. Об’єднайте, унікалізуйте або прийміть це як факт.
3. Чи доступна сторінка з реальних розділів?
Порахуйте внутрішні посилання зі сторінок, які вже проіндексовані. Менше двох або лише з карти сайту означає слабке відкриття. Додайте посилання з головних сторінок (hub).
4. Чи є у сторінки зовнішні посилання?
Перевірте toppages та backlinks для URL. Якщо інші домени посилаються на неї, спочатку виправте внутрішні посилання й очікуйте швидшого індексування. Якщо посилань немає, сторінка має заслужити своє місце якісним контентом.
5. Варта чи сторінка того, щоб залишатися?
Тонкі, шаблонні або параметризовані сторінки часто навмисно виключають. Об’єднайте, додайте noindex або видаліть. Не витрачайте краулінговий бюджет на суперечки.
На що зазвичай вказує кожна гілка
| Виявлення | Типова причина | Дія | Час до появи результату |
|---|---|---|---|
| noindex або блокування robots.txt | Правило розробки потрапило на продакшн | Видалити та подати запит на індексацію | Від кількох днів до кількох тижнів |
| Різний канонічний URL від Google | Дублікати, параметри, тонкі варіанти | Об’єднати або переписати | Тижні |
| Мало внутрішніх посилань | Самотня або глибоко закладена сторінка | Посилання з головних сторінок та карти сайту | Тижні |
| Посилання існують, але сторінка не проіндексована | Контент визнано низької якості | Покращити контент, зберегти коректний редірект або канонічний URL | Один-два місяці |
| Багато сторінок, всі пошкоджені | Сигнал якості або структури всього сайту | Прорідити та об’єднати перед поданням нових сторінок | Місяці |
Коли кількість проіндексованих сторінок різко падає
Падіння кількості з десятків тисяч до кількох десятків — це подія, а не тренд. Спочатку подивіться на дату. Порівняйте її зі своїми релізами, оскільки зміна шаблону або прапорець noindex на спільному компоненті пояснюють більшість раптових падінь.
Потім зробіть вибірку. Візьміть п’ятдесят URL до падіння та п’ятдесят після, і подивіться на статус, канонічний URL та внутрішні посилання кожної групи. Патерн зазвичай видно у вибірці, перш ніж він проявиться в загальних цифрах.
Провідіндексована, але заблокована robots.txt
URL може відображатися як проіндексований, хоча robots.txt блокує краулінг. Google може знати адресу з посилань і показувати її без вмісту, тому запис буде коротким і часто без опису. Розблокуйте шлях, якщо хочете, щоб сторінку оцінювали за контентом, або залиште заблокованою й прийміть короткий запис.
Перевірте правило, яке відповідає URL. Широкий шаблон, написаний для шляху розробки, може випадково захопити живі папки продуктів, і виправлення — це вужчий рядок, а не другий файл.
Чому запис у карті сайту чекає, а ручний запит — ні
URL, який ви подали вручну, може бути проіндексований протягом кількох днів, тоді як той самий URL, зазначений лише в карті сайту, залишиться поза індексом. Ця різниця зазвичай відображає пріоритет краулінгу, а не якість сторінки. Запит переміщує сторінку вгору по черзі, а запис у карті сайту чекає в ній.
Надійне виправлення однакове в обох випадках. Поставте посилання на сторінку зі сторінки, яку вже краулять, і тримайте карту сайту чистою від застарілих записів, щоб обидва шляхи вели до одного URL.
Перш ніж подавати запит на індексацію URL
- URL повертає 200 з реальним контентом, а не оболонкою або індикатором завантаження.
- Немає noindex в HTML або заголовку відповіді.
- Канонічний URL вказує на сам URL або на версію, яку ви вибрали навмисно.
- Принаймні одне внутрішнє посилання йде зі сторінки, яка вже проіндексована.
- URL зазначено в карті сайту, і карта сайту не містить застарілих записів.
- У вас є короткий запис про те, чому сторінка взагалі має бути проіндексована.
Читання результатів site: та живих тестів
Запит site: показує, що Google має в своєму індексі на момент запуску. Це знімок моменту. Пустий результат для сторінки, яку ви бачите в звіті Pages, — це привід перевірити знову, а не вирок.
Перевірка URL та її живий тест відповідають на вужче питання: що Google може завантажити та відрендерити прямо зараз для однієї адреси. Використовуйте це, щоб відокремити проблему завантаження або рендерингу від проблеми якості.
Запуск запитів site: без самообману
Запустіть site: з точною адресою, а потім знову з унікальною фразою зі сторінки. Два порожні результати для живої сторінки зазвичай означають, що URL не проіндексований або проіндексований під іншим канонічним URL. Перевірте канонічний URL, перш ніж робити висновки.
Результат без сниппета — це інший стан, ніж повна відсутність результату. Зафіксуйте, що саме ви бачите, оскільки виправлення для кожного випадку різне.
Порівняння вказаного та обраного канонічного URL
Відкрийте перевірку URL на проіндексованій сторінці та порівняйте вказаний вами канонічний URL із тим, який обрав Google. Невідповідність означає, що Google обрав іншу сторінку як представника цього контенту. Цей вибір може бути правильним або неправильним для вас, тому вирішіть, який саме, перш ніж щось змінювати.
Якщо відрендерена версія порожня, проблема в збірці, а не в індексі. Аудит посилань JavaScript розглядає цей випадок.
Запуск перевірки у більшому масштабі
Перевірка кількох сотень URL вручну працює один раз. Регулярна перевірка потребує статусу, канонічного URL та даних посилань зі сценарію, а також файлу, який зберігає історію кожного запуску.
Почніть з URL, які вже залучають зовнішні посилання. Запустіть toppages для хоста, щоб знайти зовнішні посилання на розділи сайту, які варто перевірити, а потім порівняйте цей список з експортом «Не проіндексовано». Перетин — це група, яку потрібно виправити в першу чергу. Зовнішні сайти вже посилаються туди.
Що записуввати для кожного URL
Зберігайте один рядок на URL із кодом статусу, вказаним канонічним URL, канонічним URL, обраним Google, кількістю внутрішніх посилань з проіндексованих сторінок та кількістю доменів, що посилаються. П’яти стовпців достатньо, щоб відсортувати список на групи, яким потрібна різна робота.
Відсортуйте групи перед дією. URL із зовнішніми посиланнями, неправильним канонічним URL та без внутрішнього шляху потребує іншого виправлення, ніж той, який просто новий, і змішування їх марнує спринт на неправильну проблему.
Зберігайте файл для кожного запуску. Різниця між двома запусками покаже, чи спрацювало виправлення, чого не скаже єдиний знімок моменту.
Утримання черги запитів короткою
Обмежте ручні запити на індексацію групою, яка має зовнішні посилання та чистий канонічний URL. Ці сторінки мають найкращі шанси на швидке додавання, і вони несуть найбільшу цінність, якщо залишаться поза індексом.
Сторінки з конфліктом канонічного URL або тонким контентом належать до окремого списку для об’єднання. Постійні запити лише додають шум у чергу і нічого нового не повідомляють.
Питання щодо індексації
- Скільки часу має знадобитися новій сторінці, щоб з’явитися в індексі?
- Від кількох годин до кількох тижнів. На сайтах із хорошою репутацією та сильним внутрішнім посиланням нові URL з’являються протягом кількох днів. Новим сайтам зазвичай потрібно більше часу. Менше чотирьох тижнів без ознак проблеми — не привід панікувати.
- Чи впливає noindex на краулінговий бюджет?
- Сторінка з noindex все одно краулиться, щоб перевірити тег, хоча Google часто зменшує частоту повернення. Для більшості сайтів із кількістю URL нижче десятків тисяч краулінговий бюджет не є лімітом, про який варто хвилюватися.
- Чи допомагають зовнішні посилання сторінці потрапити в індекс?
- Вони допомагають у відкритті та показують, що до сторінки є зовнішній інтерес. Вони не змушують індексувати. Сторінка з посиланням, яка є тонкою або дублікатом, все одно може бути виключена.
- Чи є подання індексації в Search Console виправленням?
- Це поштовх, а не ліки. Якщо основна причина — конфлікт канонічного URL, тонкий контент або відсутність внутрішніх посилань, сторінка схильна знову випасти з індексу.
