Niet geïndexeerde pagina's: een beslissingsboom met linkcontroles

Waarom links deel uitmaken van de diagnose

Teams diagnosticeren indexering vaak als een puur technisch probleem. Dat is het vaak ook. Toch blijft er één signaal makkelijk over het hoofd gezien worden.

Wanneer je backlinks naar website-URL's vindt die niet in de index staan, leer je of externe sites voor hen instaan. Een pagina zonder interne links en zonder externe links geeft Google zeer weinig reden om crawltijd of indexruimte te besteden.

Een site met enkele tientallen dunne pagina's en een plat sitemap is vaak genoeg om eerst te controleren.

Voor de volledige set linkcalls zie je de API-scripts; voor secties die je gaat verplaatsen, zet de migratielijst indexeringcontroles op T+1 week. Bing en Yahoo kunnen ook afwijken van Google, dus test ze apart en overweeg IndexNow voor Bing vanaf de lancering in 2021.

Wanneer het geïndexeerde aantal scherp daalt

Een daling van tienduizenden naar enkele tientallen is een gebeurtenis, geen trend. Kijk eerst naar de datum. Vergelijk het met je eigen releases, want een templatewijziging of een noindex-flag op een gedeeld component verklaart de meeste plotselinge dalingen.

Neem vervolgens een steekproef. Neem vijftig URL's van voor de daling en vijftig van erna, en kijk naar de status, canonical en interne links van elke groep. Het patroon verschijnt meestal in de steekproef voordat het in de totalen zichtbaar wordt.

Geïndexeerd maar geblokkeerd door robots.txt

Een URL kan als geïndexeerd verschijnen terwijl robots.txt het crawlen blokkeert. Google kan het adres kennen via links en het opnemen zonder de content te lezen, dus de vermelding is dun en heeft vaak geen beschrijving. Maak het pad vrij als je wilt dat de pagina op basis van content wordt beoordeeld, of houd het geblokkeerd en accepteer de kale vermelding.

Controleer de regel die matcht met de URL. Een breed patroon geschreven voor een staging-pad kan per ongeluk live productmappen vangen, en de oplossing is een smalere regel, geen tweede bestand.

Waar een sitemapverwachting wacht en een handmatige aanvraag niet

Een URL die je handmatig aanvraagt, kan binnen dagen geïndexeerd zijn, terwijl dezelfde URL die alleen in de sitemap staat buiten blijft. Dat verschil weerspiegelt meestal crawlprioriteit in plaats van paginakwaliteit. Een aanvraag plaatst een pagina hoger in de wachtrij, en een sitemapverwachting wacht erin.

De duurzame oplossing is in beide gevallen hetzelfde. Link de pagina vanaf een pagina die al gecrawld wordt, en houd de sitemap vrij van verouderde entries, zodat beide routes naar dezelfde URL leiden.

site: resultaten en live tests lezen

Een site: query toont wat Google in zijn index heeft wanneer je deze uitvoert. Het is een momentopname. Een leeg resultaat voor een pagina die je in het Pagina-rapport kunt zien, is een reden om opnieuw te controleren, geen vonnis.

URL-inspectie en de live test beantwoorden een smalere vraag: wat Google nu direct kan ophalen en renderen voor één adres. Gebruik het om een fetch- of renderprobleem te scheiden van een kwaliteitsprobleem.

site: queries uitvoeren zonder jezelf voor de gek te houden

Voer site: uit met het exacte adres, en daarna opnieuw met een unieke zin uit de pagina. Twee lege antwoorden voor een live pagina betekenen meestal dat de URL niet geïndexeerd is, of dat deze geïndexeerd is onder een andere canonical. Controleer de canonical voordat je iets anders veronderstelt.

Een resultaat zonder snippet is een andere staat dan helemaal geen resultaat. Noteer wat je ziet, want de oplossing voor elk is anders.

De verklaarde en de geselecteerde canonical vergelijken

Open URL-inspectie op een geïndexeerde pagina en vergelijk de canonical die je hebt opgegeven met die Google heeft geselecteerd. Een mismatch betekent dat Google een andere pagina heeft gekozen als vertegenwoordiger van deze content. Die keuze kan voor jou goed of fout zijn, dus beslis wat het is voordat je iets wijzigt.

Als de gerenderde versie leeg is, ligt het probleem in de build in plaats van de index. De JavaScript link audit behandelt dat geval.

De check op grotere schaal uitvoeren

Een paar honderd URL's handmatig controleren werkt één keer. Een terugkerende check vereist status-, canonical- en linkgegevens van een script, en een bestand dat de geschiedenis van elke run bijhoudt.

Begin met de URL's die al externe links aantrekken. Voer toppages uit op de host zodat je backlinks naar website-secties kunt vinden die het controleren waard zijn, en vergelijk die lijst met de Niet geïndexeerd-export. De overlap is de groep die je eerst moet oplossen. Externe sites wijzen er al naartoe.

Wat je voor elke URL moet registreren

Sla één rij per URL op met de statuscode, de opgegeven canonical, de door Google geselecteerde canonical, het aantal interne links vanaf geïndexeerde pagina's en het aantal linking domains. Vijf kolommen zijn genoeg om de lijst te sorteren in groepen die verschillende werkzaamheden vereisen.

Sorteer de groepen voordat je handelt. Een URL met externe links, een verkeerde canonical en geen interne paden heeft een andere oplossing nodig dan een die gewoon nieuw is, en het mengen van de twee verspillert een sprint aan het verkeerde probleem.

Houd het bestand voor elke run. Het verschil tussen twee runs toont of een oplossing werkte, wat een enkele momentopname je niet kan vertellen.

De aanvraagwachtrij kort houden

Beperk handmatige indexeringaanvragen tot de groep die externe links heeft en een schone canonical. Die pagina's hebben de beste kans op een snelle pickup, en ze dragen de meeste waarde als ze buiten blijven.

Pagina's met een conflicterende canonical of dunne content behoren tot een aparte lijst voor consolidatie. Ze keer op keer aanvragen voegt alleen ruis toe aan de wachtrij en vertelt je niets nieuws.