Een nieuwe site gaat live, of een oude verhuist naar een nieuwe host, en een paar weken later vraagt de klant waarom hij zichzelf niet meer in Google vindt. Heel vaak is er niets kapot: één instelling uit de stagingfase vertelt zoekmachines nog steeds weg te blijven. Deze gids laat zien waar die instelling zich kan verstoppen, hoe je hem in een paar minuten controleert en hoe je zorgt dat hij nooit meer doorglipt.
De gebruikelijke verdachten
- “Zoekmachines ontmoedigen deze site te indexeren”. Onder Instellingen → Lezen in WordPress. Wordt vaak aangezet tijdens de ontwikkeling en vergeten bij de lancering. WordPress vraagt zoekmachines dan de site niet te indexeren.
- robots.txt. Een robots.txt van staging met
Disallow: /die met de site mee is gekopieerd. - Een noindex-header van de server. Sommige hosts en stagingtools voegen een
X-Robots-Tag: noindexheader toe. Die zie je niet in de paginabron, alleen in de response-headers. - Instellingen van de SEO-plugin. Een pagina, berichttype of de hele site staat op noindex in de SEO-plugin.
- Canonical-links naar het oude domein. Na een migratie vertellen canonical-links die nog naar het staging- of oude adres wijzen Google dat de echte pagina ergens anders staat.
Controleer het in vijf minuten
- Open de homepage, bekijk de paginabron en zoek naar
noindexencanonical. De canonical-link moet naar het live adres wijzen. - Open
/robots.txtop het live domein en zoek naarDisallow: /. - Controleer de response-headers van de homepage (de ontwikkelaarstools van de browser, tabblad Netwerk) op
X-Robots-Tag. - Inspecteer in Google Search Console de URL van de homepage. Je ziet dan of de pagina geïndexeerd mag worden en waarom niet.
- Controleer Instellingen → Lezen en de sitebrede instellingen van de SEO-plugin.
Los het op en vraag Google terug te komen
Zet de verantwoordelijke instelling uit, leeg de paginacache en controleer de vijf punten opnieuw vanuit een privévenster. Vraag daarna in Google Search Console indexering aan voor de homepage en de belangrijkste pagina’s en dien de sitemap opnieuw in. Herstel duurt meestal dagen, geen weken, zodra Google de site weer kan crawlen, maar verkeer dat je in de tussentijd verloor, komt niet terug.
Maak het onderdeel van elke lancering en migratie
- Zet “zoekmachines toegestaan, robots.txt, canonical, noindex-header” op je lanceringschecklist en vink het af op het live domein, niet op staging.
- Controleer opnieuw een dag na de lancering: sommige caches en CDN’s serveren nog een tijdje de stagingversie.
- Houd het daarna in de gaten. Plugins en hosts wijzigen ook instellingen tijdens updates en migraties.
Hoe Verploy het opmerkt
Verploy controleert elke dag de zoekbasis van de homepage op elke gekoppelde site met Google PageSpeed: titel, beschrijving, indexering, canonical-link, robots.txt, taallinks en linkteksten. Vraagt de homepage Google hem niet te tonen, dan krijg je een melding, die vanzelf verdwijnt zodra het is opgelost. Het maandelijkse klantrapport bevat de SEO-score. Meer over vindbaarheid in Google.
Wil je weten op de dag dat een klantsite uit Google verdwijnt?
Verploy controleert dagelijks de zoekbasis van elke homepage en waarschuwt je als een site verborgen is voor Google. Gratis starten, geen creditcard.