Wat is indexering?
Indexering is het proces waarin een zoekmachine de gecrawlde pagina's analyseert en opslaat in de index: een enorme database die wordt doorzocht zodra iemand een zoekopdracht invoert. Een pagina die niet in de index staat, kan niet in de zoekresultaten verschijnen, hoe goed hij ook is.
De zoekmachine ontdekt eerst een URL via links of een XML-sitemap, en crawlt en rendert daarna de pagina. Tot slot beslist de zoekmachine of de pagina wordt opgeslagen en, bij vrijwel gelijke pagina's, welke URL als canonieke versie wordt bewaard. Duplicaten, pagina's met weinig eigen inhoud en pagina's met een noindex-tag vallen meestal af.
Crawlen en indexeren zijn niet hetzelfde: robots.txt bepaalt wat crawlers mogen ophalen, een noindex-tag bepaalt wat geïndexeerd mag worden. Google zegt bovendien dat het indexering niet garandeert, ook niet voor pagina's die aan de richtlijnen voldoen.
Waarom indexering belangrijk is voor AI-zichtbaarheid
AI-functies en AI-assistenten die het web doorzoeken, halen mogelijke bronnen uit een zoekindex en schrijven daarmee hun antwoord, een methode die retrieval-augmented generation heet. Volgens Google moet een pagina geïndexeerd zijn en met een snippet in Search kunnen verschijnen voordat hij als ondersteunende link in AI-overzichten of AI Mode kan opduiken. Andere AI-assistenten gebruiken eigen zoekcrawlers, resultaten van zoekmachines of allebei. Microsoft Copilot put bijvoorbeeld uit Bing.
Een pagina die niet geïndexeerd is, kan dus niet worden opgehaald of geciteerd. Indexering bepaalt ook het tempo: een nieuwe prijspagina komt pas in AI-antwoorden terecht als hij geïndexeerd is. Tot die tijd leunen AI-assistenten op oudere bronnen. Geïndexeerd zijn betekent dat een pagina in aanmerking komt, niet dat hij ook gekozen wordt.
Zo controleer en verbeter je indexering
In Google Search Console zie je met de URL-inspectie of een pagina is geïndexeerd. Het rapport over pagina-indexering laat zien waarom pagina's zijn uitgesloten. Bing Webmaster Tools biedt vergelijkbare rapporten.
Dien een XML-sitemap in met alleen canonieke, indexeerbare URL's.
Link belangrijke pagina's vanuit je navigatie en verwante pagina's, want pagina's zonder interne links zijn lastig te vinden.
Haal onbedoelde noindex-tags weg van pagina's die gevonden moeten worden, en blokkeer die pagina's niet in robots.txt.
Zet je hoofdcontent in de eerste HTML-respons, bijvoorbeeld met server-side rendering, en verwijs duplicaten met canonical-tags naar de gewenste URL.
Gebruik IndexNow, een protocol dat Bing en een aantal andere zoekmachines ondersteunen, om nieuwe en gewijzigde URL's direct door te geven. Google ondersteunt het niet.
Welke AI-crawlers je site echt bezoeken en wat ze lezen, zie je in Crawler Analytics van Trackbase.
Voorbeelden van indexering
De nieuwe prijspagina van een B2B-leverancier van salarissoftware blijft wekenlang ontdekt maar niet geïndexeerd: de sitemap noemt hem, maar geen andere pagina linkt ernaar. Zodra de navigatie en de functiepagina's naar de pagina linken, wordt hij geïndexeerd en kan hij als bron in AI-overzichten verschijnen.
Een Nederlandse fietsenwebshop ontdekt duizenden filter-URL's in de index, terwijl sommige productpagina's ontbreken. De shop voegt canonical-tags toe en beperkt de sitemap tot product- en categoriepagina's.
Het helpcenter van een SaaS-bedrijf staat goed in Google, maar ontbreekt grotendeels in Bing. Het team dient daarom de sitemap in bij Bing Webmaster Tools en gaat IndexNow gebruiken.
Een marketingbureau neemt de indexeringsstatus op in de maandrapportage voor klanten, zodat het indexeringsproblemen kan uitsluiten voordat het een daling in AI-citaties analyseert.
Veelgestelde vragen
Wat is het verschil tussen crawling en indexeren?
Crawling is een pagina ophalen. Indexeren is deze analyseren en opslaan voor de zoekresultaten. Een pagina kan gecrawld zijn zonder te worden geïndexeerd, bijvoorbeeld bij een duplicaat of een noindex-tag. Robots.txt regelt het crawlen, een noindex-tag bepaalt de indexering. Wil je een pagina uit de index houden? Gebruik dan noindex en laat crawlers de pagina bezoeken. Anders zien ze de tag nooit.
Hoe check je of je pagina's zijn geïndexeerd?
Voer in Google Search Console een URL in bij de URL-inspectie om de status te zien, of open het rapport over pagina-indexering voor je hele site, inclusief de redenen waarom pagina's zijn uitgesloten. Bing Webmaster Tools biedt vergelijkbare rapporten voor Bing. Een zoekopdracht met de operator site: in Google geeft een ruwe indruk, maar is geen volledige of exacte lijst.
Betekent geïndexeerd zijn dat AI-assistenten je pagina citeren?
Nee. Indexering maakt een pagina alleen geschikt als bron. AI-functies en AI-assistenten kiezen uit veel geïndexeerde pagina's, op basis van hoe goed elke pagina de vraag beantwoordt en hoe betrouwbaar de bron lijkt. Geïndexeerd zijn is je toegangsbewijs; relevantie, heldere antwoorden, autoriteit en vermeldingen op andere sites bepalen of je pagina echt wordt gebruikt en geciteerd.