Wat is Google-Extended?
Google-Extended is een robots.txt-producttoken waarmee je als site-eigenaar bepaalt of content die Google van je site crawlt, gebruikt mag worden om toekomstige Gemini-modellen te trainen en voor grounding van Gemini-antwoorden. Google introduceerde het in 2023. Het heeft geen invloed op of en hoe je pagina's in Google Search verschijnen.
Anders dan de meeste AI-crawlers is Google-Extended geen aparte bot met een eigen user agent. Google blijft crawlen met zijn bestaande crawlers; het token geeft alleen aan hoe de content gebruikt mag worden. Grounding betekent hier dat een model op het moment van antwoorden content uit de index van Google meekrijgt, om antwoorden feitelijker en relevanter te maken. Volgens de documentatie van Google geldt het token voor Gemini Apps en de Gemini API op Vertex AI, inclusief Grounding with Google Search.
Waarom Google-Extended belangrijk is voor AI-zichtbaarheid
Een veelgehoord misverstand is dat je met het blokkeren van Google-Extended uit de AI-antwoorden van Google verdwijnt. Dat klopt niet. Google heeft gezegd dat het token geen invloed heeft op opname of ranking in Google Search, en AI-functies in Search, zoals Google AI Overviews, horen bij Search. Wil je die beperken, dan heb je gewone Search-instellingen zoals nosnippet nodig, en die raken ook je normale zoekresultaten.
De afweging zit in Gemini zelf. Blokkeer je Google-Extended, dan blijft je content buiten toekomstige Gemini-training en buiten grounding in Gemini Apps. Gemini put dan mogelijk minder vaak uit jouw pagina's als mensen vragen stellen over je categorie. Voor merken die zichtbaar willen zijn in Gemini is dat meestal eerder een nadeel dan een voordeel.
Zo gebruik je Google-Extended
Bepaal wat je wilt: het gebruik van je content voor training en grounding in Gemini toestaan of blokkeren. Het token regelt beide tegelijk.
Wil je je afmelden, voeg dan in je robots.txt een groep toe met "User-agent: Google-Extended" en "Disallow: /", of sluit alleen specifieke mappen uit.
Laat Googlebot met rust: als je die blokkeert, crawlt Google je pagina's niet meer voor Search.
Zoek het token niet in je serverlogs: Google crawlt niet onder die naam.
Volg hoe Gemini je merk beschrijft, voor en na de wijziging.
Trackbase volgt je zichtbaarheid in Gemini naast Google AI Overviews en Google AI Mode, zodat je ziet of een wijziging in robots.txt effect heeft op hoe Gemini je merk presenteert.
Voorbeelden van Google-Extended
Een nieuwsuitgever blokkeert Google-Extended om zijn archief buiten Gemini-training te houden, in de wetenschap dat zijn artikelen nog steeds in Google Search en AI Overviews kunnen verschijnen.
Een B2B-softwareleverancier ontdekt dat een gekopieerd robots.txt-sjabloon Google-Extended blokkeerde, en haalt de regel weg omdat hij wil dat Gemini zijn documentatie gebruikt.
Een Nederlandse fietsenwebshop laat Google-Extended toe, zodat Gemini zijn koopgidsen kan gebruiken als mensen vragen welke e-bike ze moeten kopen.
Een stockfotosite blokkeert Google-Extended alleen voor de map met gelicentieerde beeldbeschrijvingen en laat de rest van de site open.
Veelgestelde vragen
Verdwijnt je site uit AI Overviews als je Google-Extended blokkeert?
Nee. Google heeft gezegd dat Google-Extended geen invloed heeft op opname of ranking in Google Search, en AI Overviews horen bij Search. Het token beperkt alleen het gebruik van je content voor training en grounding van Gemini-modellen. Wil je beperken wat er in AI-functies in Search verschijnt, dan heb je Search-instellingen zoals nosnippet nodig, en die raken ook je gewone resultaten.
Is Google-Extended een crawler?
Nee. Het is een producttoken dat je in robots.txt gebruikt, geen aparte bot. Google crawlt met zijn bestaande user agents, zoals Googlebot, en leest de regels voor Google-Extended om te bepalen hoe de gecrawlde content gebruikt mag worden. Daarom kom je Google-Extended ook nooit tegen in je serverlogs.
Moet je Google-Extended blokkeren?
Alleen als het buiten Gemini-training en grounding houden van je content voor jou zwaarder weegt dan gebruikt worden door Gemini. Sommige uitgevers blokkeren het om hun archief te beschermen. Wil je in AI-antwoorden verschijnen, dan is toestaan meestal de betere keuze: blokkeren houdt je niet uit AI Overviews en kan ervoor zorgen dat Gemini minder uit je pagina's put.