Een site met honderden pagina’s waarvan de helft nooit door Google wordt gecrawld, dat hebben we allemaal wel eens gezien. Het probleem ligt zelden bij de inhoud of de interne linkstructuur: het is vaak de XML-sitemap die tegenstrijdige signalen naar de crawlers stuurt. Het optimaliseren van de structuur van uw sitemap is het schoonmaken van dit communicatiekanaal, zodat elke ingediende URL echt de moeite waard is om gecrawld en geïndexeerd te worden.
De sitemap ping is dood: pas uw indiening aan in 2025
Veel SEO-gidsen raden nog steeds aan om een HTTP-ping naar Google te sturen na elke update van de sitemap. Deze methode is verouderd. Google heeft de ping-endpoint van sitemaps in juni 2023 gedevalueerd, wat betekent dat verzoeken naar /ping?sitemap=… geen effect meer hebben.
In de praktijk hebben we twee officiële indieningskanalen. De eerste is de directe indiening via Google Search Console, in het rapport Sitemaps. De tweede is de verklaring in het robots.txt-bestand met de directive Sitemap: gevolgd door de volledige URL van het XML-bestand. Deze twee methoden kunnen naast elkaar bestaan, en dat is trouwens de aanbevolen combinatie.
De klassieke valstrik: technische teams die een ping automatiseren bij elke uitrol, in de veronderstelling dat ze de indexering versnellen. Dit script draait al meer dan twee jaar in het luchtledige. Als u een geautomatiseerd publicatiesysteem gebruikt, controleer dan of de melding is gebaseerd op de Search Console API of op IndexNow (ondersteund door Bing), en niet op een verouderde ping. Op de site Amplement illustreert de structuur van de sitemap goed hoe je je URL’s kunt organiseren om de ontdekking door zoekmachines te vergemakkelijken.
Sitemap XML en crawlbudget: wat Google echt accepteert
Er bestaat een misverstand in veel SEO-strategieën: de sitemap zou een indexeringsinstructie zijn. De onlangs bijgewerkte documentatie van Google Search Central verduidelijkt dit punt. De sitemap is een ontdekkingsbestand, geen garantie voor crawl of indexering. Google beschouwt het als een aanwijzing onder andere.
Deze onderscheid verandert de manier waarop het bestand is gestructureerd. Een sitemap die alle URL’s van de site zonder voorafgaande sortering opsomt, verdunt alleen maar de signalen. Crawlers hebben een beperkte tijd per domein. Als de helft van de URL’s naar pagina’s met noindex, 301-omleidingen of pagina’s met weinig inhoud verwijst, wordt het crawlbudget verspild aan nutteloze bronnen.
Wat uit de sitemap moet worden uitgesloten
- Pagina’s met een noindex-tag of geblokkeerd door robots.txt, die een tegenstrijdig signaal uitzenden wanneer ze in de sitemap verschijnen
- URL’s met sorteermogelijkheden, filtering of paginering die duplicaatinhoud genereren (typisch cataloguspagina’s met ?sort=price&page=3)
- Oude URL’s die 301-omgeleid zijn naar andere pagina’s, omdat ze een crawl verbruiken om tot een omleiding te komen
- Nutteloze pagina’s zonder zoekwaarde (wettelijke vermeldingen, inlogpagina’s, algemene voorwaarden)
Het beoogde resultaat: een sitemap waarin elke URL een code 200 retourneert, unieke inhoud bevat en een index-tag heeft. Niets meer.
De sitemap opdelen in index voor grote sites
Wanneer je werkt aan een e-commerce site of een medium met duizenden pagina’s, wordt een enkel sitemapbestand snel onhandelbaar. De norm staat een indexbestand (sitemap index) toe dat naar meerdere subsitemaps wijst. Deze thematische opsplitsing verbetert de leesbaarheid voor crawlers en voor het SEO-team.
We splitsen doorgaans op type inhoud: een subsitemap voor productpagina’s, een voor blogartikelen, een voor categoriepagina’s, een voor afbeeldingen of video’s als de site er veel publiceert. Deze segmentatie maakt het mogelijk om snel te identificeren welke groep pagina’s een crawlprobleem veroorzaakt in de Search Console.
Lastmod: de enige tag die er echt toe doet
De tags priority en changefreq worden door Google grotendeels genegeerd. De reacties hierover verschillen per zoekmachine, maar aan de Google-kant is de documentatie duidelijk: deze parameters worden niet meer in overweging genomen bij de prioritering van de crawl.
De lastmod-tag daarentegen heeft een concrete rol. Het geeft de datum van de laatste werkelijke wijziging van een pagina aan. Lastmod alleen bijwerken wanneer de inhoud significant verandert (niet bij elke technische rebuild) stuurt een versheidsignaal dat door Googlebot kan worden benut. Een dagelijkse lastmod-datum forceren op alle pagina’s, een veelvoorkomende praktijk op sommige CMS’en, is als voortdurend wolf te roepen: de robot zal uiteindelijk het signaal negeren.
Gespecialiseerde sitemaps voor afbeeldingen en video’s: wanneer ze te activeren
Sitemaps beperken zich niet tot HTML-pagina’s. Google ondersteunt specifieke extensies voor afbeeldingen en video’s, met speciale tags (image:loc, video:content_loc). De relevantie hangt volledig af van het profiel van de site.
Voor een site waarvan het visuele verkeer een aanzienlijk deel van de bezoeken uitmaakt (fotograaf portfolio, vastgoedadvertenties, receptenplatform), maakt een speciale afbeeldingen-sitemap het mogelijk om visuele elementen te indexeren die de crawler niet zou ontdekken door alleen de HTML te doorbladeren. Voor een klassieke tekstblog voegt het toevoegen van een afbeeldingen-sitemap vrijwel niets toe.
Dezelfde logica geldt voor video’s: als u uw eigen videobestanden host (geen YouTube-embeds), helpt een video-sitemap die de duur, miniatuur en beschrijving specificeert Google om verrijkte resultaten weer te geven. Een gespecialiseerde sitemap is alleen gerechtvaardigd als de betrokken inhoud een eigen verkeerspotentieel heeft in de zoekopdracht.
Controle en onderhoud van de XML-sitemap
Een geoptimaliseerde sitemap op een bepaald moment degradeert in de loop van de tijd. Pagina’s worden verwijderd, andere worden omgeleid, nieuwe verschijnen zonder aan het bestand te worden toegevoegd. Regelmatige controle via Google Search Console maakt het mogelijk om de dekkingsfouten met betrekking tot de sitemap te identificeren: URL’s met fout 404, pagina’s die geïndexeerd zijn terwijl ze dat niet zouden moeten zijn, of omgekeerd geldige URL’s die ontbreken in het bestand.
Het rapport “Sitemaps” van de Search Console toont het aantal ontdekte URL’s en het aantal dat daadwerkelijk is geïndexeerd. Een groot verschil tussen deze twee cijfers wijst op een kwaliteitsprobleem in het bestand. Dit is de eerste indicator om in de gaten te houden, zelfs vóór de posities of het organische verkeer.
Het correct structureren van uw sitemap levert geen wonderen op voor de posities. Het is een technische hygiëneklus die ervoor zorgt dat crawlers de juiste pagina’s op het juiste moment verkennen, zonder middelen te verspillen aan nutteloze URL’s. De winst meet zich vooral in de snelheid van indexering van nieuwe inhoud en in de vermindering van de dekkingsfouten.
