Van crawl tot indexatie

Iedere website die je in Google ziet, heeft een digitale reis afgelegd. Die reis begint bij de crawl, loopt via indexatie en eindigt hopelijk in een mooie positie in de zoekresultaten. Tenminste, als je goed je best hebt gedaan bij de optimalisaties. Maar hoe werkt dat precies?

In dit artikel leggen we je stap voor stap uit hoe zoekmachines zoals Google jouw website ontdekken, begrijpen en opnemen in hun index. Dit proces vormt de basis van technische SEO. Daarnaast vertellen we je ook graag hoe de specialisten van Peat Digital jou kunnen helpen bij het zo soepel mogelijk laten verlopen van dit proces.

Wat is crawling?

Crawling is het proces waarbij zoekmachines zoals Google automatisch jouw website bezoeken met behulp van zogenaamde “bots” of “spiders”. De bekendste daarvan is Googlebot.

Deze bots volgen links, lezen HTML-code, en verzamelen informatie over pagina’s. Zie het als een digitale speurtocht waarbij Google jouw website stukje bij beetje leert kennen. Googlebot bekijkt onder andere:

• Je URL-structuur
• Interne links tussen pagina’s
• Robots.txt-bestand (wat mag wel en wat mag niet bekeken worden)
• Canonical tags (wat is de originele pagina)
• Laadtijden en responsiviteit

Zo zijn er meerdere onderdelen waar de bots van Google naar kijken om vast te stellen hoe jouw website geïndexeerd gaat worden.

Wat is indexatie?

Indexeren betekent dat Google de informatie die tijdens het crawlen is verzameld, opslaat in zijn gigantische database, ook wel de index genoemd. Alleen pagina’s die geïndexeerd zijn, kunnen worden weergegeven in de zoekresultaten. Dus zijn jouw pagina’s nog niet geïndexeerd? Dan wordt jouw website niet gevonden in Google.

Google beslist zelf welke pagina’s worden getoond, en hoe hoog deze in de ranking komen. Dit doen ze aan de hand van een aantal verschillende factoren, zoals de relevantie van de pagina, de technische toegankelijkheid en de kwaliteit van de content. Ook is het belangrijk dat de content op jouw website echt uniek is. Anders is er sprake van duplicate content, wat vervolgens weer slecht is voor jouw vindbaarheid.

Wanneer je bijvoorbeeld een nieuwe blog plaatst, moet Google deze eerst crawlen en daarna indexeren voordat de blog zichtbaar kan worden in de zoekresultaten.

Waarom wordt mijn pagina niet geïndexeerd?

Ben jij op Google op zoek naar je eigen pagina, maar is deze niet te vinden? Niet elke pagina haalt het tot in de index. En dat is niet altijd slecht. Sommige redenen zijn:

• De pagina is geblokkeerd door robots.txt
• Er staat een ‘noindex’ meta tag in de HTML
• De pagina is nog te nieuw en niet ontdekt
• De content is van lage kwaliteit, of te weinig
• Er is sprake van duplicate pagina’s (Google kiest dan zelf één pagina die getoond wordt)

Wanneer je erachter wilt komen welke pagina’s geïndexeerd zijn en welke niet, dan kan je gebruik maken van tools zoals Google Seatch Console.

Crawlbudget: wat is dat eigenlijk?

Elke website heeft een beperkt crawlbudget: de hoeveelheid pagina’s die Google binnen een bepaalde tijd wil crawlen. Grote websites moeten dus goed nadenken over welke pagina’s prioriteit hebben.

Heb jij een grote website en maak je, je zorgen over de volgorde van de pagina’s die worden gecrawld? Dan hebben wij een aantal manieren voor je op een rijtje gezet om het crawlbudget slim te gebruiken:

• Verwijder onnodige of verouderde pagina’s
• Gebruik redirects voor foutpagina’s
• Zet pagina’s zonder waarde op ‘noindex’
• Maak een up-to-date sitemap
• Optimaliseer de laadsnelheid (bots houden van snelle websites)

Door goed rekening te houden met het crawlbudget zorg jij ervoor dat de belangrijkste pagina’s op je website als eerste worden gecrawld en geïndexeerd.

Wat kan je zelf doen om de crawling en indexering van je website te helpen?

Het is belangrijk om zelf enige kennis te hebben van het crawlen en indexeren wat Google uitvoert om jouw website in beeld te brengen de je doelgroep. Mocht je die kennis niet hebben, dan mag je gerust contact met ons opnemen. Onze specialisten helpen je graag verder met het in kaart brengen van eventuele problemen die zich voor kunnen doen bij het crawlen en indexeren van je website.

Wij zorgen ervoor dat jouw sitemap goed ingesteld staat, dat de robots.txt en de canonical tags geoptimaliseerd worden en dat Google sneller en beter toegang heeft tot de content op jouw website. Wil je het toch zelf een duwtje geven? Meld je pagina’s dan handmatig aan voor indexering via Google Search Console. Let op: je kan slechts 15 pagina’s per dag indienen. Dus maak onderscheid in relevantie.

Wil jij weten of jouw website goed geïndexeerd en gecrawld wordt?

Wanneer jij eraan twijfelt of jouw website wel geïndexeerd wordt, mag je gerust contact met ons opnemen. Wij voeren graag een scan uit waarmee we eventuele problemen aan het licht brengen, en ook direct kunnen oplossen. Zo weet jij zeker dat je website wordt gevonden in de zoekresultaten.

Begrijp je er eigenlijk nog niet zoveel van? Neem dan gerust contact met ons op. Onze specialisten zitten voor je klaar en nemen je graag mee in de mogelijkheden.