De werking van een spider om het web door te 'crawlen' gaat als volgt. Via links binnen en buiten websites
volgt de spider nieuwe pagina's en reeds bestaande pagina's die een update hebben gehad. Er wordt een
kopie opgeslagen die wordt toegevoegd aan de bestaande database van de zoekmachine.
Niet alle pagina's worden bezocht, er wordt een selectie gemaakt. U weet nu dat het ook geen zin heeft
om direct alle pagina's van uw website een update te geven, probeer per keer tien procent van uw
pagina's aan te passen.
Een spider kan dagelijks langskomen maar ook slechts eenmaal per maand. Dat is mede afhankelijk van de
sitepopulariteit.
Als u het indexatieproces wilt beïnvloeden kunt u een tekstbestandje genaamd 'robots.txt'
op uw webserver (laten) plaatsen.
Ook kunt u in de metatags de robots aansturen, u kunt bijvoorbeeld opgeven dat u wel wilt dat uw
eerste (index) pagina wordt geïndexeerd maar niet de rest van uw site.

Vaak wordt er meer geld aan een nieuwe website
uitgegeven dan aan de marketing ervan.
Maar dan een nieuwe auto. De aanschaf is een hoop geld maar toch hebben we dat er
graag voor over.
Tijdens het gebruik van een auto stijgen de kosten boven de aanschafwaarde
uit. Waarom daar wel en aan de marketing van uw bedrijf niet die euro extra uitgeven!