Een 'softwarespider' is een onbemand programma dat wordt beheerd door een zoekmachine die op het web surft zoals u zou doen. Als het elke website bezoekt, registreert het (opslaat op de harde schijf) alle woorden op elke site en noteert het elke link naar andere sites. Vervolgens 'klikt' het op een link en gaat het een andere website lezen, indexeren en opslaan.
De softwarespider leest en indexeert vaak de volledige tekst van elke website die hij bezoekt in de hoofddatabase van de zoekmachine waarvoor hij werkt. Onlangs zijn veel engines zoals AltaVista begonnen met het indexeren van slechts een bepaald aantal pagina's van een site, vaak ongeveer 500 in totaal, en stoppen dan. Blijkbaar komt dit omdat het web zo groot is geworden dat het onhaalbaar is om alles te indexeren. Hoeveel pagina's de spider zal indexeren is niet helemaal voorspelbaar. Daarom is het een goed idee om elke belangrijke pagina op uw site die u wilt indexeren specifiek in te dienen, zoals pagina's die belangrijke zoekwoorden bevatten.
Een software-spider is als een elektronische bibliothecaris die de inhoudsopgave van elk boek in elke bibliotheek ter wereld uitknipt, ze sorteert in een gigantische hoofdindex en vervolgens een elektronische bibliografie opbouwt die informatie opslaat over welke teksten naar welke andere teksten verwijzen. Sommige software spiders kunnen meer dan een miljoen documenten per dag indexeren! Het is belangrijk om te begrijpen dat de spiders van zoekmachines slechts twee dingen doen:
- Ze indexeren tekst.
- Ze volgen links.
Op een recente conferentie over zoekmachinestrategieën, gehouden door SearchEngineWatch.com, maakte een van de gastsprekers, Shari Thurow van Grantastic Designs, dit punt en herhaalde het verschillende keren om het belang ervan te illustreren: 'Zoekmachines indexeren tekst en volgen links. Ze indexeren tekst en volgen links. Dat is alles wat ze doen.'
Haar punt is belangrijk en centraal voor het begrijpen van de aard van de spiders van zoekmachines. Als de tekst van uw website in een afbeelding staat, kunnen de zoekmachines deze niet indexeren. Als al uw belangrijke zoekwoorden waarvoor u een ranglijst hoopt te behalen, in de afbeeldingen zijn opgenomen, niet in de HTML-tekst, zal uw site geen ranglijst behalen. Onthoud dat zoekmachines geen afbeeldingen indexeren of afbeeldingen lezen, ze indexeren tekst en volgen links. Dat is alles. Als u geen tekst op uw zichtbare pagina heeft, zal geen enkele hoeveelheid trefwoorden in uw trefwoordmetatag u helpen om rankings te bereiken.
Wat de spider op uw site ziet, bepaalt hoe uw site in de index wordt vermeld. Zoekmachines bepalen de relevantie van een site op basis van een complex scoresysteem dat de zoekmachines geheim proberen te houden. Dit systeem telt punten op of trekt ze af op basis van zaken als hoe vaak het trefwoord op de pagina verscheen, waar het op de pagina verscheen en hoeveel woorden er in totaal werden gevonden. De pagina's die de meeste punten behalen, worden bovenaan de zoekresultaten weergegeven; de rest is begraven op de bodem, om nooit te worden gevonden.
Als een softwarespider uw site bezoekt, noteert hij eventuele links op uw pagina naar andere sites. In de uitgebreide database van elke zoekmachine worden alle links tussen sites vastgelegd. De zoekmachine weet naar welke sites u hebt gelinkt, en belangrijker nog, welke naar u zijn gelinkt. Veel zoekmachines zullen zelfs het aantal links naar uw site gebruiken als een indicatie van populariteit, en zullen vervolgens uw positie op basis van deze factor verhogen.
Copyright © 2000 iProspect.com
