Die weltweit erfolgreichsten Suchmaschinen wie Google oder Bing erstellen ihre Ergebnisse mit Hilfe eines Index. Dazu werden zuerst sogenannte Crawler oder Spider ausgeschickt. Dabei handelt es sich um Programme, die selbstständig das Internet durchsuchen und über die verschiedenen Verlinkungen möglichst viele Webseiten erfassen sollen. Alle relevanten Informationen dieser Webseiten werden