Crawler der Standardsuchmaschinen erfassen üblicherweise nicht alle Stufen einer hierarchisch aufgebauten Website. Viele Dateiformate (wie PDF oder Bild-, Akustik- und Videoformate) sind einer automatischen Indexierung nicht zugänglich. Auch dynamische Inhalte, die etwa in Webformularen nur zeitweise existieren, oder Inhalte, die nicht das HTTP-Protokoll verwenden, können nicht indexiert werden und