Ein Webcrawler ist ein Computerprogramm, mit dem Internetseiten auf relevante Schlagwörter durchsucht und analysiert werden. Der Crawler ist an einen Analyseindex gekoppelt. Die Analyse verläuft selbstständig, über Hyperlinks wird automatisch von einer Seite zur nächsten weitergeleitet und der Index permanent erweitert.
Es findet häufig bei Suchmaschinen Anwendung, wo der Suchverlauf in einer Ergebnisindex aufgezeigt wird. Dabei gibt es vorab definierte Regeln, mittels derer der Ergebnisindex angeordnet wird.
