Von Bots und Crawlern: Warum Suchmaschinen auf Bots angewiesen sind

Wer eine neue Website zum ersten Mal online schaltet, der wird bald Besuch bekommen - und zwar nicht unbedingt von menschlichen Besuchern!

Vielmehr tauchen in den Log-Dateien des Servers schnell sogenannte Bots oder Crawler auf, die das Internet durchforsten, um nach neuen Seiten Ausschau zu halten. Was hat es mit diesen Bots auf sich?

Die Bots der Suchmaschinen

Suchmaschinen wie Google oder Bing funktionieren nach folgendem Prinzip: Sie durchsuchen mit ihren Bots die öffentlich zugänglichen Seiten im Internet und kopieren den Content dieser Seiten in ihren Index.

Auf diese Weise kann man mit einer einfachen Google-Suche alle im Index befindlichen Seiten nach Begriffen abgleichen. Bots sind also zunächst ein unerlässlicher Bestandteil des World Wide Web (WWW).

Die robots.txt: Eine Datei zum Steuern der Bots

Webmaster können indes solchen Bots Anweisungen geben, welche Seiten sie auf einer Domain durchsuchen dürfen oder bestimmte Crawler sogar ganz von der Website ausschließen.