Von Bots und Crawlern: Warum Suchmaschinen auf Bots angewiesen sind

Internet-Roboter

EU - Quantenphysik Image

Wer eine neue Website zum ersten Mal online schaltet, der wird bald Besuch bekommen - und zwar nicht unbedingt von menschlichen Besuchern!

Vielmehr tauchen in den Log-Dateien des Servers schnell sogenannte Bots oder Crawler auf, die das Internet durchforsten, um nach neuen Seiten Ausschau zu halten. Was hat es mit diesen Bots auf sich?

Die Bots der Suchmaschinen

Suchmaschinen wie Google oder Bing funktionieren nach folgendem Prinzip: Sie durchsuchen mit ihren Bots die öffentlich zugänglichen Seiten im Internet und kopieren den Content dieser Seiten in ihren Index.

Auf diese Weise kann man mit einer einfachen Google-Suche alle im Index befindlichen Seiten nach Begriffen abgleichen. Bots sind also zunächst ein unerlässlicher Bestandteil des World Wide Web (WWW).

Die robots.txt: Eine Datei zum Steuern der Bots

Webmaster können indes solchen Bots Anweisungen geben, welche Seiten sie auf einer Domain durchsuchen dürfen oder bestimmte Crawler sogar ganz von der Website ausschließen.

Meldung gespeichert unter: Tipps & Trends

© IT-Times 2019. Alle Rechte vorbehalten.

Unternehmen / Branche folgen
Unsere Nachrichten auf Ihrer Website

Sie haben die Möglichkeit, mit unserem Webmaster-Nachrichten-Tool die Nachrichten von IT-Times.de kostenlos auf Ihrer Internetseite einzubauen.

Zugeschnitten auf Ihre Branche bzw. Ihr Interesse.

Unternehmen / Branche folgen
Unsere Nachrichten auf Ihrer Website

Sie haben die Möglichkeit, mit unserem Webmaster-Nachrichten-Tool die Nachrichten von IT-Times.de kostenlos auf Ihrer Internetseite einzubauen.

Zugeschnitten auf Ihre Branche bzw. Ihr Interesse.

Folgen Sie IT-Times auf ...