Von Bots und Crawlern: Warum Suchmaschinen auf Bots angewiesen sind

Dies funktioniert mit einer Datei namens „robots.txt“, die in das Stammverzeichnis einer Domain geladen wird. Eine weitere Möglichkeit ist es, direkt in den Meta-Tags des HTML-Quellcodes entsprechende Anweisungen zu platzieren.

Aber Achtung: Es handelt sich hier um einen freiwilligen Standard. Wenn ein Bot sich nicht daran halten möchte, ist ein Ausschließen per Meta-Tag oder robots.txt leider nicht möglich.

Bösartige Bots: Aussperren ist schwierig

Warum sollte man aber überhaupt bestimmte Bots ausschließen? Nun, manche solcher Bots suchen gezielt nach Schwachstellen im Content Management System, um beispielsweise die Seite zu manipulieren.

Andere wiederum greifen ungefragt die E-Mail-Adressen im Impressum oder auf der Kontaktseite ab. Leider ist es nur mit erheblichem Aufwand möglich, solche schädlichen Bots vom Besuch einer Seite auszuschließen.

Seiten und Verzeichnisse, die nicht von fremden Personen aufgerufen werden dürfen, sollten Sie also mit einem Passwortschutz beispielsweise via „.htaccess“ schützen.

Aber nicht alle Bots sind bösartig. Die Suchmaschinenbetreiber sind auf ihre eigenen Webcrawler sogar zwingend angewiesen. Helfen Sie ihnen also, mittels der robots.txt-Datei und den passenden Meta-Tags herauszufinden, ob sie den Content einer Seite in den Index aufnehmen dürfen.