Was bedeutet eigentlich ...?
Interessante Fragen und Antworten im Webdesign-Glossar

Robot, Spider, Crawler

Der Robot, Spider oder Crawler ist ein Programm zum automatisierten Erfassen der Inhalte von Webseiten zur Aufnahme in den Index einer Suchmaschine.

Der Robot besucht ihm einmal bekannte Webseiten regelmäßig wieder. Dort gefundene Links werden selbständig verfolgt und die dabei gefundenen Webseiten ebenfalls für die Aufnahme in den Index der Suchmaschine erfasst.

Um den Robot von bestimmten Verzeichnissen auszuschliessen, kann eine Datei robots.txt verwendet werden.

Rufen Sie mich an unter 040-608 892 77 oder schreiben Sie mir: webdesign@michael-rabe.de
Gern mache ich Ihnen ein interessantes Angebot für die professionelle Gestaltung Ihrer neuen Website.