1999-2018: 19 Jahre Webdesign aus Hamburg

Webdesign-Glossar

Wichtige Begriffe aus Webdesign und Internet verständlich erklärt

Robot, Spider, Crawler

Der Robot, Spider oder Crawler ist ein Programm zum automatisierten Erfassen der Inhalte von Webseiten zur Aufnahme in den Index einer Suchmaschine.

Der Robot besucht ihm einmal bekannte Webseiten regelmäßig wieder. Dort gefundene Links werden selbständig verfolgt und die dabei gefundenen Webseiten ebenfalls für die Aufnahme in den Index der Suchmaschine erfasst.

Um den Robot von bestimmten Verzeichnissen auszuschliessen kann eine Datei robots.txt verwendet werden.

Mehr Informationen: Wissenswertes über Suchmaschinen-Optimierung.

Rufen Sie mich an, Telefon 040-608 892 77, vereinbaren Sie einen Rückruf, schreiben Sie eine E-Mail oder starten Sie Ihre Webdesign-Anfrage.

nach oben