Was bedeutet eigentlich ...?
Interessante Fragen und Antworten im Webdesign-Glossar

robots.txt

Die Datei robots.txt liegt im Hauptverzeichnis eines Web-Servers und enthält Anweisungen für die Robots der Suchmaschinen.

In der robots.txt wird festgelegt, ob alle Robots oder nur bestimmte, alle oder nur bestimmte Verzeichnisse oder Dateien lesen dürfen oder nicht.

Die Angaben in der robots.txt sind Hinweise an alle Robots und sollten beachtet werden, sie sind aber kein sicherer Schutz gegen das tatsächliche Erscheinen der Seiten in den Suchmaschinen. Manche Robots ignorieren die Angaben auch einfach.

Eine andere Möglichkeit einzelne Webseiten von der Indizierung auszuschliessen, ist die Angabe des Meta-Elements robots im Head der Webseite.

Rufen Sie mich an unter 04532 991 94 40 oder schreiben Sie mir: webdesign@michael-rabe.de
Gern mache ich Ihnen ein interessantes Angebot für die professionelle Gestaltung Ihrer neuen Website.