Suchmaschinenoptimierung
Robots.txt – Grundlagen 2

Googlebot ___

Im Normalfall aber werden Sie immer einige Dateien und Ordner zum Ausschließen haben. Dazu gehören zum Beispiel Eingabeformulare, Login-Seiten, die Verzeichnisse von Zusatzprogrammen und Skript-Verzeichnisse. Und so funktioniert das Ausschließen: Sie schreiben Disallow: gefolgt vom Pfad der auszuschließenden Dateien und Ordner. Dabei genügt es auch, nur die ersten Buchstaben zu schreiben, etwa:

User-agent: *
Disallow: /search

Damit würden alle Dateien und Ordner ausgeschlossen, die mit search beginnen. Soll nur der Zugriff auf das Verzeichnis search verhindert werden, schreiben Sie:

Disallow: /search/

Sie können beliebig viele Disallow-Anweisungen untereinander schreiben.Mit User-agent: legen Sie fest, für welchen Bot eine Reihe von Disallow-Befehlen gilt. Mit

User-agent: *

sind alle Bots betroffen.Wollen Sie aber zum Beispiel für den Googlebot eigene Anweisungen festlegen, so ergänzen Sie Ihre robots.txt um eine Sektion, die nur für den Googlebot gilt, zum Beispiel:

User-agent: *
Disallow: /search
User-agent: Googlebot
Disallow: /search
Disallow: /thisfile
Disallow: /thatdir/

Kommentare sind in der robots.txt ebenfalls erlaubt. Sie müssen mit einem # eingeleitet werden, zum Beispiel:

User-agent: *
Disallow: /cgi-bin/ #Keine Skripts lesen!

Natürlich darf der Kommentar auch in einer eigenen Zeile stehen.