Programmierung – Robots.txt
Bots ausbremsen

Frequenz ___

Manche Bots, etwaYahoos Slurp oder der MSNBot, können erstaunlichen Eifer entwickeln, der manche Seite an den Rand ihrer Kapazität bringt. Denn wenn die Bots auf dynamischen Websites Seiten in zu hoher Frequenz abrufen, kommt die Datenbank irgendwann nicht mehr hinterher. Abhilfe schafft ein Eintrag in der Datei robots.txt. Schreiben Sie unterhalb von

User-agent: Slurp

und

User-agent: msnbot

jeweils den Eintrag

Crawl-delay: 5

Falls Sie keine eigenen Sektionen für Slurp und MSN vorgesehen haben, setzen Sie die Anweisung direkt unterhalb von

User-agent: *

Damit warten die Bots jeweils fünf Sekunden, bis sie zum nächsten Mal auf Ihre Site zugreifen. Sie können den Wert auch höher setzen. Googlebot allerdings scheint diese Direktive nicht zu mögen. Die Google-Sitemap-Konsole meldet Crawl-delay als Syntaxfehler.