derwebling
Threadersteller
Dabei seit: 16.11.2004
Ort: Traunstein
Alter: 28
Geschlecht: 
|
Verfasst Mi 07.12.2005 13:57
Titel robots.txt mit mehr Info |
  |
|
Habe schon öfter gesehen, dass die robots.txt mit keywords gespickt wurde. Bringt das was?
Habe im Web nicht drüber gefunden.
| Code: |
# robots.txt for http://www.###.de
# file created: 07.12.2005
# Alle Robots in allen Verzeichnissen erlauben
User-agent: *
Disallow:
Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, Keyword, |
|
|
Willkommen auf dem Portal für Mediengestalter
