| Autor |
Nachricht |
cri
Threadersteller
Dabei seit: 20.02.2004
Ort: Hauptstadt
Alter: 41
Geschlecht: 
|
Verfasst Fr 11.04.2008 16:11
Titel Wieviel robots.txt für eine Domain/Webspace? |
  |
|
Hallo ihr da draußen!
Wie im Titel schon zu lesen, zielt die Frage in Richtung der "robots.txt"
Ich verwende diese schon länger und sehr gern etc. doch ist mir heute eine entscheidene Frage gekommen:
Wieviel robots.txt hat man denn so auf dem Webspace?
Bei meinem Webspace habe ich nämlich mehrere - passend zu jeder unterdomain oder Domainverweis. Somit habe ich so zum beispiel in dem ordner "ROOT" welcher z.B. die Ordner "1" und "2" enthält eine robots.txt aber auch in den Ordnern "1" und "2" - da diese ordner von unterdomains sind ...
Meine Frage:
Ist diese Praxis richtig so, oder platziert man eigentlich nur eine robots.txt in das root-verz. des webspaces und die wird dann immer ausgelesen, egal ob die crawler eigentlich nur in dem entsprechenden unterordner durchsuchen sollen ...
ich hoffe, ich konnte mein problem halbwegs verständlich darlegen ...
habt ihr nen tipp also?
vielen dank schonmal
mfg
der CRI
|
|
| |
   |
 |
Mac
Dabei seit: 26.08.2005
Ort: Köln
Alter: 62
Geschlecht:
|
Verfasst Sa 12.04.2008 10:04
Titel
|
|
|
wenn aus dem rootverzeichnis auf die Subdomains verlinkt wird, also das für den crawler eine Website ist, dann brauchste nur eine robots.txt. Wenn die Subdomains losgeöst und eigenständige Auftritte sind, dann ja.
Wenn der Link von domain.de zu meine.domain.de geht, dann ja.
Hoffe, das ist klar, hab 2 Kilo Rotz im Hirn..
|
|
| |
|
|
|
Anzeige
|
|
|
cri
Threadersteller
Dabei seit: 20.02.2004
Ort: Hauptstadt
Alter: 41
Geschlecht:
|
Verfasst Sa 12.04.2008 15:50
Titel
|
|
|
| Mac hat geschrieben: | wenn aus dem rootverzeichnis auf die Subdomains verlinkt wird, also das für den crawler eine Website ist, dann brauchste nur eine robots.txt. Wenn die Subdomains losgeöst und eigenständige Auftritte sind, dann ja.
Wenn der Link von domain.de zu meine.domain.de geht, dann ja.
Hoffe, das ist klar, hab 2 Kilo Rotz im Hirn.. |
ah gut.
schonmal danke.
ich glaub dann muss ich das so lassen ... die subdomains sind schon losgelöst - maximal per link verbunden aber extra verwaltet ...
mfg
der CRI
|
|
| |
|
|
utopia
Dabei seit: 02.08.2004
Ort: -
Alter: 40
Geschlecht:
|
Verfasst Sa 12.04.2008 19:27
Titel
|
|
|
Tach
es reicht eine robots im root-verzeichnis, die robots in den jeweiligen ordnern (1,2) kannste rausnehm.
Ob die robots von "muster.de" auch auf den subdomains funktionieren, weiß ich nich, glaub ich nich, kann ich mir nich vorstelln!?!?!?
|
|
| |
|
|
cri
Threadersteller
Dabei seit: 20.02.2004
Ort: Hauptstadt
Alter: 41
Geschlecht:
|
Verfasst Sa 12.04.2008 19:51
Titel
|
|
|
| utopia hat geschrieben: | Tach
es reicht eine robots im root-verzeichnis, die robots in den jeweiligen ordnern (1,2) kannste rausnehm.
Ob die robots von "muster.de" auch auf den subdomains funktionieren, weiß ich nich, glaub ich nich, kann ich mir nich vorstelln!?!?!? |
darum gehts aber ... 
|
|
| |
|
|
Miridor
Dabei seit: 11.04.2005
Ort: -
Alter: -
Geschlecht:
|
Verfasst Mo 14.04.2008 11:06
Titel
|
|
|
|
Die robots (spiders) lesen alle rootverzeichnisse... jede subdomain hat einen root, von daher werden sie auch erfasst...
|
|
| |
|
|
Mischpult
Dabei seit: 19.11.2003
Ort: Bochum
Alter: -
Geschlecht:
|
Verfasst Mo 14.04.2008 11:38
Titel
|
|
|
| Zitat: | When a spider finds a URL, it takes the whole domain name (everything between 'http://' and the next '/'), then sticks a '/robots.txt' on the end of it and looks for that file. If that file exists, then the spider should read it to see where it is allowed to crawl.
In your case, Googlebot, or any other spider, should try to access three URLs: domainA.com/robots.txt, domainB.domainA.com/robots.txt, and domainB.com/robots.txt. The rules in each are treated as separate, so disallowing robots from domainA.com/ should result in domainA.com/ being removed from search results while domainB.domainA.com/ remains unaffected, which does not sound like not something you want. |
Quelle: http://www.seroundtable.com/archives/013888.html
Wobei das auch auf den Bot ankommt. Aber viele machen das so wie dort oben beschrieben.
|
|
| |
|
|
cri
Threadersteller
Dabei seit: 20.02.2004
Ort: Hauptstadt
Alter: 41
Geschlecht:
|
Verfasst Mo 14.04.2008 13:12
Titel
|
|
|
| Mischpult hat geschrieben: | | Zitat: | When a spider finds a URL, it takes the whole domain name (everything between 'http://' and the next '/'), then sticks a '/robots.txt' on the end of it and looks for that file. If that file exists, then the spider should read it to see where it is allowed to crawl.
In your case, Googlebot, or any other spider, should try to access three URLs: domainA.com/robots.txt, domainB.domainA.com/robots.txt, and domainB.com/robots.txt. The rules in each are treated as separate, so disallowing robots from domainA.com/ should result in domainA.com/ being removed from search results while domainB.domainA.com/ remains unaffected, which does not sound like not something you want. |
Quelle: http://www.seroundtable.com/archives/013888.html
Wobei das auch auf den Bot ankommt. Aber viele machen das so wie dort oben beschrieben. |
also lass ich die besser wohl so einzeln ... 
right?
|
|
| |
|
|
| |
|
|
| Ähnliche Themen |
Webspace und Domain
Webspace und Domain verbinden?
Robots
robots.txt so richtig?
robots.txt mit mehr Info
Indexierung durch robots.txt
|
|
Willkommen auf dem Portal für Mediengestalter
