mediengestalter.info
FAQ :: Mitgliederliste :: MGi Team

Willkommen auf dem Portal für Mediengestalter

Aktuelles Datum und Uhrzeit: Do 28.03.2024 10:38 Benutzername: Passwort: Auto-Login

Thema: Wieviel robots.txt für eine Domain/Webspace? vom 11.04.2008


Neues Thema eröffnen   Neue Antwort erstellen MGi Foren-Übersicht -> Allgemeines - Nonprint -> Wieviel robots.txt für eine Domain/Webspace?
Seite: Zurück  1, 2
Autor Nachricht
Backware

Dabei seit: 09.12.2004
Ort: bei Köln
Alter: 38
Geschlecht: Männlich
Verfasst Mo 14.04.2008 18:59
Titel

Antworten mit Zitat Zum Seitenanfang

cri hat geschrieben:
Mischpult hat geschrieben:
Zitat:
When a spider finds a URL, it takes the whole domain name (everything between 'http://' and the next '/'), then sticks a '/robots.txt' on the end of it and looks for that file. If that file exists, then the spider should read it to see where it is allowed to crawl.

In your case, Googlebot, or any other spider, should try to access three URLs: domainA.com/robots.txt, domainB.domainA.com/robots.txt, and domainB.com/robots.txt. The rules in each are treated as separate, so disallowing robots from domainA.com/ should result in domainA.com/ being removed from search results while domainB.domainA.com/ remains unaffected, which does not sound like not something you want.


Quelle: http://www.seroundtable.com/archives/013888.html

Wobei das auch auf den Bot ankommt. Aber viele machen das so wie dort oben beschrieben.


also lass ich die besser wohl so einzeln ... *Huch*
right?


jetzt aber... wieviel hinweise brauchstn noch? *zwinker*

jede domain hat ihren eigenen root. wenn sie als eigenes projekt zählt und eine robots.txt benötigt, dann bau zwingend für jede domain eine ein.

eine gesammelte robots.txt kannst du nicht anbieten, sofern die domains in unterverzeichnissen sind.
  View user's profile Private Nachricht senden
cri
Threadersteller

Dabei seit: 20.02.2004
Ort: Hauptstadt
Alter: 41
Geschlecht: Männlich
Verfasst Mo 14.04.2008 21:00
Titel

Antworten mit Zitat Zum Seitenanfang

Backware hat geschrieben:
cri hat geschrieben:
Mischpult hat geschrieben:
Zitat:
When a spider finds a URL, it takes the whole domain name (everything between 'http://' and the next '/'), then sticks a '/robots.txt' on the end of it and looks for that file. If that file exists, then the spider should read it to see where it is allowed to crawl.

In your case, Googlebot, or any other spider, should try to access three URLs: domainA.com/robots.txt, domainB.domainA.com/robots.txt, and domainB.com/robots.txt. The rules in each are treated as separate, so disallowing robots from domainA.com/ should result in domainA.com/ being removed from search results while domainB.domainA.com/ remains unaffected, which does not sound like not something you want.


Quelle: http://www.seroundtable.com/archives/013888.html

Wobei das auch auf den Bot ankommt. Aber viele machen das so wie dort oben beschrieben.


also lass ich die besser wohl so einzeln ... *Huch*
right?


jetzt aber... wieviel hinweise brauchstn noch? *zwinker*

jede domain hat ihren eigenen root. wenn sie als eigenes projekt zählt und eine robots.txt benötigt, dann bau zwingend für jede domain eine ein.

eine gesammelte robots.txt kannst du nicht anbieten, sofern die domains in unterverzeichnissen sind.


na mein ich doch auch Lächel
  View user's profile Private Nachricht senden Website dieses Benutzers besuchen
Anzeige
Anzeige
 
Ähnliche Themen Webspace und Domain
Webspace und Domain verbinden?
Robots
robots.txt so richtig?
robots.txt mit mehr Info
Indexierung durch robots.txt
Neues Thema eröffnen   Neue Antwort erstellen Seite: Zurück  1, 2
MGi Foren-Übersicht -> Allgemeines - Nonprint


Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst an Umfragen in diesem Forum nicht mitmachen.