[WurstOderWas]

Hi Leute,

ich würde mich gerne ein wenig mit der Technik von Spidern und anderen Bots beschäftigen und würde durchaus auch mal gern einen programmieren.
Hat da jemand gute Quellen?
Bin für jeden Link und/ oder Buchtip dankbar.

Gruß,

die Wurst

[Lazy-GoD]

Kommt man da mit bisschen Nachdenken nicht selber drauf? Was willst du da mit nem Buch? Was soll da drinstehen?

[gtz]

url -> dokument runterladen -> speichern -> parsen -> fork de sprozeses für jede im dokument enthaltene url und lustig von vorne.

wahlweise auch iterativ statt rekursiv. wobei depth-first durchmarschiererei mir unklug vorkommt. breadth first dürfte eher verwertbare ergebnisse liefern.

[Mischpult]

Also Buecher wirds dazu wahrscheinlich nicht explizit geben.

Programmiersprachen - wie waers mit Perl PHP ASP .Net etc ?

Fuer mich stellt sich gerade die Frage was Du genau spidern willst
oder was deine Bots koennen sollen ...

[Eistee]

Ich glaube auch das das spidern an sich nicht so das Problem ist, als Anregung vielleicht: www.phpdig.net

Bloss wie man die gewonnen Daten speichert, aufbreitet und bewertet, dass dürfte das Problem sein

[Mischpult]