mediengestalter.info
FAQ :: Mitgliederliste :: MGi Team

Willkommen auf dem Portal für Mediengestalter

Aktuelles Datum und Uhrzeit: So 11.12.2016 15:08 Benutzername: Passwort: Auto-Login

Thema: Spider programmieren vom 01.09.2005


Neues Thema eröffnen   Neue Antwort erstellen MGi Foren-Übersicht -> Programmierung -> Spider programmieren
Autor Nachricht
WurstOderWas
Threadersteller

Dabei seit: 26.03.2003
Ort: -
Alter: 36
Geschlecht: Männlich
Verfasst Do 01.09.2005 13:30
Titel

Spider programmieren

Antworten mit Zitat Zum Seitenanfang

Hi Leute,

ich würde mich gerne ein wenig mit der Technik von Spidern und anderen Bots beschäftigen und würde durchaus auch mal gern einen programmieren.
Hat da jemand gute Quellen? * Such, Fiffi, such! *
Bin für jeden Link und/ oder Buchtip dankbar.

Gruß,

die Wurst
  View user's profile Private Nachricht senden
Lazy-GoD
Moderator

Dabei seit: 26.11.2001
Ort: -
Alter: 46
Geschlecht: Männlich
Verfasst Do 01.09.2005 23:33
Titel

Antworten mit Zitat Zum Seitenanfang

Kommt man da mit bisschen Nachdenken nicht selber drauf? Was willst du da mit nem Buch? Was soll da drinstehen?
  View user's profile Private Nachricht senden
Anzeige
Anzeige
gtz

Dabei seit: 15.04.2002
Ort: -
Alter: 41
Geschlecht: Männlich
Verfasst Fr 02.09.2005 02:33
Titel

Antworten mit Zitat Zum Seitenanfang

url -> dokument runterladen -> speichern -> parsen -> fork de sprozeses für jede im dokument enthaltene url und lustig von vorne.

wahlweise auch iterativ statt rekursiv. wobei depth-first durchmarschiererei mir unklug vorkommt. breadth first dürfte eher verwertbare ergebnisse liefern.
  View user's profile Private Nachricht senden Website dieses Benutzers besuchen
Mischpult

Dabei seit: 19.11.2003
Ort: Bochum
Alter: -
Geschlecht: Männlich
Verfasst Fr 02.09.2005 07:28
Titel

Antworten mit Zitat Zum Seitenanfang

Also Buecher wirds dazu wahrscheinlich nicht explizit geben.

Programmiersprachen - wie waers mit Perl PHP ASP .Net etc ?

Fuer mich stellt sich gerade die Frage was Du genau spidern willst
oder was deine Bots koennen sollen ... Hmm...?!
  View user's profile Private Nachricht senden Website dieses Benutzers besuchen
Eistee
Administrator

Dabei seit: 31.10.2001
Ort: Grimma
Alter: 38
Geschlecht: Männlich
Verfasst Fr 02.09.2005 09:51
Titel

Antworten mit Zitat Zum Seitenanfang

Ich glaube auch das das spidern an sich nicht so das Problem ist, als Anregung vielleicht: www.phpdig.net

Bloss wie man die gewonnen Daten speichert, aufbreitet und bewertet, dass dürfte das Problem sein Lächel
  View user's profile Private Nachricht senden Website dieses Benutzers besuchen
Mischpult

Dabei seit: 19.11.2003
Ort: Bochum
Alter: -
Geschlecht: Männlich
Verfasst Fr 02.09.2005 10:01
Titel

Antworten mit Zitat Zum Seitenanfang

Eistee hat geschrieben:
Bloss wie man die gewonnen Daten speichert, aufbreitet und bewertet, dass dürfte das Problem sein Lächel


Buchempfehlungen:

The Geometry of Information Retrieval von C. J. van Rijsbergen - ISBN: 0521838053

Information Retrieval. Suchmodelle und Data-Mining-Verfahren für Textsammlungen und das Web
von Reginald Ferber - ISBN: 3898642135


Keywords sind hier Datamining und Information Retrieval


Zuletzt bearbeitet von Mischpult am Fr 02.09.2005 10:26, insgesamt 1-mal bearbeitet
  View user's profile Private Nachricht senden Website dieses Benutzers besuchen
 
Ähnliche Themen Suche einen etwas anderen WebCrawler/Spider
CD Programmieren!
Bücher für´s Programmieren
Terminkalender programmieren
sinnvoll programmieren
Stichwortsuche programmieren
Neues Thema eröffnen   Neue Antwort erstellen
MGi Foren-Übersicht -> Programmierung


Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst an Umfragen in diesem Forum nicht mitmachen.