| Autor |
Nachricht |
therapiekind
Threadersteller
Dabei seit: 14.03.2006
Ort: In deinem Kopf
Alter: -
Geschlecht: -
|
Verfasst Di 08.01.2008 20:31
Titel Große Datenbank, Abgleich mit Wawi. Benötigte Zeit ok? |
  |
|
Seas Leute,
bin gerade dabei, den 14-tägigen Abgleich einer Warenwirtschaft (MS SQL) mit einer größeren Produkt-Datenbank (ACCESS-Dateien) umzusetzen.
Einfach umschrieben: Die Produkt-Datenkbank enthält um die 375.000 Datensätze, für den Abgleich werden 22 Spalten pro Datensatz gezogen. Die Daten werden dann einfach in die Wawi-Datenbank geschrieben.
Da ich leider keiner "Low level"-Sprache wie etwa C oder C++ mächtig bin, hatte ich die Wahl zwischen PHP und Python. Habe mich dann für PHP entschieden, da ich mich in Python bisher noch nicht mit Datenbanken beschäftigt habe.
Ich schätze, dass der komplette Import der Produkte 2-3 Stunden dauern wird, ich habe versucht zu optimieren was zu optimieren geht.
Und jetzt meine Fragen:
- Ist das akzeptabel?
- Hat jemand halbwegs vergleichbare Referenzzeiten zur Hand?
- Würde die Sache signifikant schneller unter C o.ä. laufen?
Sorry für dieses Thema, bin mir aber sehr unsicher, was die Laufzeiten dieser Sache betrifft.
Zuletzt bearbeitet von therapiekind am Di 08.01.2008 20:32, insgesamt 1-mal bearbeitet
|
|
| |
   |
 |
pixelpapst303
Dabei seit: 06.07.2006
Ort: hamburg
Alter: 50
Geschlecht: 
|
Verfasst Mi 09.01.2008 11:20
Titel
|
|
|
finde 2 - 3 stunden für 375t datensätze ziemlich lang...
was gleichst du denn genau ab. evtl ist es gar nicht nötig, jeden datensatz und alle rows zu ziehen (aber selbst dann würde ich keine 2 - 3 stunden vermuten)...
|
|
| |
|
|
|
Anzeige
|
|
|
therapiekind
Threadersteller
Dabei seit: 14.03.2006
Ort: In deinem Kopf
Alter: -
Geschlecht: -
|
Verfasst Mi 09.01.2008 16:33
Titel
|
|
|
Danke für die Antwort. Ich hab's wahrscheinlich zu einfach umschrieben.
Es müssen leider alle Datensätze abgefragt werden, da es häufig Produktänderungen gibt und einfach alle abgefangen werden bzw. mit der Wawi abgeglichen werden müssen.
Zusätzlich werden beim Import noch einige Sachen in andere, produktrelevante Tabellen geschrieben (im Moment in zwei andere) sowie einige Datentypen konvertiert oder Daten validiert.
|
|
| |
|
|
pixelpapst303
Dabei seit: 06.07.2006
Ort: hamburg
Alter: 50
Geschlecht:
|
Verfasst Mi 09.01.2008 16:48
Titel
|
|
|
kannst du nicht performater werden, indem zum (nur zum beispiel) in beiden
dbs zu den artikeln noch ein art last-modify-flag setzt. sodass nur tatsächlich
geänderte daten upgedatet werden... würde sicher einiges sparen...
|
|
| |
|
|
achwasweisich
Dabei seit: 27.09.2007
Ort: Stuttgarter Raum
Alter: -
Geschlecht:
|
Verfasst Do 10.01.2008 19:34
Titel
|
|
|
| Zitat: | | 1. Ist das akzeptabel? |
Das fragst Du uns?? Das mußt Du doch Dich selbst bzw. Deinen Kunden fragen.
Wenn der Server nachts von 1:00 Uhr bis morgens um 6:00 Uhr eh rumdümpelt
und keiner drauf arbeitet, dann wäre es wohl akzeptabel.
| Zitat: | | 2. Hat jemand halbwegs vergleichbare Referenzzeiten zur Hand? |
Man sollte dafür schon wenigstens ganz ganz grob wissen, was eigentlich genau passiert.
Und die DB-Struktur und die Art und Menge der Datensätze und und und.
Deutsch: Wie sollte man da mit Referenzzeiten dienen können?
| Zitat: | | 3. Würde die Sache signifikant schneller unter C o.ä. laufen? |
Vermutlich ist die Applikation eh hochgradig DB-lastig. Dann ist die Programmiersprache
ziemlich wurscht. Der Flaschenhals ist dann die DB. Da würde ich auch mal im Hinblick mit Indizes usw. ansetzen.
Ach ja: wenn Du sehr viele INSERTS machst, dann kann es manchmal extrem Zeit sparen
wenn man vor dem INSERT-Block alle Indizes der Tabelle droppt und nach dem Einfügen der Daten die Indizes weider neu aufbauen lässt. Wie gesagt, bei sehr vielen INSERTS kann das durchaus eine oder zwei Stunden bringen. (Hab ich selbst schon live erlebt)
|
|
| |
|
|
therapiekind
Threadersteller
Dabei seit: 14.03.2006
Ort: In deinem Kopf
Alter: -
Geschlecht: -
|
Verfasst Fr 01.02.2008 14:25
Titel
|
|
|
Narf, mg.info hat mich nicht über weitere Antworten informiert. 
Danke trotzdem an alle für den Input. Konnte das ganze jetzt extrem verkürzen, auf eine halbe Stunde.
| achwasweisich hat geschrieben: | Vermutlich ist die Applikation eh hochgradig DB-lastig. Dann ist die Programmiersprache
ziemlich wurscht. Der Flaschenhals ist dann die DB. Da würde ich auch mal im Hinblick mit Indizes usw. ansetzen. |
Und genauso war's auch. Hatte für Testzwecke Abfragen zu C++ geported (mit Hilfe von 'nem Kollegen) und es war nicht merklich schneller. Jetzt habe ich die meisten Sachen direkt in SQL geschrieben und steuere nur noch mit PHP. Läuft recht flott. 
Danke noch mal!
|
|
| |
|
|
| |
|
|
| Ähnliche Themen |
Frage // Joomla/Virtuemart + JTL Wawi
Schnittstelle zwischen Lexware Wawi und xt:Commerce
[SUCHE] Programm zum Abgleich von CSS&HTML
Nicht-benötigte Scripte in HTML entfernen lassen...
Cumulus Bilddatenbank / Cumulus Importer / Abgleich Daten
[JS] Zeit und Datum
|
|
Willkommen auf dem Portal für Mediengestalter
