VB6, Ms-Access-Datenbank-Bearbeitung von großen Mengen an Akten

Brauche ich, um zu verarbeiten Hunderte oder Tausende von Datensätzen mit VB6 und MS Access-Datenbank. Ich Durchlaufen des Recordsets und Bearbeiten jedem Datensatz. Allerdings dauert es eine Menge Zeit, dies zu tun. Erstellen einer Datenbank mit der gleichen Menge der Datensätze mit der Addnew und Update-Methoden arbeitet viel schneller.

Ich werde sehr dankbar, wenn jemand mir zeigt, jede code-Beispiel oder nur eine Strategie.

Hier ist der code

Data1(1).RecordSource = "Select * from TABLE order by Field_A ASC"
Data1(1).Refresh
If Data1(1).Recordset.RecordCount > 0 Then
    Data1(1).Recordset.MoveFirst
    Do
        Data1(1).Recordset.Edit
        Data1(1).Recordset.Fields("FIELD") = Sort_Value
        Data1(1).Recordset.Update
        Data1(1).Recordset.MoveNext
    Loop Until Data1(1).Recordset.EOF = True
End If

Es ist wirklich ganz ganz einfach. Die Reale Sache ist, ich habe vergessen zu erwähnen, dass tha HDD der computer ständig rot/schreibt. Dies ist tatsächlich das problem. Mit eine so schwere Last, dort ist keine Weise, nicht auf die Leistung auswirken.

Ich dachte zuerst, dass das recordset von der Abfrage generierte, im Hinterkopf behalten, dass wir hane 1-2 Millionen Datensätze, die das problem verursacht. Ich denke, es befindet sich auf einem temporären Platz auf der Festplatte und im RAM. Und so executin .Bearbeiten und .Update könnte ein problem in der ersten positionieren Sie den cursor an der richtigen Stelle und dann schreiben.

Weiß es nicht sicher. Wahrscheinlich würde es ein Experte sein, um mir zu zeigen, einen Weg aus.

Btw. Ich habe auch versucht mit dem Austausch der
Schleife, Bis Sie Data1(1).Recordset.EOF = True
Anweisung mit fester Länge-Zyklus, denn ich habe auch gelesen, dass diese überprüfung für die Recordset.EOF verlangsamt Leistung.

Vielen Dank im Voraus!

teilen Sie Ihre code -, UPDATE-Anweisung etc. hilfreich
Mithilfe einer Transaktion eher als das schreiben der updates jedes mal wird wesentlich schneller sein, siehe mein Beispiel Antwort hier: stackoverflow.com/questions/12930603/...
Ich habe angefangen, ein Kopfgeld für Sie, da bin ich neugierig auf diese mir. Wenn Sie die Bearbeitung Ihrer post, die code enthalten, den Sie momentan verwenden, könnte es helfen, Menschen zu finden, die Ihren code auch für die Schwächen.
Es ist wirklich schwer zu sagen, wie sollten Sie die Geschwindigkeit verbessern, was Sie tun, wenn Sie nicht zeigen (oder zumindest sagen) Sie uns, was Sie tun in den ersten Platz. "Wie kann ich meinen code schneller? Ich werde nicht, Sie Ihnen zu zeigen, oder sogar sagen, was es genau macht. Können Sie mir helfen?"
Nur eine Frage; können Sie uns sagen, wenn die Tabelle über Indizes verfügt oder wichtige Felder, und, wenn ja, welche Felder sind das?
+1 für die Verwendung einer Transaktion, da @MattDonnan schlägt. Die Testergebnisse here sind für Einsätze, aber eine Transaktion beschleunigen kann Chargen von updates zu.
Anscheinend verwendest du ein Daten-Steuerelement mit DAO zu aktualisieren Sie Ihre Aufzeichnungen. Loswerden, dass Daten-Steuerelements und verwenden nur plain-Recordsets. Entfernen Sie auch die Order By wenn nicht benötigt. Wiederholen Sie dann den Vorgang.
BellyMark - Können Sie überprüfen, shareef Antwort und sehen, ob es beschleunigt den Prozess? wenn ja, bitte geben Sie ihm die Akzeptierte Antwort Haken, so kann ich die Auszeichnung der bounty. Wenn nicht, lassen Sie es uns bitte wissen. Danke!
Ich habe das Gefühl, das wir nicht hören von ihm, bis er wieder an die Arbeit in ein paar Stunden. Sobald wir mehr details darüber, wo er die erste Sort_Value, desto besser können wir ihm helfen.
Hallo, mal wieder!Sorry für die Unterbrechung, aber eine Sache hielt mich davon entfernt. Ich vergaß zwei wichtige Sache zu erwähnen:1. Die Indizierung wird nicht ganz für mich arbeiten, denn es gibt wirklich eine Menge von Daten, die dynamisch generiert, so dass, sobald ein Datensatz bearbeitet wird, ist es nur selten zurückkommen. 2. Mehr wichtig - ich entschuldige mich erneut vergessen zu erwähnen, ist, dass die Aufzeichnungen müssen Durchlaufen, da die Aufgabe ist zu berücksichtigen, die benachbarten Datensätze Werten.
Sie können Sie aktualisieren, basierend auf der angrenzenden Rekord-Werte über eine Abfrage zu. Je nach Daten kann es erforderlich, eine Unterabfrage obwohl. Ich denke, es wäre es Wert für Sie zu post-ein Beispiel für die Daten und das Ergebnis, die Sie suchen.

InformationsquelleAutor BellyMark | 2013-06-17

ms-access vb6

2

Erstellte ich eine Tabelle namens test mit den Feldern n und f(n)

Timed 3 verschiedene update-Unterprogramme
- recordset ohne Transaktion
- recordset mit der Transaktion
- update-Abfrage
```
Sub updateFunction_noTrans()
    Dim rs As Recordset
    Set rs = CurrentDb.OpenRecordset("test")
    rs.MoveFirst
    Do Until rs.EOF
        rs.Edit
        rs("f(n)") = rs("n") + 1
        rs.Update
        rs.MoveNext
    Loop
End Sub
```
Dies ist im Grunde, was Sie tun, eine gerade recordset während der Bearbeitung ein Feld
```
Sub updateFunction_yesTrans()
    Dim i As Long
    Dim commitSize As Long
    Dim rs As Recordset
    commitSize = 5000
    Set rs = CurrentDb.OpenRecordset("test")
    DBEngine.Workspaces(0).BeginTrans
    rs.MoveFirst
    Do Until rs.EOF
        rs.Edit
        rs("f(n)") = rs("n") + 1
        rs.Update
        rs.MoveNext
        i = i + 1
        If i = commitSize Then
            DBEngine.Workspaces(0).CommitTrans
            DBEngine.Workspaces(0).BeginTrans
            i = 0
        End If
    Loop
    DBEngine.Workspaces(0).CommitTrans
End Sub
```
Dies ist die gleiche Idee, aber mit Transaktionen. Ich verpflichte 5000 Datensätze in einer Zeit, als es war einige Grenzwerte um 9k-10k pro commit. Sie können Bearbeiten das glaube ich, indem Sie in der registry.
```
Sub updateFunction_updateQuery()
    CurrentDb.Execute ("UPDATE test SET test.[f(n)] = [n]+1;")
End Sub
```
Dies ist schneller als alle recordset-Methoden. E. g. auf rund 2 Millionen Datensätze dauerte es ~20 Sekunden ohne Transaktionen, ~18-19 Sekunden mit Transaktionen, ~14 Sekunden mit der update-Abfrage.

All dies ist unter der Annahme, dass das Feld aktualisiert werden, hängt von berechneten Werten aus anderen Unholde innerhalb dieser Datensätze

Wirklich beschleunigen diese Art von Aktionen, manchmal ist es abhängig von der situation und mehr detail ist erforderlich, wenn dies nicht gelten.

Edit: alten core 2 duo Rechner + keine Indizes auf die Felder
- +1 für die Annahme einer Transaktion. Wenn das Feld aktualisiert hatte, ein index, der es dann ich würde erwarten, um zu sehen, eine deutliche Verbesserung. Sie könnten auch vermeiden, Bearbeiten Sie die Registrierung, indem mithilfe einer Anweisung wie DBEngine.SetOption dbMaxLocksPerFile, 300000 im VBA-code, und dann könnte man erhöhen Sie Ihre commitSize auf ~250.000 an.
- tatsächlich war das Gegenteil wahr. Ich habe das Spiel mit diesem für ein paar Stunden jetzt und hatte verschiedene test schon geschrieben. Für 1 Mio Datensätzen keinen index, bekomme ich 11 Sekunden (mit oder ohne Transaktionen. Für ein indiziertes Feld (text), bekomme ich 27 Sek., bei Transaktionen & 25 Sek ohne Transaktionen. Btw, commit-Größe wurde mit 5000.
- Vielen Dank für die Mühe Eva testen Sie Ihren code. wirklich zu schätzen. Aber eine Frage - was ist der maximale commit-Größe verfügbar?
- Ich habe nicht versucht zu sehen, was der max-level ist. @GordThompson Kommentar zeigt 250k möglich ist. Ich persönlich glaube nicht, dass es ein Vorteil für Transaktionen ab einer Geschwindigkeit Standpunkt und der Hauptvorteil ist die Fähigkeit, änderungen rückgängig zu etc.
InformationsquelleAutor ashareef
1

Meine einzige Anregung, die möglicherweise nicht in Ihrem Fall, zu tun, die die Masse-updates über eine update-Abfrage.

Drei Fälle, in denen das funktionieren könnte:

Wenn Sort_Value kann errechnet werden aus anderen Bereichen, das ist eine einfache UPDATE-Abfrage, aber ich bin sicher, Sie hätte das schon gesehen.

Wenn Sort_Value kann berechnet werden aus anderen Aufzeichnungen (wie vorheriger Eintrag), dann kann man wohl schreiben ein komplexer UPDATE-Abfrage (ich habe gesehen, einige ziemlich komplexe Abfragen hier gepostet).

Schließlich, wenn die gleichen Sort_Value angewendet wird, um eine Menge von Datensätzen, dann können Sie eine UPDATE-Abfrage basierend auf diesen Datensätzen. Also, wenn Sort_Value könnte sein, 10 verschiedene Werte, dann alle updates gemacht werden würde in 10 UPDATE-Abfragen.

Wenn Sie uns mitteilen, wo du die Sort_Value, wir könnten in der Lage sein, um Ihnen weiter helfen.

Hier einige Dinge, die NICHT Arbeit zu beschleunigen, können Sie den edit/update-Befehle, nach meiner Prüfung. Dies alles ist geschehen, mit einer Tabelle mit 10.000 Datensätzen, mit 1.000.000 updates.
- RS(1) anstelle von RS("name"). Dies wurde vorgeschlagen, auf einer anderen Website und
  tatsächlich erhöht die Zeit um 20%. (25 Sek. /21 Sek)
- BeginTrans/CommitTrans keinen Unterschied gemacht, die auf einer nicht-indizierten Feld, und
  1% schneller auf einem indizierten Feld. (un-indiziert: 11 sec [w/trans] /
  11 Sek., indiziert: 23 sec [w/trans] /25 Sek.) *
- Einzelne SQL-Anweisungen. (86 Sek.)
- Querydef Parameter. (43 sec)
*Korrigierte Ergebnis.

Code für die BeginTrans/CommitTrans-test.
```
Sub CommitTest()
   Dim C As String
   Dim I As Long
   Dim J As Long
   Dim RS As Recordset
   Dim BegTime As Date
   Dim EndTime As Date
   BegTime = Now()
   Set RS = CurrentDb.OpenRecordset("tblTest")
   For J = 1 To 200
      RS.MoveFirst
      DBEngine.Workspaces(0).BeginTrans
      For I = 1 To 5000
         C = Chr(Int(Rnd() * 26 + 66))
         RS.Edit
         RS("coltest") = C
         RS.Update
         RS.MoveNext
      Next I
      DBEngine.Workspaces(0).CommitTrans
   Next J
   EndTime = Now()
   Debug.Print DateDiff("s", BegTime, EndTime)
End Sub
```
- +1 für die Prüfung, aber YMMV. Für meinen speziellen test-Fall-eines DAO-Recordset-update für jede Zeile in einer Tabelle mit 1 Millionen Zeilen -- mit einer Transaktion immer mehr Leistung, aber nur um etwa 17%.
- Danke. Ich eigentlich korrigiert meine Ergebnisse, da ich nicht einen fairen test (versehentlich) mit der BeginTrans/CommitTrans. Immer noch nur 1% schneller auf einem indizierten Feld. Ich stellte den code, den ich oben verwendet. Lassen Sie mich wissen, wenn Sie sehen, warum dein test war so viel schneller.
- Ya ich denke, es kommt darauf an, zu vermeiden, recordsets und queries verwenden, wenn möglich. Egal wie optimieren wir recordsets nicht nahe kommen querydefs.
- Ich bin damit einverstanden. Ich kann nicht glauben, alle Fälle, in denen Sort_Value kann nicht berechnet werden irgendwie innerhalb einer Abfrage, auch wenn er fordert eine außerhalb der Funktion.
InformationsquelleAutor Tom Collins
1

Zwar kann es in einigen Fällen erforderlich sein, das Durchlaufen von Datensatzgruppen, um ein Feld aktualisieren, sollten vermieden werden.

Die vernünftige Sache zu tun, die ist viel effektiver wäre es, schreiben Sie eine SQL update Abfrage.

Wenn Ihre Tabelle ist so groß, Sie müssen vorsichtig sein mit der Wahl Ihrer Indizes, speziell den primary key.

Dann, teilen Sie die Daten basierend auf Ihrer PK, und aktualisieren Sie alle Datensätze in den ersten Satz, dann im zweiten, Dritten...
```
 UPDATE super_big_table
 SET Field_A = some_function_to_make_it_sort_value
 WHERE myPrimaryKey BETWEEN ( left_boundary AND right_boundary )
```
Wiederholen Sie diese (durch code) für alle Bereiche, die Sie gemacht haben in Ihrer Tabelle.

Nun, die Frage ist - kannst du dir eine Access-Funktion, die erstellt die erforderlichen Sort_value?

Beachten Sie, dass, wenn Field_A ist dein Primärschlüssel, dann sollte man es nicht ändern. Sonst, alle Ihre Tabelle neu geordnet werden jedes mal, wenn Sie aktualisiert ein paar Aufzeichnungen, die wäre eine Menge Arbeit für Ihre HD /Prozessor. In diesem Fall sollten Sie eine andere PK, und erstellen Sie einen index für Field_A, nicht PK.

InformationsquelleAutor Clon
0

Zur Verbesserung der Leistung, die Sie verwenden können UpdateBatch Methode der ADODB-Objekt. Aber um diese Funktion zu nutzen, Bedarf es:
1. adOpenStatic cursorType und
2. adLockBatchOptimistic LockType
auf das recordset-Objekt.

Zusätzlich können Sie auch adUseClient CursorLocation haben Last auf dem client anstatt der server während des Betriebs.

Weiter geht, es unterlassen, mit rec.EOF test. Sollten Sie stattdessen die for-Schleife ab 1 to rec.RecordCount

Worth mentioning: Ist es unzuverlässig, zu Lesen rec.RecordCount bis ADODB durchquert hat alle Rekorde. Also Mach MoveLast und MoveFirst zur Gewährleistung der richtigen recordcount.

Verwenden Sie folgenden code als Hinweis:
```
set con = Server.CreateObject("ADODB.Connection")
con.Provider = "Microsoft.Jet.OLEDB.4.0"
con.Open(Server.Mappath("MyShopDB.mdb"))
set rec = Server.CreateObject("ADODB.recordset")
sql = "SELECT * FROM Employees"

rec.CursorLocation = adUseClient
rec.CursorType = adOpenStatic
rec.LockType = adLockBatchOptimistic

rec.Open sql, con

if not rec.EOF then            ' rescue no records situation
    rec.moveLast               ' let it see all records
    rec.moveFirst
end if

cnt = rec.RecordCount          ' avoid reading each time in loop test

if cnt > 0 then
    for i = 1 to cnt
        rec.Fields("FIELD").value = Sort_Value
        '...
        '...
        '...
        rec.MoveNext
    next i
    rec.UpdateBatch
end if

rec.Close
con.Close
```
Es ist jetzt schon mehr als 3 Jahre, wenn ich wechselte von VB zu PHP. Möglicherweise fehlen einige tracks hier. Please note: Ich habe nicht ausgeführt, diesen code noch. Es kann kleinere Probleme geben, doch sollte dies ausreichend sein, für die Anzeige Zweck.

Sie können auch versuchen, um split-Chargen in Fragmente zu sehen, die Auswirkungen auf die performance.

InformationsquelleAutor Izhar Aazmi

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.