MySQL : abrufen einer großen Auswahl durch chunks

Ich haben, wählen Sie mit dann

70 Millionen Zeilen

Möchte ich zum speichern der ausgewählten Daten in eine große csv-Datei auf win2012 R2

Q: Wie ermittelt werden die Daten aus der MySQL von chanks für bessere Leistung ?

weil wenn ich Versuch zu speichern eine der großen wählen, ich habe

out of memory-Fehler

InformationsquelleAutor Toren | 2015-12-09

29

Sie könnten versuchen, mit der LIMIT Funktion. Wenn Sie dies tun:
```
SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000
```
Bekommst du die ersten 1.000 Feature-Zeilen. Die ersten LIMIT Wert (0) definiert die Start-Zeile in der Ergebnismenge. Es ist null-indiziert, so dass die 0 bedeutet "der ersten Reihe". Die zweite LIMIT Wert ist die maximale Anzahl von Zeilen abrufen. Um die nächsten paar 1000, dies zu tun:
```
SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000
SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000
```
Und so weiter. Wenn die SELECT gibt keine Zeilen zurück, sind Sie fertig.

Dies ist nicht genug auf seine eigene, obwohl, weil jegliche änderung an den Tisch, während Sie die Bearbeitung Ihres 1K Zeilen in einer Zeit, werfen Sie die Bestellung. Fixieren der Ergebnisse in der Zeit, starten Sie, indem Sie eine Abfrage, die Ergebnisse in eine temporäre Tabelle:
```
CREATE TEMPORARY TABLE MyChunkedResult AS (
  SELECT *
  FROM MyTable
  ORDER BY whatever
);
```
Randbemerkung: es ist eine gute Idee, um sicherzustellen, dass die temporäre Tabelle nicht vorhanden vorher:
```
DROP TEMPORARY TABLE IF EXISTS MyChunkedResult;
```
Jedenfalls, sobald der temporären Tabelle vorhanden ist, ziehen Sie die Zeile Stücke von dort:
```
SELECT * FROM MyChunkedResult LIMIT 0, 1000;
SELECT * FROM MyChunkedResult LIMIT 1000,1000;
SELECT * FROM MyChunkedResult LIMIT 2000,1000;
.. and so on.
```
Werde ich überlasse es Ihnen, erstellen Sie die Logik, die berechnen den Grenzwert nach jedem Stück, und überprüfen Sie für das Ende der Ergebnisse. Ich würde auch empfehlen viel größeren Blöcken als 1.000 Datensätze; es ist nur eine Zahl, die ich rausgesucht der Luft.

Schließlich, es ist eine gute form zum löschen der temporären Tabelle, wenn Sie fertig sind:
```
DROP TEMPORARY TABLE MyChunkedResult;
```
- Wie man es in einer Schleife?
- im Grunde hängt es davon ab, welche Art von Technologie, die Sie sind gonna Planung zu nutzen. So können Sie es direkt in MySQL mit der CREATE procedure Oder andere gute Möglichkeit wäre, es zu tun, in php und python bei einer while-Zyklus und einen spezifischen chunk-Größe für die Daten, die Sie auswählen möchten. Mein Vorschlag ist, verwenden Sie pipe und stream mit Knoten was ist die Wert-Methode.
- Diese Methode ist unbrauchbar für große Tabelle, nur winzige Tische gut funktionieren wie die.
- Ich Suche für es zu viel. Ich denke, dies ist die beste einfache Antwort.
- Ich denke, Sie hätte zu verengen die SELECT-Anweisung in diesem Fall. SELECT * FROM table where item="something" LIMIT 0,1000;
- Mit OFFSET ist auch nicht nutzbar in großen Tabellen. Ich habe Monate investiert, solche Aufgaben und die einzige Lösung ist, um eine primäre numerische Taste können Sie manuell durch gehen. "WHERE id ZWISCHEN a UND a+10000" a+=10000; Das Problem ist, dass mysql ist viel zu dumm, um zu ermöglichen, solche Aufgaben richtig gemacht. Es erinnert sich nicht an irgendwelche internen Zeiger so können Sie nicht weitermachen, wo Sie aufgehört haben.
InformationsquelleAutor Ed Gibbs
0

Den LIMIT OFFSET Ansatz verlangsamt die Abfrage nach unten, wenn eine der Größe der Daten ist sehr groß. Ein weiterer Ansatz ist die Verwendung von etwas namens Keyset pagination. Es benötigt eine eindeutige id in deiner Abfrage, die Sie verwenden können, wie eine Lesezeichen-zeigen Sie die Letzte Zeile der vorherigen Seite. Auf der nächsten Seite geholt mit dem letzten Lesezeichen. Zum Beispiel:
```
SELECT user_id, name, date_created
FROM users
WHERE user_id > 0
ORDER BY user_id ASC
LIMIT 10 000;
```
Wenn das resultset oben gibt die Letzte Zeile mit user_id als 12345 Sie können es verwenden, um abrufen der nächsten Seite wie folgt:
```
SELECT user_id, name, date_created
FROM users
WHERE user_id > 12345
ORDER BY user_id ASC
LIMIT 10 000;
```
Weitere details, können Sie einen Blick auf diese Seite.

InformationsquelleAutor prafi

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.