Wie weit ist die Einfuhr von meiner MySQL-dump?

In meinem Unternehmen wir gelegentlich import großer Kunden-MySQL-Datenbanken (40GB+), die über einen Tag zu laden, auf unserem Entwickler-Maschinen. Während wir akzeptieren diese Last Zeit, da es im hintergrund durchgeführt, fehlt uns jeder Feste Fähigkeit zu schätzen, wenn die Importe abgeschlossen. Dies blockiert uns von scheduling eine angemessene Zeit, um zu handeln. Es ist wie warten auf den Kabel-Mann zu zeigen.

Genau jetzt meine beste Strategie ist eine schnelle show tables Befehl, um zu sehen, welcher Prozentsatz der Tabellen geladen wurden. Wie jedoch aus Tabelle Größen variieren sehr stark sowohl untereinander als auch mit einzelnen Kunden, dies ist nicht auch nur annähernd zuverlässig.

Hat jemand eine gute Technik oder tool kann verwendet werden, um eine zuverlässige Prozentsatz von, wie weit entlang einer MySQL-import ist?

InformationsquelleAutor Technetium | 2012-05-25
  1. 15

    Können Sie es mit der pv Befehl durch Leitungen, die Müllkippe zu mysql.

    pv -i 1 -p -t -e /path/to/sql/dump | mysql -u USERNAME -p DATABASE_NAME

    Es zeigt Ihnen ein Fortschrittsbalken während der import-Fortschritt basiert auf der IO-Durchsatz. (So gesehen hier.)

    • JA! Perfekt! Das ist genau das was ich gesucht habe! Wort der Vorsicht für Windows-Benutzer, die stolpern hier: Cygwin nicht mit einem Modul für pv im GUI-installer, also habe ich die Anweisungen hier gefunden: stackoverflow.com/q/504204
    InformationsquelleAutor Overv
  2. 1

    HeidiSql wird Ihnen sagen, wie viele GB müssen geladen bisher, das ist ziemlich hilfreich, wenn Sie versuchen, um herauszufinden, wie viel noch geladen werden muss.

    InformationsquelleAutor Eric98118
  3. 1

    Können Sie auch eine show processlist auf die Quell-Datenbank, um zu sehen, wie weit (per auto-increment-ID) in eine bestimmte Tabelle der export. Eric macht einen guten Punkt in diesem monitor können Sie die Größe der Datenbank, dem data-Verzeichnis als im Vergleich zu der Größe der Quelle.

    Etwas, was ich gefunden habe, hilfreich bei der Beschleunigung der dumps/importiert, ist, es zu tun, indem Sie Tabellen, und führen Sie dann mehrere mysqldumps gleichzeitig im wesentlichen multi-threading Ihren Prozess. Ich in der Regel haben über 4 separate dump/stellt zu einer Zeit. Die optimale Menge hängt von deiner hardware und disk-Funktionen.

    Ein sehr einfaches Beispiel, um Ihnen eine Idee:

    mysqldump dbname table1 table2 table3 | mysql -h host &
mysqldump dbname table4 table5 table6 | mysql -h host &
mysqldump dbname table7 table8 table9 | mysql -h host &
    • Dieser multi-threaded-Ansatz ist faszinierend. Etwa wie groß sind die Reduktionen der gesamten Einfuhr Zeit? Ich dachte mir, das Laufwerk war schon I/O-bound (diese sind nicht auf SSDs), so dass ich nie wirklich betrachtet dies als eine option.
    • Es hängt auf Ihrer Festplatte. MySQL wird nur mit einem einzigen Prozess auf seine eigene, so, wenn Sie über mehrere Prozessoren verfügen, die Sie verwenden können, mehr Kerne auf diese Weise. Läuft top und sehen, ob die mysql-thread hat es die CPU-Auslastung bei 100%. Dann sind Sie wahrscheinlich CPU-gebunden. Es dauert einige Experimente zu finden Ihre sweet-spot, aber ich konnte erraten, dass die 2-Prozess wird etwa 1/2 Ihrer Zeit.
    InformationsquelleAutor sreimer
Schreibe einen Kommentar