CodeIgniter großen Stapel legen

Ich bin derzeit erstellen Sie eine batch-Skript, dass Anrufe auf mehrere PHP-Skripte (die Nutzung von CodeIgniter) zu ziehen, die Daten aus einer DB, die Arbeit mit den Ergebnissen und legen Sie das Ergebnis in einer anderen DB. Um zu beginnen, ich weiß das ist vielleicht nicht das beste Werkzeug für den job, aber Sie haben zu tun, jetzt.
Aber zurück zum Thema, das script läuft gut und die performance ist ziemlich gut, außer für eine Methode. Es zieht Daten aus der ersten DB und fügt es in die zweite DB. Es ist eine Tabelle, die hat etwa 20 Spalten und 35000 Zeilen.

Ich bin mit einem einfachen $this->db->insert_batch('tablename', $insertdata); - einfügen-Funktion diese Ergebnisse, aber irgendwie ist das Skript dauert etwa 15 Minuten zu führen...

Frage ist, wie, dieses Verfahren zu optimieren?

Vielen Dank im Voraus

BEARBEITEN

Hier ist die Abfrage, die ich verwenden, um die Tabelle zu erstellen, die auf die zweite DB, die DB, die die Daten wird eingefügt.

CREATE TABLE IF NOT EXISTS `invoices` (
    `invoice_number` varchar(40) NOT NULL,
    `shippinglist_number` varchar(40) DEFAULT NULL,
    `shippinglist_line` varchar(255) DEFAULT NULL,
    `customer_id` varchar(5) NOT NULL,
    `deptor` varchar(5) NOT NULL,
    `vat_number` int(255) DEFAULT NULL,
    `invoice_date` date NOT NULL,
    `expire_date` date NULL DEFAULT NULL,
    `currency_code` varchar(10) NOT NULL,
    `subtotal` decimal(19,4) NOT NULL,
    `vat` decimal(19,4) NOT NULL,
    `total` decimal(19,4) NOT NULL,
    `qty` int(10) NOT NULL,
    `partcode` varchar(255) NOT NULL,
    `description` text,
    `price` decimal(19,4) NOT NULL,
    `pieces_per` int(10) NOT NULL,
    `article_customer` varchar(255) DEFAULT NULL,
    `reference_customer` varchar(255) DEFAULT NULL,
    `sales_line_1` text,
    `sales_line_2` text,
    `sales_line_3` text,
    `memo` text,
    KEY `invoice_number` (`invoice_number`,`customer_id`,`deptor`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;

Und die Abfrage ist ein ganz normaler insert -, aber die 35000 Zeilen gehackt in 100 Zeile setzt.

Bitte posten Sie Ihre Abfrage und die Tabelle schema.
Wie viele Indizes und Schlüssel werden erstellt auf Ihrem Tisch? Es sollte nicht so viel Zeit?

InformationsquelleAutor Crinsane | 2012-07-11

5

Versuchen, diese
```
//some $datas

$this->db->trans_start();

$_datas = array_chunk($datas, 300);

foreach ($_datas as $key => $data) {
    $this->db->insert_batch('table', $data);
}

$this->db->trans_complete();
```
split-array. 300, 300, 300 .... (mysql empfehlen zum einfügen von kleinen Daten). und insert_batch! und jeweils 300 Daten halten Transaktion. das ist alles. Sorry, ich bin nicht gut in Englisch.
- Im Allgemeinen ist es am besten, um mindestens eine minimale Erklärung, warum der code sollte so wie du gepostet.
- Sorry, ich bin nicht gut in Englisch. Aber ich denke dieser code ist klar. Sie splitten, array. 300, 300, 300 .... (mysql empfehlen zum einfügen von kleinen Daten). und insert_batch! und jeweils 300 Daten halten Transaktion. das ist alles
- Es ist nicht zu unübersichtlich ist was der code funktioniert, aber warum Sie tut es auf genau diese Weise ist nicht annähernd so offensichtlich. (Warum 300? Ist array_chunck die Art, wie es geschrieben, oder war es ein Tippfehler? Was passiert, wenn man das chunking? Und so weiter.) Und die Antworten sind wertvoll, vor allem weil Sie erklären mehr als nur der unmittelbare Kontext.
- Die Frage war, wie, dieses Verfahren zu optimieren. Ich bin nicht gut in Englisch, also ich denke, die Frage ist, wie safety-insert-batch-Daten. Ich hatte es gesucht, und ich finde, diese Frage. Und fix meinen code und lade meine Antwort. Sorry, mein Fehler.
InformationsquelleAutor 김동기
2

Transaktionen verwenden - 1-commit ist immer schneller als 350 verpflichtet.

Edit:

Grundsätzlich müssen Sie Folgendes tun:
```
//Fetch (and transform, I suppose) data from Sybase
//...

$this->db->trans_start();

//Put your $this->db->insert_batch() calls here

$this->db->trans_commit();
```
- Lesen in dass. Aber weiß nicht, wenn eine der Datenbanken (sybase) unterstützt, die...
- Von dem, was ich verstehe - du bist nur das abrufen von Daten aus Sybase. Transaktionen sind nur dann nützlich, mit schreiben-Typ Abfragen, so Sybase nicht betreffen.
- Okay, gut, wie gesagt, nicht wirklich wissen, zu viel über Transaktionen, so wird google ein bisschen 😉
InformationsquelleAutor Narf
0

Versuchen Sie es mit
```
$x = $this->db->num_rows();
for($i=0;$i<$x;$i=$i+30)
    {
    $this->db//query stuff
    $this->db->limit($i);
    $other->db->//insert stuff
    }
```
Dass die Art, wie Sie es Zeile um Zeile, und Sie sind nicht abhängig von einer großen sql-Abfrage.
So könnte man neu starten, whenver Sie wollte, wenn einige Fehler oder timeout aufgetreten waren.

Sind die Datenbanken auf dem gleichen server? Dann könnten Sie einfach eine Abfrage verwenden, kopieren Sie die Daten mit einem select aus der anderen Datenbank(wenn der gleiche Benutzer hat Zugriff auf beide)
- Datenbanken sind nicht auf dem gleichen server, und ein server unterstützt keine Grenze, also kann ich nicht begrenzen, die select-Abfrage, aber die codeigniter insert_batch Funktion zerlegt die Abfrage in Chargen von 100 selbst, so ist es ein bisschen zu tun, was Sie sagen.
- Gut, 15 Minuten ist dann was können Sie erwarten mit 35000 Zeilen wählen Sie laufen an einem Ende, und einem Einsatz am anderen Ende. Der einzige Weg, Sie könnten zu optimieren ist, um zu sehen ob die Werte sich geändert haben/denken Sie an die Letzte index, und nur zu aktualisieren, die neuere Felder, wurden in die Datenbank eingefügt. Aber das funktioniert nur, wenn das kein backup. Wenn es für ein backup müssen Sie die gesamte Tabelle mit all Ihren Inhalt. Vielleicht eine schnellere Netzwerk-Verbindung und mehr Rechenleistung zugewiesen php & sql auf dem server, die Sie ausführen?
InformationsquelleAutor Tschallacka
0

Dies ist eine alte post, aber für diejenigen, die hier gelandet bei der Suche nach einer Antwort auf diese vielleicht dieser link kann Ihnen helfen.

$this->db->save_queries = FALSE;

http://greeneggmedia.com/blog/entry/undocumented-codeigniter

Im hintergrund CI versuchen, speichern von Abfragen, die für die Profilerstellung, wenn Sie diese Funktion deaktivieren, können Sie gewinnen viel Zeit.

Wenn Sie nicht wie diese Antwort bitte nicht downvote. wurde nur versucht zu helfen.

InformationsquelleAutor Rajneesh Kumar Gobin

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.