Datenfluss-task in SSIS ist sehr langsam im Vergleich zu dem schreiben der sql-Abfrage in SQL Ausführen (task)

Unterschied in der Leistung

Gibt es viele Dinge, die verursachen könnten die Leistung einer "geraden" data flow task und den entsprechenden Task SQL Ausführen.

1. Netzwerk-Latenz. Führen Sie insert into Tabelle a von Tabelle b auf dem gleichen server und die Instanz. In einem Task SQL Ausführen, dass die Arbeit durchgeführt, die ganz auf der gleichen Maschine. Ich könnte ein Paket ausführen auf server B, die Abfragen 1,25 M Zeilen vom server Ein, welche dann gestreamt über das Netzwerk auf server B, Die Daten werden dann gestreamt zurück auf server A für die entsprechenden INSERT-operation. Wenn Sie eine schlechte Netzwerk -, breiten Daten-vor allem binäre Typen, oder einfach die große Entfernung zwischen den Servern (server A ist in den USA, server B in Indien) gibt es eine schlechte Leistung
2. Speicher Hunger. Vorausgesetzt, das Paket wird auf dem gleichen server wie die Ziel - /Quell-Datenbank, kann es immer noch langsam sein, da der Datenflusstask ist eine in-memory-engine. Was bedeutet, alle Daten, die fließen von der Quelle zum Ziel in Erinnerung. Die mehr Speicher SSIS bekommen kann, desto schneller geht es. Jedoch, es wird zu kämpfen haben, das Betriebssystem, memory-Allokationen sowie der SQL-Server selbst. Obwohl SSIS-SQL Server Integration Services, es läuft nicht in der gleichen Speicherbereich wie der SQL Server-Datenbank. Wenn Ihr server mit 10 GB Speicher zugewiesen und das OS nutzt 2 GB und SQL Server hat behauptet, 8GB, gibt es wenig Raum für SSIS zu bedienen. Es kann nicht Fragen, SQL Server, aufgeben, einige seiner Speicher, so wird das OS müssen Seite während rieselt der Daten bewegen sich durch einen verengten Daten-pipeline.
3. Schlampige Ziel. Je nachdem, welche version der SSIS, die Sie verwenden, die Standard-access-Modus für ein OLE DB-Ziel war die "Tabelle oder Sicht." Das war eine schöne Einstellung, um zu versuchen und verhindern, dass ein low-level-lock-Eskalation, um eine Tabelle zu sperren. Dies führt jedoch in der Zeile von qualvollen Zeile einfügt (1.25 M einzigartige insert-Anweisungen gesendet werden). Kontrast, dass mit der set-basierten Ansatz der Execute SQL Tasks EINFÜGEN. Neuere Versionen von SSIS-Standard-Zugriffsmethode für die "Schnelle" version des Ziels. Dies verhält sich viel mehr wie das set-basierte äquivalent und führen zu besserer Leistung.
4. Transformation für OLE DB-Befehl. Es ist ein OLE DB-Ziel und einige Leute verwechseln das mit der Transformation für OLE DB-Befehl. Das sind zwei sehr verschiedene Komponenten mit unterschiedlichen Nutzungen. Die erstere ist eine Ziel und verbraucht alle Daten. Es kann sehr schnell gehen. Letzteres ist immer RBAR. Es wird singleton-Operationen für jeder Zeile, die durch Sie fließt.
5. Debuggen. Es gibt overhead ausführen eines Pakets in BIDS/SSDT. Der Paket-Ausführung bekommt eingewickelt in DTS-Debugging-Host. Das kann dazu führen, eine "nicht unbedeutende" Verlangsamung der Paket-Ausführung. Es gibt nicht viel, der debugger kann über eine SQL Ausführen (Task)-es läuft oder nicht. Ein Datenfluss, es gibt eine Menge von Speicher Sie können prüfen, überwachen, etc, die reduziert die Menge an Speicher zur Verfügung (siehe Punkt 2), als auch nur verlangsamt es nach unten, weil der geordneten prüft es die Durchführung. Erhalten Sie eine genauere Vergleich, führen Sie immer Pakete von der Befehlszeile aus (dtexec.exe /Datei MeinPaket.dtsx) oder planen Sie aus der SQL Server-Agent.

Design-Paket

Es ist nichts falsch mit ein SSIS-Paket, das ist nur Execute SQL Tasks. Wenn das problem ist leicht gelöst, durch das ausführen von Abfragen, dann würde ich darauf verzichten, SSIS vollständig aus und schreiben Sie die entsprechende gespeicherte Prozedur(en) und planen der SQL Server-Agent und fertig.

Vielleicht. Was ich noch mag über die Verwendung von SSIS-auch bei "einfachen" Fällen wie diesem ist, kann es einen konsistenten lieferbar. Das mag nicht viel klingen, aber aus einem Pflege Perspektive, kann es hilfreich sein zu wissen, dass alles, mucking mit den Daten enthalten ist, in diese Quelle kontrolliert SSIS-Pakete. Ich habe nicht zu erinnern oder die Ausbildung der neuen person, die Aufgaben A-C sind "einfache" Sie sind also gespeicherte Prozeduren genannt, die aus einer SQL-Agent-Auftrag. Aufgaben D-J, oder K, sind sogar noch einfacher als dass so es ist einfach "in-line" - Abfragen in der Agent-Aufträge, um Daten zu laden und dann haben wir Pakete für die restlichen Sachen. Außer der Service Broker-Sache und einige web-services, in denen auch die Datenbank aktualisieren. Je älter ich werde und je mehr Orte, die ich bekommen ausgesetzt ist, desto mehr kann ich finden, die Wert auf eine konsistente, wenn auch übertrieben, den Ansatz zur Lösung der Lieferung.

Leistung ist nicht alles, aber die SSIS-team hat setzen Sie den ETL-benchmarks mithilfe des SSIS-also es hat definitiv die Fähigkeit, push-einige Daten in einer beeilen.

Als diese Antwort wächst lange, würde ich einfach lassen, wie es die Vorteile der SSIS und die Daten Fließen über gerade TSQL heimisch sind, out of the box

• Protokollierung
• Fehlerbehandlung
• Konfiguration
• Parallelisierung

Es ist schwer zu schlagen diese für mein Geld.

InformationsquelleAutor billinkc