Tag: partitioning

Gibt es eine Möglichkeit, um die Anzahl der Elemente in einem spark-RDD-partition, da die partition-ID? Ohne das Scannen der gesamte partition. Etwas wie dieses: Rdd.partitions().get(index).size() Außer ich sehe nicht, wie eine API für die Funke. Irgendwelche Ideen?

In einem aktuellen Projekt der "lead" - Entwickler entwickelt ein Datenbank-schema, in dem "größere" Tabellen aufgeteilt werden auf zwei getrennte Datenbanken, die mit Blick auf die Haupt-Datenbank, die union würde die zwei separaten Datenbank-Tabellen zusammen. Die Hauptdatenbank

Ich versuche zu tun, eine 10-fold-cross-validation für einige glm-Modelle, die ich gebaut habe früher in R. ich bin ein wenig verwirrt über die cv.glm() Funktion in der boot Paket, obwohl ich gelesen habe, viel Hilfe-Dateien. Wenn ich

Ich versuche zu sparen DataFrame auf HDFS in Parkett-format mit DataFrameWriter, aufgeteilt durch drei Spalte mit Werten wie diesen: dataFrame.write.mode(SaveMode.Overwrite).partitionBy("eventdate", "hour", "processtime").parquet(path) Wie bereits in diese Frage, partitionBy wird, löschen Sie die vollständigen bestehende Hierarchie von Partitionen

Ich versuche, die partition Daten, die ich in R, 2/3 zum training und 1/3 zum testen. Ich habe eine Kategorie, variable und sieben numerischen Variablen. Jede Beobachtung ist klassifiziert als entweder A, B, C, oder D. Einfachheitshalber

Wollte ich mit parted für scripted partitionning etwa so : parted -a optimal /dev/sda mklabel gpt mkpart primary ext4 1 -1 Aber es beschwert sich über die -1 nicht als eine anerkannte option. Immer noch die gleiche

Ich versuche zu verstehen, wie die Partitionierung in Apache Spark. Könnt Ihr bitte helfen? Hier ist das Szenario: ein master-und zwei-Knoten mit 1 Kern jeder eine Datei count.txt von einer Größe von 10 MB Wie viele Partitionen

Lese ich bis auf die Dokumentation der HashPartitioner. Leider nichts wurde viel erklärt, außer für die API-Aufrufe. Ich bin unter der Annahme, dass HashPartitioner Partitionen verteilt, basierend auf dem Hashwert des keys. Zum Beispiel, wenn meine Daten

Ich habe ein problem, wo ich brauche, zu laden, eine Menge von Daten (5+ Milliarden Zeilen) in eine Datenbank sehr schnell (im Idealfall weniger als eine 30 min aber schneller ist besser), und ich war vor kurzem

Ich weiß, dass horizontale Partitionierung...können Sie viele Tabellen. Wie können Sie dies tun, mit mehreren Servern? Dies ermöglicht Mysql skalieren. Erstellen X Tabellen auf X-Servern? Wer darauf zu erklären, oder eine gute Anfänger-tutorial (Schritt für Schritt), die

Einen kurzen Rückblick, was passiert ist. Ich arbeite mit 71 Millionen Datensätze (nicht viel im Vergleich zu Milliarden von Datensätzen von anderen verarbeiteten). Auf einem anderen threadschlug jemand vor, dass das aktuelle setup der cluster ist nicht

Ich bin kämpfen, um zu verstehen, die dynamische Programmierung Lösung der linearen Partitionierung problem. Ich lese das Die Algorithmus-Design-Handbuch und das problem ist beschrieben im Abschnitt 8.5. Ich habe den Teil Lesen, der unzählige Male, aber ich

Haben wir eine InnoDB-Datenbank, die ist über 70 GB, und wir erwarten, dass es zu wachsen, um mehrere hundert GB in den nächsten 2 bis 3 Jahren. Über 60 % der Daten gehören zu einer einzigen Tabelle.