Wie partition RDD durch Schlüssel in der Funke?

Gegeben, dass die HashPartitioner docs sagen:

[HashPartitioner] implementiert eine hash-basierte Partitionierung mit Java
Objekt.hashCode.

Sagen, ich will die partition DeviceData durch seine kind.

case class DeviceData(kind: String, time: Long, data: String)

Ist es richtig zu partition eine RDD[DeviceData] durch überschreiben der deviceData.hashCode() Methode, und verwenden Sie nur den hashcode von kind?

Aber angesichts der Tatsache, dass HashPartitioner nimmt eine Reihe von Partitionen-parameter bin ich verwirrt, ob ich wissen muss, um die Zahl der Arten im Voraus und was passiert, wenn es mehr Arten als Partitionen?

Ist es korrekt, dass wenn ich Schreibe partitioniert Daten auf der Festplatte erhalten bleiben partitioniert, wenn Sie Lesen?

Mein Ziel ist zu nennen, 

  deviceDataRdd.foreachPartition(d: Iterator[DeviceData] => ...)

Haben und nur DeviceData's von der gleichen kind Wert im iterator.

InformationsquelleAutor BAR | 2015-09-12
  1. 8

    Wie über nur tun, eine groupByKey mit kind. Oder ein anderes PairRDDFunctions Methode.

    Sie machen es scheint mir, dass Sie nicht wirklich über die Partitionierung, nur, dass Sie alle von einer bestimmten Art in einem verarbeitungsablauf?

    Die paar Funktionen, die dies ermöglichen:

    rdd.keyBy(_.kind).partitionBy(new HashPartitioner(PARTITIONS))
   .foreachPartition(...)

    Allerdings können Sie wahrscheinlich ein wenig sicherer mit so etwas wie:

    rdd.keyBy(_.kind).reduceByKey(....)

    oder mapValues oder eine Reihe von das andere paar Funktionen, die gewährleisten, erhalten Sie die Stücke als ganzes

    InformationsquelleAutor Justin Pihony
  2. 7

    Ist es richtig zu partition ein RDD[DeviceData] durch überschreiben der deviceData.hashCode () - Methode, und verwenden Sie nur den hashcode der Art?

    Wäre es nicht. Wenn Sie an der Java - Object.hashCode Dokumentation finden Sie folgende Informationen zum Allgemeinen Vertrag für die hashCode:

    Ob zwei Objekte gleich sind, die gemäß der equals(Object) - Methode, dann Aufruf der hashCode-Methode für jedes der beiden Objekte zu produzieren, die gleiche ganze Zahl als Ergebnis.

    So, es sei denn, Vorstellung der Gleichheit basiert rein auf einem kind Gerät passt auf Ihren Fall, und ich bezweifle ernsthaft, tut es, basteln mit HashCode um die gewünschte Partitionierung ist eine schlechte Idee. Im Allgemeinen Fall sollten Sie implementieren Sie Ihre eigenen Partitionierer aber hier ist es nicht nötig.

    Da, ohne spezielle Szenarien in SQL und GraphX, partitionBy ist nur gültig auf PairRDD macht es Sinn, zu erstellen RDD[(String, DeviceData)] und verwenden nur HashPartitioner

    deviceDataRdd.map(dev => (dev.kind, dev)).partitionBy(new HashPartitioner(n))

    Nur im Hinterkopf behalten, dass in einer situation, wo kind hat eine niedrige Kardinalität oder stark schiefe Verteilung Verwendung für die Partitionierung nicht die optimale Lösung.

    • Guter Punkt. Die Objekte sollten nicht gleich bc, Sie haben die gleiche Art.
    • Nein. Es ist ein logischer Trugschluss, die hier ->", wenn die Vorstellung der Gleichheit basiert rein auf eine Art von Gerät passt auf Ihren Fall, und ich bezweifle ernsthaft, tut es, basteln mit HashCode um die gewünschte Partitionierung ist eine schlechte Idee" HashCode basiert auf Art doesnt bedeuten, dass die Gleichheit basiert rein auf Art. Nur, dass falls 2 Platten sind Gleich, Sie haben dieselbe Art, und das ist einfach zufrieden.
    InformationsquelleAutor zero323
Schreibe einen Kommentar