Umgang mit Fehler-SPARK-5063 spark

Bekomme ich die Fehlermeldung: SPARK-5063 in der Zeile println

val d.foreach{x=> for(i<-0 until x.length)
      println(m.lookup(x(i)))}

d RDD[Array[String]] m ist RDD[(String, String)] . Gibt es eine Möglichkeit zu drucken, wie ich will? oder wie kann ich umwandeln d aus RDD[Array[String]] zu Array[String] ?

Ich denke, man kann es erreichen durch Rundfunk m
können Sie mir sagen, wie Rundfunk, Fernsehen m? ich bin ganz frisch zu entfachen und scala. danke.
stackoverflow.com/questions/17621596/...

InformationsquelleAutor G_cy | 2015-04-23

  1. 14

    SPARK-5063 bezieht sich auf bessere Fehlermeldungen, wenn Sie versuchen, um nest RDD Operationen, die nicht unterstützt wird.

    Ist es ein usability-Problem, nicht um eine funktionelle. Die Ursache ist die Verschachtelung der RDD-Operationen und die Lösung ist zu brechen.

    Hier versuchen wir eine Verknüpfung der dRDD und mRDD. Wenn die Größe des mRDD ist groß, eine rdd.join wäre der empfohlene Weg, ansonsten, wenn mRDD ist klein, also passt in Speicher jeder Vollzieher, die wir sammeln könnten, broadcast-it und auf "map-Seite" beitreten.

    JOIN

    Einen einfachen join würde so gehen:

    val rdd = sc.parallelize(Seq(Array("one","two","three"), Array("four", "five", "six")))
val map = sc.parallelize(Seq("one" -> 1, "two" -> 2, "three" -> 3, "four" -> 4, "five" -> 5, "six"->6))
val flat = rdd.flatMap(_.toSeq).keyBy(x=>x)
val res = flat.join(map).map{case (k,v) => v}

    Wenn wir möchten, zu verwenden broadcast, müssen wir zunächst erfassen Sie den Wert der Auflösung Tabelle lokal um b/c, dass alle Vollzieher. HINWEIS RDD übertragen werden MUSS passen in den Speicher des Treibers sowie jedes Vollziehers.

    Map-side-JOIN mit Broadcast-variable

    val rdd = sc.parallelize(Seq(Array("one","two","three"), Array("four", "five", "six")))
val map = sc.parallelize(Seq("one" -> 1, "two" -> 2, "three" -> 3, "four" -> 4, "five" -> 5, "six"->6)))
val bcTable = sc.broadcast(map.collectAsMap)
val res2 = rdd.flatMap{arr => arr.map(elem => (elem, bcTable.value(elem)))}
    die beiden Strategie geben, die Fehlermeldung. der erste gibt den nicht gefundenen Wert: keyBy und missing arguments for method identity in object Predef; follow this method with '_' if you want to treat it as a partially applied function .Das zweite gibt den Typ mismatch, elem sollte Zeichenkette, aber es ist Array[String] jetzt.
    Rechts - einige Probleme, die von der Eingabe direkt auf diese Schnittstelle. Hier gehen Sie...
    hier ist das problem. Der erste, der an einem arbeitet. Aber die zweite nicht. Es gebe Fehlermeldung java.util.NoSuchElementException: key not found: null wenn ich versuche zu tun foreach(println). Aber ich kann das Ergebnis mit der ersten Methode, so ist es sollte in der Lage sein zu finden die Schlüssel.
    Getestet habe ich es auf der Funke-shell - was ist das Problem? Zumindest kommst du auf die Idee?
    Bekomme ich die Idee. und ein wenig verwirrt mit den broadcast-Konzept.

    InformationsquelleAutor maasg

  2. -1

    Diese RDD fehlt ein SparkContext. Es könnte in folgenden Fällen passieren:

    RDD Transformationen und Aktionen sind NICHT aufgerufen, durch den Fahrer,

    aber in anderen
    Transformationen; zum Beispiel rdd1.map(x => rdd2.values.count() * x) ist ungültig
    da die Werte der transformation und count Aktion kann nicht ausgeführt werden, innerhalb der
    rdd1.map transformation

    InformationsquelleAutor Naveen Budda

Schreibe einen Kommentar