Tag: apache-spark

Immer die folgende Fehlermeldung mit Bezug auf den container, während die Abgabe einer spark-Applikation zu GARN. Die HADOOP(2.7.3)/SPARK (2.1) - Umgebung ausgeführt wird, ein pseudo-distributed mode in einem single-node-cluster. Die Anwendung funktioniert perfekt, wenn gemacht, um die

Habe ich dieses: val tokenFreq = reverseKey.countByKey //tokenFreq: scala.collection.Map[String,Long] = Map(ABIGAIL -> 3,... und ich wollen speichern Sie die tokenFreq das Ergebnis in eine text-Datei. Habe ich versucht zu verwenden saveAsTextFile, aber er sagt: Fehler: Wert saveAsTextFile

Gibt es Auswirkungen auf die Leistung, wenn ich collectAsMap auf meine RDD statt rdd.sammeln().toMap ? Ich habe einen Schlüssel-Wert rdd und ich konvertieren möchten, um HashMap so weit ich weiß, collect() nicht effizient auf große Datensätze, wie

Ich bin mit pySpark zu zählen, Elemente in eine Token-RDD. Dies ist eines der Elemente: ('b00004tkvy', ['noah', 'ark', 'activity', 'center', 'jewel', 'case', 'ages', '3', '8', 'victory', 'multimedia']) Muss ich die Anzahl der Elemente in der voll RDD.

Was ist der beste Weg, um Schlüssel-Wert-Paare aus einem HDFS-Sequenz-Datei? Der Grund, warum ich Frage, ich habe zum Sortieren einer Sequenz-Datei. Die sortByKey Methode ist nicht verfügbar, es sei denn, Ihr RDD ist in der form von

Ich bin laden Sie mehrere Dateien in eine JavaRDD mit JavaRDD<String> allLines = sc.textFile(hdfs://path/*.csv); Nach dem laden der Dateien, die ich ändern jeder Datensatz und wollen, um Sie zu speichern. Allerdings muss ich auch speichern Sie die

In einem DataFrame-Objekt in Apache Spark (ich bin mit dem Scala-Schnittstelle), wenn ich mich Durchlaufen der Zeilen-Objekte, gibt es eine Möglichkeit, zu extrahieren Struktur der Werte name? Ich bin mit dem folgenden code zu extrahieren, die mit

Hallo, ich habe eine Menge von Bildern (untere Millionen), die ich tun müssen, Einstufung auf. Ich bin mit Funken und es geschafft zu Lesen, in der alle Bilder im format von (filename1, content1), (filename2, content2) ... in

Ich Plane, verwenden Sie die Lineare Regression in der Funke. Um loszulegen, ich habe das Beispiel aus der offiziellen Dokumentation (die finden Sie hier) Fand ich auch diese Frage auf stackoverflow, die im wesentlichen die gleiche Frage

Ich bin ganz neu zu entfachen, und ich bin versucht zu implementieren iterative Algorithmus für clustering (expectation-maximization) mit Schwerpunkt vertreten durch Markov-Modell. Also muss ich tun, Iterationen und schließt. Einem problem, das ich erlebe ist, dass die

Ich versuche zu sparen das Spark-streaming-Ausgang zu einer Datei in HDFS. Gerade jetzt, es ist nicht speichern Sie eine beliebige Datei. Hier ist mein code : StreamingExamples.setStreamingLogLevels(); SparkConf sparkConf = new SparkConf().setAppName("MyTestCOunt"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf,

Habe ich über das glom() Methode auf RDD. Gemäß der Dokumentation Rückkehr eine RDD erstellt durch Koaleszenz alle Elemente innerhalb jeder partition in ein array Tut glom schieben Sie die Daten auf die Partitionen, oder kommt es

Ich habe eine pyspark Daten-frame whih hat eine Spalte mit strings. Ich will split in dieser Spalte in Worte Code: >>> sentenceData = sqlContext.read.load('file://sample1.csv', format='com.databricks.spark.csv', header='true', inferSchema='true') >>> sentenceData.show(truncate=False) +---+---------------------------+ |key|desc | +---+---------------------------+ |1 |Virat is good

Verwendung von Spark ML Transformatoren kam ich auf eine DataFrame wo jede Zeile sieht wie folgt aus: Row(object_id, text_features_vector, color_features, type_features) wo text_features ist eine sparse-Vektor der term-GEWICHTE color_features ist eine kleine 20-element (one-hot-encoder) Dichte-Vektor, der die

Wenn ich erhöhen Sie die Modell-Größe meiner word2vec Modell ich fange an, diese Art von Ausnahme in meinen melden: org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 6 at org.apache.spark.MapOutputTracker$$anonfun$org$apache$spark$MapOutputTracker$$convertMapStatuses$2.apply(MapOutputTracker.scala:542) at org.apache.spark.MapOutputTracker$$anonfun$org$apache$spark$MapOutputTracker$$convertMapStatuses$2.apply(MapOutputTracker.scala:538) at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:772) at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)

Habe ich das heutige Datum als string. Ich brauche, um zu verketten, es mit einem Zeit-Wert, der vorhanden ist, wie eine Spalte in einem dataframe. Wenn ich versuche, bekomme ich String Index out of bounds Ausnahme. Mein

Wir haben lange läuft EMR-cluster, in dem wir unterbreiten Spark-jobs. Ich sehe, dass im Laufe der Zeit die HDFS füllt sich mit der Spark application-logs, die manchmal macht ein host ungesund wie angezeigt von EMR/Garn (?). Läuft

Habe ich zwei RDDS : rdd1 [String,String,String]: Name, Address, Zipcode rdd2 [String,String,String]: Name, Address, Landmark Ich versuche zu join diese 2 RDDs mit der Funktion : rdd1.join(rdd2) Aber ich erhalte eine Fehlermeldung : error: value fullOuterJoin is

Beim starten meines spark-shell ich hatte ein paar WARN Nachrichten. Aber ich kann Sie nicht verstehen. Gibt es keine wichtigen Probleme, die ich beachten sollte? Oder gibt es eine Konfiguration, die ich verpasst? Oder diese WARN Meldungen

Muss ich bekommen die Nummer der Woche des Jahres from pyspark.sql.functions import weekofyear dt =sqlContext.createDataFrame([('2015-04-08',)], ['a']) dt = dt.weekofyear(dt.a).alias('week') dt.show() Aber bekam ich diese Fehlermeldung:AttributeError: 'DataFrame' - Objekt hat kein Attribut 'weekofyear' Irgendeine Idee? Dank InformationsquelleAutor newleaf

Ich bin mit pyspark 2.0 erstellen Sie ein DataFrame-Objekt durch das Lesen einer csv-Verwendung: data = spark.read.csv('data.csv', header=True) Ich finde die Art der Daten, indem type(data) Das Ergebnis ist pyspark.sql.dataframe.DataFrame Ich versuche zu konvertieren, die einige Spalten

Ich bin ein Neuling auf Spark (Meine version ist die 1.6.0) und jetzt versuche ich das problem zu lösen, die unten gegeben werden: Angenommen, es gibt zwei Quellcode-Dateien: Die erste (Eine für Kurzschluß) ist eine große, eine

Ich gerade aktualisiert meine spark-Projekt von 2.2.1 auf 2.3.0 zu finden, die Versionierung Ausnahme unten. Ich habe Abhängigkeiten auf der Funke-cassandra-Anschluss.2.0.7 und cassandra-driver-Kern.3.4.0 von datastax, die wiederum Abhängigkeiten auf netty 4.x in der Erwägung, dass spark 2.3.0

Habe ich zwei dataframes df1 und df2. Beide haben das folgende schema: |-- ts: long (nullable = true) |-- id: integer (nullable = true) |-- managers: array (nullable = true) | |-- element: string (containsNull = true)

Ich habe eine dataframe df von columns ("id", "current_date", "days") und ich bin versucht hinzuzufügen, die die "days" zu "current_date" und erstellen Sie eine neue dataframe mit neuen column genannt "new_date" mit spark-scala-Funktion date_add() val newDF =