Tag: apache-spark

Ich versuche zu verbinden Spark mit amazon Redshift, aber ich bin immer diese Fehlermeldung : Mein code ist wie folgt : from pyspark.sql import SQLContext from pyspark import SparkContext sc = SparkContext(appName="Connect Spark with Redshift") sql_context =

Ich würde gerne eine Lesen .csv-Datei mit Spark und ordnen Sie die Spalten mit passenden Typen. val conf = new SparkConf() .setMaster("local[8]") .setAppName("Name") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) val customSchema = StructType(Array(

Mache ich meine ersten Schritte auf Spark (Python) und ich bin zu kämpfen, mit der ein iterator innerhalb einer groupByKey(). Ich bin nicht in der Lage, um die Summe der Werte: Mein code sieht wie folgt aus:

Ist die sparklyr - R-Paket in der Lage, eine Verbindung zu GARN verwaltete hadoop-Cluster? Dies scheint nicht dokumentiert werden, in dem cluster-deployment Dokumentation. Mit der SparkR - Paket, die Schiffe mit Spark ist es möglich, durch tun:

Gescheitert sind Aufgaben automatisch erneut in Apache Spark auf demselben oder einem anderen Vollstrecker? Fehlgeschlagene Aufgaben Zündkerzen sind neu, oder wenn Sie haben, überprüfen Sie, verwies Sie neu aus dem checkpoint, der Papier) geht weiter ins detail

Ich habe Daten in einer Parkett-Datei, die hat 2 Felder: object_id: String und alpha: Map<>. Einlesen in einen Daten-frame in sparkSQL und das schema sieht wie folgt aus: scala> alphaDF.printSchema() root |-- object_id: string (nullable = true)

Ich bin erstellen Sie ein neues DataFrame mit einer Handvoll von Datensätzen aus einer Beitreten. val joined_df = first_df.join(second_df, first_df.col("key") === second_df.col("key") && second_df.col("key").isNull, "left_outer") joined_df.repartition(1) joined_df.cache() joined_df.count() Alles ist schnell (unter einer Sekunde), außer die count-Methode.

Meiner Daten sieht wie folgt aus: +----------+-------------+-------+--------------------+--------------+---+ |purch_date| purch_class|tot_amt| serv-provider|purch_location| id| +----------+-------------+-------+--------------------+--------------+---+ |03/11/2017|Uncategorized| -17.53| HOVER | | 0| |02/11/2017| Groceries| -70.05|1774 MAC'S CONVEN...| BRAMPTON | 1| |31/10/2017|Gasoline/Fuel| -20| ESSO | | 2| |31/10/2017| Travel| -9|TORONTO PARKING A...|

Erstellte ich eine Parkett-Struktur aus einer csv-Datei mit spark: Dataset<Row> df = park.read().format("com.databricks.spark.csv").option("inferSchema", "true") .option("header", "true").load("sample.csv"); df.write().parquet("sample.parquet"); Bin ich beim Lesen des Parkett-Struktur, und ich versuche, zum transformieren der Daten in einem dataset: Dataset<org.apache.spark.sql.Row> df = spark.read().parquet("sample.parquet");

Ich habe gesehen, verschiedene Zündkerzen-und avro-Fragen (einschließlich Wie kann ich laden, Avro in der Funke mit dem schema an Bord der Avro Datei(en)?), aber keine der Lösungen funktioniert bei mir mit folgenden avro Datei: http://www.4shared.com/file/SxnYcdgJce/sample.html Wenn ich

So, Funke hat die Datei spark-defaults.xml festlegen, welche Einstellungen, einschließlich der Kompressions-codec wird verwendet und in welchem Stadium (RDD, Shuffle). Die meisten Einstellungen können festgelegt werden auf der Anwendungsebene. BEARBEITET: conf = SparkConf() conf.set("spark.hadoop.mapred.output.compress", "true") conf.set("spark.hadoop.mapred.output.compression.codec", "org.apache.hadoop.io.compress.snappy")

Möchte ich mit Spark-Streaming-abrufen von Daten von Kafka. Nun, ich möchte meine Daten in eine remote-HDFS. Ich weiß, dass ich die Funktion saveAsText. Allerdings weiß ich nicht genau, wie man den Pfad angeben. Ist das richtig, wenn

Ich versuche zu erstellen-Funktion, die string-oder RDD als ein argument aber gibt dataframe. Code: def udf1 (input: String) = { val file = sc.textFile(input); file.map(p => Person( (p.substring(1, 15)), p.substring(16, 20))).toDF() } def main() { case class

Nun habe ich einige Spark-Anwendungen, die für die Speicherung der Ausgabe auf HDFS. Da unsere hadoop-cluster ist aus der namenode H/A und spark-cluster außerhalb von hadoop-Clusters (ich weiß, es ist etwas schlecht) muss ich angeben HDFS-URI zur

Ich versuche zu join zwei DataFrame mit Bedingung. Habe ich zwei dataframe A und B. Enthält eine id,m_cd und c_cd Spalten B enthält m_cd,c_cd-und Datensatz-Spalten Bedingungen - Wenn m_cd null ist, dann treten Sie c_cd von A

Gibt es eine Möglichkeit zu laufen pyspark Skripte mit Garn-cluster-Modus ohne Verwendung der spark-submit-Skript? Ich brauche es auf diese Weise, weil ich integriere diesen code in eine django-web-app. Wenn ich versuche zum ausführen von Skripts in Garn-cluster-Modus

Beim ausführen jeder Art von Befehl in zeppelin, ich bin immer eine "java.lang.NullPointerException" - Fehler - selbst einfache Sachen wie sc.appName. Hier ist der vollständige text: java.lang.NullPointerException at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380) at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)

Lief ich in diese Zeile in der Apache-Spark source code val (gradientSum, lossSum, miniBatchSize) = data .sample(false, miniBatchFraction, 42 + i) .treeAggregate((BDV.zeros[Double](n), 0.0, 0L))( seqOp = (c, v) => { //c: (grad, loss, count), v: (label, features)

Hallo, ich bin mit paar Funken Arbeitsplätze, die Prozesse, die Tausende von Dateien jeden Tag. Datei-Größe kann sehr von MBs an GBs. Nach Beendigung der Arbeit, die ich in der Regel sparen Sie mit dem folgenden code

Möchte ich die Summe verschiedener Spalten in einer spark-dataframe. Code from pyspark.sql import functions as F cols = ["A.p1","B.p1"] df = spark.createDataFrame([[1,2],[4,89],[12,60]],schema=cols) # 1. Works df = df.withColumn('sum1', sum([df[col] for col in ["`A.p1`","`B.p1`"]])) #2. Doesnt work df

Dataset<Row> dataFrame = ... ; StringIndexerModel labelIndexer = new StringIndexer() .setInputCol("label") .setOutputCol("indexedLabel") .fit(dataFrame); VectorIndexerModel featureIndexer = new VectorIndexer() .setInputCol("s") .setOutputCol("indexedFeatures") .setMaxCategories(4) .fit(dataFrame); IndexToString labelConverter = new IndexToString() .setInputCol("prediction") .setOutputCol("predictedLabel") .setLabels(labelIndexer.labels()); Was ist StringIndexer, VectorIndexer, IndexToString und was

Habe ich cluster mit 1 master und 6 slaves verwendet pre-built version von hadoop 2.6.0 und Funken 1.6.2. Ich war laufen, hadoop MR und der Funken Arbeitsplätze, ohne irgendein problem mit openjdk 7 installiert auf allen Knoten.

Ich versuche, zu extrahieren die Klasse Wahrscheinlichkeiten der random forest-Objekt habe ich geschult mit PySpark. Allerdings sehe ich nicht ein Beispiel von ihm überall in der Dokumentation, noch ist es eine Methode der RandomForestModel. Wie kann ich

Ich versuche, führen Sie eine einfache Funke s3 app von einem server, aber ich bekomme immer folgende Fehlermeldung, weil der server hadoop 2.7.3 installiert und es sieht aus wie es nicht die GlobalStorageStatistics Klasse. http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/api/org/apache/hadoop/fs/GlobalStorageStatistics.html.I haben hadoop-2.8.x

Ich versuche zu installieren Spark1.5.1 auf Ubuntu14.04 VM. Nach un-teert die Datei, die ich geändert habe das Verzeichnis zu dem entpackten Ordner und den Befehl ausgeführt "./bin/pyspark" das Feuer sollte die pyspark shell. Aber ich bekam eine