Tag: apache-spark

Angenommen, ich habe den DataFrame: var myDF = sc.parallelize(Seq(("one",1),("two",2),("three",3))).toDF("a", "b") Kann ich konvertieren, um ein RDD[(String, Int)] mit einer Karte: var myRDD = myDF.map(r => (r(0).asInstanceOf[String], r(1).asInstanceOf[Int])) Gibt es einen besseren Weg, dies zu tun, vielleicht mit

Ich entwickeln möchte, eine Scala-Anwendung, die verbindet ein master und läuft ein spark-code. Ich möchte um dies zu erreichen, ohne Verwendung von spark-Einreichen. Ist das möglich? Insbesondere würde ich gerne wissen, ob der folgende code kann ausgeführt

Ich weiß, dass ich verwenden können, SparkConf.set ("Funke.app.name',...) zu setzen appName vor erstellen der SparkContext. Allerdings möchte ich ändern Sie den Namen der Anwendung ein, wie Sie fortschreitet, D. H., nach SparkContext erstellt wurde. Ach, Einstellung sc.appName

Habe ich, um zu überprüfen, ob eine Tabelle existiert in den Bienenstock, mit Funken(1.6.2) scala Wenn es nicht ich habe zum erstellen einer leeren dataframe und speichern, die als eine hive-Tabelle. Wenn er vorhanden ist, überschreiben Sie

wenn iam versucht zu starten spark(java) - code, der iam bekommen eine Fehlermeldung wie "org.apache.spark.SparkException: Kryo-Serialisierung fehlgeschlagen: Puffer-überlauf. Verfügbar: 0, erforderlich: 27". In vielen Beiträgen erwähnt wie die Puffer auf max-Wert. wenn ich versucht, diese mit max

Habe ich spark dataframe wie diese id1 id2 attrname attr_value attr_valuelist 1 2 test Yes Yes, No 2 1 test1 No Yes, No 3 2 test2 value1 val1, Value1,value2 4 1 test3 3 0, 1, 2 5

Ich versuche, führen Sie eine lineare regression in PySpark und ich möchte erstellen Sie eine Tabelle mit Zusammenfassung der Statistiken, wie die Koeffizienten, P-Werte und t-Werte für jede Spalte in meinem Datensatz. Jedoch, um zu trainieren Sie

Ich bin völlig neu zu Apache Spark und ich versucht zu kartesischen Produkt zwei RDD. Als Beispiel habe ich A und B wie : A = {(a1,v1),(a2,v2),...} B = {(b1,s1),(b2,s2),...} Brauche ich eine neue RDD wie: C

Ich hava ein DataFrame,das DataFrame hava zwei Spalte 'value' und 'timestamp', die 'timestmp' ist bestellt,ich möchte die Letzte Zeile des DataFrame,was soll ich tun? dies ist mein input: +-----+---------+ |value|timestamp| +-----+---------+ | 1| 1| | 4| 2|

Ich bin derzeit ein Java-Spark-Anwendung in tomcat ein und erhalten die folgende Ausnahme: Caused by: java.io.IOException: Mkdirs failed to create file:/opt/folder/tmp/file.json/_temporary/0/_temporary/attempt_201603031703_0001_m_000000_5 auf der Linie text.saveAsTextFile("/opt/folder/tmp/file.json") //where text is a JavaRDD<String> Das Problem ist, dass /opt/Ordner/tmp/schon existiert und

Ich versuche zu berechnen Perzentil einer Spalte in einem DataFrame? Ich kann nicht finden, percentile_approx Funktion in der Funke-aggregation-Funktionen. Z.B. im Hive-wir haben percentile_approx und wir können es verwenden, in der folgenden Weise hiveContext.sql("select percentile_approx("Open_Rate",0.10) from myTable);

Ich habe ein array namens " array-Liste die wie folgt aussieht arraylist: Array[(String, Any)] = Array((id,772914), (x4,2), (x5,24), (x6,1), (x7,77491.25), (x8,17911.77778), (x9,225711), (x10,17), (x12,6), (x14,5), (x16,5), (x18,5.0), (x19,8.0), (x20,7959.0), (x21,676.0), (x22,228.5068871), (x23,195.0), (x24,109.6015511), (x25,965.0), (x26,1017.79043), (x27,2.0), (Target,1),

Gibt es einige Daten: a 2 b 2 c 2 a 1 c 3 a 3 c 1 b 3 b 1 wenn ich eine Neupartitionierung der Daten, und keine Art, code: val sc = new SparkContext

Habe ich folgende Daten : rowid uid time code 1 1 5 a 2 1 6 b 3 1 7 c 4 2 8 a 5 2 9 c 6 2 9 c 7 2 10 c

Ich geschrieben habe, einen Funken Job in Java. Wenn ich behaupte der Job gibt es folgende Fehlermeldung: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession at com.thinkbiganalytics.veon.util.SparkSessionBuilder.getOrCreateSparkSession(SparkSessionBuilder.java:12) at com.thinkbiganalytics.veon.AbstractSparkTransformation.initSparkSession(AbstractSparkTransformation.java:92) at com.thinkbiganalytics.veon.transformations.SDPServiceFeeDeductionSourceToEventStore.init(SDPServiceFeeDeductionSourceToEventStore.java:57) at com.thinkbiganalytics.veon.AbstractSparkTransformation.doTransform(AbstractSparkTransformation.java:51) at com.thinkbiganalytics.veon.transformations.SDPServiceFeeDeductionSourceToEventStore.main(SDPServiceFeeDeductionSourceToEventStore.java:51) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at

Kontext Funke 2.0.1, Funke-Abgabe im cluster-Modus. Ich lese ein Parkett-Datei aus dem hdfs: val spark = SparkSession.builder .appName("myApp") .config("hive.metastore.uris", "thrift://XXX.XXX.net:9083") .config("spark.sql.sources.bucketing.enabled", true) .enableHiveSupport() .getOrCreate() val df = spark.read .format("parquet") .load("hdfs://XXX.XX.X.XX/myParquetFile") Ich bin speichern die df um eine

Wenn Sie eine Scala-Datei, die verwendet die Spark Dataset geben, bekomme ich folgenden stack trace: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.Class.getMethod0(Class.java:3018) at java.lang.Class.getMethod(Class.java:1784) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:125) Caused by: java.lang.ClassNotFoundException:

Hallo ich bin gestartet spark streaming lernen, aber ich kann nicht führen Sie eine einfache Anwendung Mein code ist hier import org.apache.spark._ import org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ val conf = new SparkConf().setMaster("spark://beyhan:7077").setAppName("NetworkWordCount") val ssc = new StreamingContext(conf, Seconds(1))

Mit PySpark und JDBC-Treiber für MySQL bin ich nicht in der Lage, Abfragen für Spalten vom Typ date. java.lang.Classcastexception-Fehler geworfen wird. sqlContext = SQLContext(sc) df = sqlContext.load(source="jdbc", url=url, dbtable="reports") sqlContext.registerDataFrameAsTable(df, "reports") df.printSchema() # root # |-- id:

Habe ich ein RDD : val rdd: org.apache.spark.rdd.RDD[((String, String), Double)] = sc.parallelize(List( (("a", "b"), 1.0), (("a", "c"), 3.0), (("a", "d"), 2.0) )) Ich bin versucht zu konvertieren, das RDD vom Typ org.apache.spark.rdd.RDD[((String, String), Double)] zu org.apache.spark.rdd.RDD[((String), List[Double])]

Ich versuche, etwas zu tun, sehr einfach, aber ich kann nicht glauben, es funktioniert nicht... wahrscheinlich bin ich etwas fehlt ganz offensichtlich. Bitte helfen Sie. Ziel: Lesen Sie den Iris-Datensatz (csv-Datei keine Kopfzeile) in ein Dataset Code:

Das problem das ich eigentlich zu lösen versucht ist, die ersten/letzten N Zeilen einer PySpark dataframe und das Ergebnis ein dataframe. Konkret, ich möchte in der Lage sein, so etwas zu tun: my_df.head(20).toPandas() Jedoch, weil head() gibt

Gegeben ein Funken DataFrame df möchte ich den maximalen Wert in einem bestimmten numerischen Spalte 'values' ist, und die Zeile(N), wo dieser Wert erreicht wurde. Ich kann natürlich dabei: # it doesn't matter if I use scala

Ich habe eine Datei mit fester Länge ( siehe nachstehendes Beispiel) und ich möchte diese Datei zu Lesen, mithilfe von DataFrames API-Zündkerzen mit SCALA(nicht python oder java). Mit DataFrames-API, es gibt Möglichkeiten zum Lesen von Text -,

Ich bin versucht heraus zu filtern, die stop-Wörter aus einem RDD von Wörtern aus einer .txt Datei. //Creating the RDDs val input = sc.textFile("../book.txt") val stopWordsInput = sc.textFile("../stopwords.csv") val stopWords = stopWordsInput.map(x => x.split(",")) //Create a tuple