Donnerstag, Juni 4, 2020

apache-spark

ausführen von Hive-Abfragen von Spark

Ich versuche, diesen code ausführen, werden in der Funke-shell: val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.sql("show tables") Nach der Ausführung der zweiten Zeile,...

Accesing Hive-Tabellen in spark

Habe ich Hive 0.13 installation und eigene Datenbanken. Ich habe spark 1.1.0 einzelnen Knoten cluster gebaut mit mvn -hive-option. Ich möchte...

Spark ‚ s Spalte.isin-Funktion nicht Liste

Ich versuche heraus zu filtern und Zeilen aus meinem Spark Dataframe. val sequence = Seq(1,2,3,4,5) df.filter(df("column").isin(sequence)) Leider bekomme ich eine nicht...

Zeilen filtern, indem Sie verschiedene Werte in einer Spalte in PySpark

Sagen wir, ich habe die folgende Tabelle: +--------------------+--------------------+------+------------+--------------------+ | ...

na.füllen Sie Funken DataFrame Scala

Bin ich mit Spark/Scala, und ich will füllen die Nullen in meinem DataFrame mit default-Werte basierend auf dem Typ der Spalten....

Spark: How to map Python mit Scala oder Java-User Defined Functions?

Lassen Sie uns sagen zum Beispiel, dass mein team ausgewählt hat Python als Referenz Sprache zu entwickeln, mit Funke. Aber später...

Funke: coalesce sehr langsam, auch die Datenausgabe ist sehr klein

Ich habe den folgenden code in Spark: myData.filter(t => t.getMyEnum() == null) .map(t => t.toString) ...

Wie eine Verbindung zu Amazon Redshift oder andere DB ‚ s in Apache Spark?

Ich versuche, die Verbindung zu Amazon Redshift über die Funke, damit ich beitreten kann, Daten, die wir haben auf S3 mit...

wie die lineare regression der MLlib von apache spark?

Ich bin neu auf der apache spark, und aus dem Dokument der MLlib, ich fand ein Beispiel von scala, aber ich...

Kostenlose Online-Tests