Tag: apache-spark-sql

Ist es eine einzige option, um eine Liste der Argumente, die bis zu 22, wie gezeigt, in der Dokumentation? https://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.UDFRegistration Jemand herausgefunden, wie man etwas ähnliches machen? sc.udf.register("func", (s: String*) => s...... (schreiben von benutzerdefinierte Funktion concat,

Habe ich dieses python-code wird lokal in ein pandas dataframe: df_result = pd.DataFrame(df .groupby('A') .apply(lambda x: myFunction(zip(x.B, x.C), x.name)) Ich würde gerne diese in PySpark, aber Schwierigkeiten haben, den Umgang mit pyspark.sql.Gruppe.GroupedData Objekt. Ich habe versucht, die

Ich bin mit Apache Spark DataFrames an zwei Datenquellen und liefert das Ergebnis als eine weitere DataFrame. Ich möchte schreiben das Ergebnis in ein anderes Postgres-Tabelle. Ich sehe diese option : myDataFrame.write.jdbc(url, table, connectionProperties) Aber, was ich

Ich bin mit der Funke 1.3.0 und Python. Ich habe einen dataframe, und ich möchte hinzufügen, eine zusätzliche Spalte, welche sich aus anderen Spalten. Wie diese, >>old_df.columns [col_1, col_2, ..., col_m] >>new_df.columns [col_1, col_2, ..., col_m, col_n]

Ich habe ein Spark SQL DataFrame mit den Daten und dem, was ich versuche zu bekommen ist, alle Zeilen vor der aktuellen Zeile, in einem bestimmten Datumsbereich. So zum Beispiel möchte ich alle Zeilen von 7 Tagen

Habe ich ein Cassandra-Tabelle, der Einfachheit halber in etwa so aussieht: key: text jsonData: text blobData: blob Kann ich erstellen Sie eine einfache Daten-frame für das spark und das spark-cassandra-Stecker Verwendung: val df = sqlContext.read .format("org.apache.spark.sql.cassandra") .options(Map("table"

Was ist die corrent-syntax für Filter auf mehrere Spalten in der Scala-API? Wenn ich will, um etwas wie das hier tun: dataFrame.filter($"col01" === "something" && $"col02" === "something else") oder dataFrame.filter($"col01" === "something" || $"col02" === "something

Ich versuche zu konvertieren, eine Spalte enthält Array[String] , String, sondern ich ständig diese Fehlermeldung erhalten org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3

Ich habe einen dataframe mit der folgenden Struktur: |-- data: struct (nullable = true) | |-- id: long (nullable = true) | |-- keyNote: struct (nullable = true) | | |-- key: string (nullable = true) |

Ich habe eine peinlich parallele Aufgabe, für die ich benutze Spark zum verteilen der Berechnungen. Diese Berechnungen sind in Python, und ich benutze PySpark zu Lesen und Vorverarbeitung der Daten. Die input-Daten meine Aufgabe ist gespeichert in

Ich versuche, mich zum Lesen einer csv-Datei in einem dataframe. Ich weiß, was das schema meiner dataframe sollte, da ich weiß, dass meine csv-Datei. Auch ich bin mit spark csv-Paket zum Lesen der Datei. Ich habe versucht,

Bin ich mit Spark 1.3.0 mit python-api. Während der Transformation riesigen dataframes, ich cache viele DFs für eine schnellere Ausführung; df1.cache() df2.cache() Einmal die Verwendung von bestimmten dataframe ist über und wird nicht mehr benötigt, wie kann

Habe ich eine json-Datei mit ein paar Daten, ich bin in der Lage, DataFrame erstellen und das schema für bestimmten Teil davon interessiert mich, sieht wie folgt aus: val json: DataFrame = sqlc.load("entities_with_address2.json", "json") root |-- attributes:

Als ein Vereinfachtes Beispiel, ich habe einen dataframe "df" mit den Spalten "col1,col2" und ich möchte, um zu berechnen, eine zeilenweise maximum nach der Anwendung der Funktion auf jede Spalte : def f(x): return (x+1) max_udf=udf(lambda x,y:

Ich habe eine CSV, in dem ein Feld datetime in einem bestimmten format. Ich kann nicht importieren Sie direkt in mein Dataframe, denn es muss ein timestamp. Also ich Importiere es als string und verwandeln es in

wenn ich DataFrame groupby wie diese: df.groupBy(df("age")).agg(Map("id"->"count")) Ich nur einen DataFrame mit den Spalten "Alter" und "count(id)",aber im df gibt es viele andere Spalten wie "name". In allen,möchte ich, um das Ergebnis wie in MySQL, "select name,age,count(id)

Ich versuche, fügen Sie ein "CASE WHEN ... ELSE ..." berechneten Spalte zu einer vorhandenen DataFrame, mit Scala-APIs. Ab dataframe: color Red Green Blue Gewünschte dataframe (SQL-syntax: CASE WHEN Farbe == Grün then 1 ELSE 0 END

Ich habe eine Spark-Dataframe in, besteht aus einer Reihe von Daten: from pyspark.sql import SQLContext from pyspark.sql import Row from pyspark.sql.types import * sqlContext = SQLContext(sc) import pandas as pd rdd = sc.parallelizesc.parallelize([('X01','2014-02-13T12:36:14.899','2014-02-13T12:31:56.876','sip:4534454450'), ('X02','2014-02-13T12:35:37.405','2014-02-13T12:32:13.321','sip:6413445440'), ('X03','2014-02-13T12:36:03.825','2014-02-13T12:32:15.229','sip:4534437492'), ('XO4','2014-02-13T12:37:05.460','2014-02-13T12:32:36.881','sip:6474454453'), ('XO5','2014-02-13T12:36:52.721','2014-02-13T12:33:30.323','sip:8874458555')])

Habe ich ein dataframe, das hat eine Zeile und mehrere Spalten. Einige der Spalten sind die einzelnen Werte, und andere sind Listen. Alle Listen-Spalten die gleiche Länge. Ich möchte split jede Liste Spalte in eine separate Zeile,

Gibt es keine alternative für df[100, c("column")] im scala spark-Daten-frames. Ich möchte bestimmte Zeilen aus einer Spalte spark-Daten-frame. zum Beispiel 100th Zeile in der obigen R-code entspricht InformationsquelleAutor der Frage nareshbabral | 2016-02-06

Ich habe einen dataframe der date, string, string Ich soll die Daten bis zu einem gewissen Zeitraum. Ich habe Folgendes versucht, ohne Glück data.filter(data("date") < new java.sql.Date(format.parse("2015-03-14").getTime)) Ich erhalte eine Fehlermeldung, die folgenden org.apache.spark.sql.AnalysisException: resolved attribute(s) date#75

Gibt es einen DataFrame in pyspark mit Daten wie folgt: user_id object_id score user_1 object_1 3 user_1 object_1 1 user_1 object_2 2 user_2 object_1 5 user_2 object_2 2 user_2 object_2 6 Was ich erwarte, ist die Rückkehr

Ich versuche zu verwenden die Spark - Dataset API, aber ich habe einige Probleme dabei eine einfache Verknüpfung. Sagen wir, ich habe zwei dataset-Feldern: date | valuedann im Falle des DataFrame meinen Beitritt Aussehen würde: val dfA

Ich habe einen DataFrame, die Aussehen wie, die. Ich will arbeiten, auf dem Tag der date_time Feld. root |-- host: string (nullable = true) |-- user_id: string (nullable = true) |-- date_time: timestamp (nullable = true) Versuchte

Ich versuche, meine Eingabedaten: A B C -------------- 4 blah 2 2 3 56 foo 3 Und fügen Sie eine Spalte am Ende auf der Grundlage, ob B leer ist oder nicht: A B C D --------------------