Tag: spark-submit
spark-submit ist ein Skript, das in der Lage ist zu laufen, der apache-spark-code, geschrieben in z.B. java, scala oder python
4
Antworten
Ich habe versucht, schreiben Sie ein transform-Methode von DataFrame zu DataFrame. Und außerdem möchte ich es testen, indem scalatest. Wie Sie wissen, in Spark 2.x mit Scala-API können Sie erstellen SparkSession Objekt wie folgt: import org.apache.spark.sql.SparkSession val
2
Antworten
In meiner Anwendung, ich muss eine Verbindung zu der Datenbank, so dass ich übergeben zu müssen, IP-Adresse und den Namen der Datenbank, wenn die Anwendung eingereicht wird. Ich den Antrag wie folgt: : ./spark-submit --class class name
19
Antworten
Ich möchte aufhören, die verschiedenen Nachrichten, die kommen auf Funke-shell. Habe ich versucht zu Bearbeiten, die log4j.properties - Datei, um diese zu stoppen Nachricht. Hier der Inhalt der log4j.properties # Define the root logger with appender file
2
Antworten
Ich bin Anfänger Funken, und ich bin mit meiner Bewerbung zu Lesen 14KB Daten aus text eingereicht, einige der Transformationen und Aktionen(sammeln, collectAsMap) und speichern Sie die Daten in die Datenbank Mir läuft es lokal in meinem
13
Antworten
Ich möchte aufhören, die verschiedenen Nachrichten, die kommen auf Funke-shell. Habe ich versucht zu Bearbeiten, die log4j.properties - Datei, um diese zu stoppen Nachricht. Hier der Inhalt der log4j.properties # Define the root logger with appender file
4
Antworten
Wahr ... es wurde diskutiert, eine ganze Menge. Allerdings gibt es eine Menge von Unklarheiten und einige der Antworten, die ... darunter duplizieren jar-Referenzen in die Gläser/die Testamentsvollstrecker/Treiber-Konfiguration oder Optionen. Der mehrdeutigen und/oder weggelassen details Folgende Unklarheit,