Tag: spark-submit

spark-submit ist ein Skript, das in der Lage ist zu laufen, der apache-spark-code, geschrieben in z.B. java, scala oder python

Best practice zum erstellen SparkSession-Objekt in Scala zu verwenden, sowohl in unittest und Funken Einreichen

Anzahl der Antworten 4 Antworten
Ich habe versucht, schreiben Sie ein transform-Methode von DataFrame zu DataFrame. Und außerdem möchte ich es testen, indem scalatest. Wie Sie wissen, in Spark 2.x mit Scala-API können Sie erstellen SparkSession Objekt wie folgt: import org.apache.spark.sql.SparkSession val

Wie gehen die externen Parameter durch Funken übermitteln

Anzahl der Antworten 2 Antworten
In meiner Anwendung, ich muss eine Verbindung zu der Datenbank, so dass ich übergeben zu müssen, IP-Adresse und den Namen der Datenbank, wenn die Anwendung eingereicht wird. Ich den Antrag wie folgt: : ./spark-submit --class class name

Wie zu stoppen von INFO-Meldungen anzeigen auf spark-Konsole?

Anzahl der Antworten 19 Antworten
Ich möchte aufhören, die verschiedenen Nachrichten, die kommen auf Funke-shell. Habe ich versucht zu Bearbeiten, die log4j.properties - Datei, um diese zu stoppen Nachricht. Hier der Inhalt der log4j.properties # Define the root logger with appender file

Spark-Treiber, Speicher-und Executor-Speicher

Anzahl der Antworten 2 Antworten
Ich bin Anfänger Funken, und ich bin mit meiner Bewerbung zu Lesen 14KB Daten aus text eingereicht, einige der Transformationen und Aktionen(sammeln, collectAsMap) und speichern Sie die Daten in die Datenbank Mir läuft es lokal in meinem

Wie stoppe ich die Anzeige von INFO-Nachrichten auf der Spark-Konsole?

Anzahl der Antworten 13 Antworten
Ich möchte aufhören, die verschiedenen Nachrichten, die kommen auf Funke-shell. Habe ich versucht zu Bearbeiten, die log4j.properties - Datei, um diese zu stoppen Nachricht. Hier der Inhalt der log4j.properties # Define the root logger with appender file

Hinzufügen von Gläsern zu einem Spark-Job - Spark-submit

Anzahl der Antworten 4 Antworten
Wahr ... es wurde diskutiert, eine ganze Menge. Allerdings gibt es eine Menge von Unklarheiten und einige der Antworten, die ... darunter duplizieren jar-Referenzen in die Gläser/die Testamentsvollstrecker/Treiber-Konfiguration oder Optionen. Der mehrdeutigen und/oder weggelassen details Folgende Unklarheit,