Wie gehen die externen Parameter durch Funken übermitteln

In meiner Anwendung, ich muss eine Verbindung zu der Datenbank, so dass ich übergeben zu müssen, IP-Adresse und den Namen der Datenbank, wenn die Anwendung eingereicht wird.

Ich den Antrag wie folgt: :

./spark-submit --class class name --master spark://localhost:7077 \
--deploy-mode client /home/hadoop/myjar.jar
InformationsquelleAutor Satish Karuturi | 2016-03-03
  1. 11

    Wenn Sie das Kontrollkästchen die offizielle Dokumentation du wirst sehen, dass spark-submit hat die folgende syntax:

    ./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

    Können Sie entweder application-arguments und conf zu bestehen erforderlich Konfiguration der main-Methode und SparkConf beziehungsweise.

    InformationsquelleAutor zero323
  2. 2

    Wie gesagt um zero323 können Sie die spark-submit Befehl aus der link

      ./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

    Hier, conf verwendet, um die Funke im Zusammenhang configs, die erforderlich sind für die Ausführung der Anwendung wie irgendeine spezifische Eigenschaft(executor-Speicher) oder, wenn Sie wollen, überschreiben Sie die Standard-Eigenschaft, die in Spark-Standard.conf.

    Soweit Ihre Nutzung Fall betroffen ist, die Sie übergeben möchten, die ein IP-Anwendung die Verbindung zur Datenbank dann können Sie die [Anwendung-Argumente] übergeben werden, nachdem Sie das GLAS.

    Beim einrichten der main als:

    def main(args: Array[String])

    Dann kann man akzeptieren, alles andere als ein argument gegeben, nachdem .jar Linie.

    Entnehmen Sie bitte für mehr details

    InformationsquelleAutor Ajit K'sagar
Schreibe einen Kommentar