Spark spark-submit --Gläser Argumente will Komma-Liste, wie zu erklären, ein Verzeichnis der Gläser?

In Die Einreichung von Bewerbungen in der Funke docs, als der 1.6.0 und früher, es ist nicht klar, wie Sie angeben, die --Gläser argument, da es sich offenbar nicht um eine durch Doppelpunkte getrennte classpath nicht ein Verzeichnis expansion.

Die docs sagen "Pfad zu einer jar gebündelt einschließlich Ihrer Anwendung und alle Abhängigkeiten. Die URL muss weltweit sichtbar im inneren des Clusters, zum Beispiel, ein hdfs://Pfad oder Datei://- Pfad, der auf allen Knoten."

Frage: Was sind die Optionen für die Einreichung eines classpath mit
--Gläser in der Otto-submit-Skript in $SPARK_HOME/bin? Alles, was ohne Papiere, die eingereicht werden könnten, wie eine Verbesserung für die docs?

Ich Frage, weil wenn ich die Prüfung-Gläser, wir hatten heute explizit geben Sie den Pfad für jedes Glas:

/usr/local/spark/bin/spark-submit --class jpsgcs.thold.PipeLinkageData ---jars=local:/usr/local/spark/jars/groovy-all-2.3.3.jar,local:/usr/local/spark/jars/guava-14.0.1.jar,local:/usr/local/spark/jars/jopt-simple-4.6.jar,local:/usr/local/spark/jars/jpsgcs-core-1.0.8-2.jar,local:/usr/local/spark/jars/jpsgcs-pipe-1.0.6-7.jar /usr/local/spark/jars/thold-0.0.1-1.jar

Auswahl an pre-bevölkern die cluster mit der alle jar-Dateien in /usr/local/spark/Gläser auf jeden Arbeitnehmer, es schien, dass, wenn keine lokale:/file:/oder hdfs: geliefert wurde, der Standardwert ist file:/und der Fahrer macht die Gläser zur Verfügung, die auf einem webserver laufen durch den Fahrer. Ich wählte lokalen, wie oben.

Und es scheint, dass wir nicht brauchen, um die Haupt-jar-in --Gläser argument, ich habe noch nicht getestet ob andere Klassen in dem letzten argument (Anwendung-jar-arg-pro-Dokumente, D. H. /usr/local/spark/jars/thold-0.0.1-1.jar) ausgeliefert werden, für die Arbeitnehmer, oder wenn ich brauchen, um die Anwendung-jar-in --Gläser Weg, um zu bekommen Klassen, die nicht benannt nach --Klasse gesehen zu werden.

(Und gewährt mit Funken-standalone-Modus mit --deploy-client-Modus, können Sie auch eine Kopie der Treiber auf den einzelnen Arbeiter, aber Sie wissen nicht, up-front, die Arbeiter laufen die Treiber)

InformationsquelleAutor JimLohse | 2016-01-12
  1. 7

    In dieser Art und Weise funktionierte es einfach.. statt der Angabe jedes Glas mit version separat..

    #!/bin/sh
# build all other dependent jars in OTHER_JARS

JARS=`find ../lib -name '*.jar'`
OTHER_JARS=""
   for eachjarinlib in $JARS ; do    
if [ "$eachjarinlib" != "APPLICATIONJARTOBEADDEDSEPERATELY.JAR" ]; then
       OTHER_JARS=$eachjarinlib,$OTHER_JARS
fi
done
echo ---final list of jars are : $OTHER_JARS
echo $CLASSPATH

spark-submit --verbose --class <yourclass>
... OTHER OPTIONS
--jars $OTHER_JARS,APPLICATIONJARTOBEADDEDSEPERATELY.JAR

    • Mit tr unix-Befehl können auch helfen, wie das Beispiel weiter unten.

      --jars $(echo /dir_of_jars/*.jar | tr ' ' ',')

    • Das ist ein schöner workaround, für Spark 1.6.1 und später, wenn verfügbar, die Komma-Liste-Anforderungen sollten dokumentiert werden mehr direkt. Ich ging voran und diese akzeptiert. Nur um sicher zu sein, das funktioniert, wie das ist? Die Linie OTHER_JARS=$eachjarinlib,$OTHER_JARS braucht keine Zitate? Ich denke, die Schale ist nicht zu erweitern, dass Komma und deshalb dauert es einfach nur ein string sein, aber es kann sicherer sein, um Doppel-quote)? OTHER_JARS="$eachjarinlib,$OTHER_JARS"?
    • Jim, ja, muss nicht die Anführungszeichen. Das funktioniert(Funke-1.3,1.5-Versionen), wie es ist.
    • dies ist eine weitere Möglichkeit, das einfacher ist --Gläser $(echo /dir/von/jars/*.jar | tr '' ',')
    InformationsquelleAutor Ram Ghadiyaram
  2. 0

    Einen Weg (der einzige Weg?) verwenden Sie die --Gläser argument zu liefern, ist eine Komma-getrennte Liste von explizit benannten Gläser. Die einzige Möglichkeit, die ich herausgefunden zu verwenden, das Komma war ein StackOverflow-Antwort, die mich dazu brachten, sich über die Dokumente in die Befehlszeile ein: 

    spark-submit --help

    Die Ausgabe dieses Befehls enthält:

     --jars JARS                 Comma-separated list of local jars to include on the driver
                              and executor classpaths.

    Als ich heute war Prüfung-Gläser, wir hatten explizit einen Pfad zu jedem jar:

    /usr/local/spark/bin/spark-submit --class jpsgcs.thold.PipeLinkageData ---jars=local:/usr/local/spark/jars/groovy-all-2.3.3.jar,local:/usr/local/spark/jars/guava-14.0.1.jar,local:/usr/local/spark/jars/jopt-simple-4.6.jar,local:/usr/local/spark/jars/jpsgcs-core-1.0.8-2.jar,local:/usr/local/spark/jars/jpsgcs-pipe-1.0.6-7.jar /usr/local/spark/jars/thold-0.0.1-1.jar
    InformationsquelleAutor JimLohse
Schreibe einen Kommentar