Was bedeutet setMaster " lokale[*]` bedeutet in der Funke?

Fand ich einige code zum starten der Funke lokal mit:

val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val ctx = new SparkContext(conf)

Was bedeutet die [*] bedeuten?

  • Gibt es einen Grund für die nicht-akzeptieren der Antwort?
InformationsquelleAutor Freewind | 2015-09-02
  1. 57

    Aus der doc:

    ./bin/spark-shell --master local[2]

    Die option --master gibt den master-URL für eine verteilte
    cluster, oder lokal zu lokal ausgeführt, mit einem Faden, oder lokale[N] ausgeführt werden
    lokal mit N threads. Sie sollten beginnen, indem Sie mithilfe von lokale zum testen.

    Und von hier:

    local[*] Ausführen Funke vor Ort mit, wie viele worker-threads als logische
    Kerne auf Ihrem Rechner.

    InformationsquelleAutor ccheneson
  2. 33

    Master-URL Bedeutung

    lokalen : Laufen Spark lokal mit einem worker-thread (also keine Parallelität auf allen).

    lokalen[K] : Laufen Spark lokal mit K-worker-threads (idealerweise stellen Sie hier die Anzahl der Prozessorkerne auf Ihrem Computer).

    lokalen[K,F] : Laufen Spark lokal mit K-worker-threads und F maxFailures (siehe Funke.Aufgabe.maxFailures eine Erklärung für diese variable)

    local[*] : Ausführen Funke vor Ort mit, wie viele worker-threads als logische Prozessorkerne auf Ihrem Computer.

    local [*F] : Ausführen Funke vor Ort mit, wie viele worker-threads als logische Prozessorkerne auf Ihrem Computer und F maxFailures.

    spark://HOST:PORT : die Verbindung zu den gegebenen Funke standalone-cluster-master. Der port muss je nachdem was man Ihr master konfiguriert ist, verwenden, was ist 7077 standardmäßig.

    spark://HOST1:PORT1,HOST2:PORT2 : die Verbindung zu den gegebenen Funke standalone-cluster, standby-Master und Tierpfleger. Die Liste muss alle master-hosts in der Hochverfügbarkeits-cluster eingerichtet, die die Tierpfleger. Der port muss je nachdem, was die einzelnen master konfiguriert ist, verwenden, was ist 7077 standardmäßig.

    sofort://HOST:PORT : Verbindung zum angegebenen Sofort-cluster. Der port muss je nachdem was man Ihr für die Verwendung konfiguriert ist, die 5050 standardmäßig. Oder, für einen Sofort-cluster durch die Tierpfleger, Verwendung sofort://zk://.... Unterwerfen --deploy-Modus-cluster, den HOST:PORT konfiguriert werden sollte, um eine Verbindung zu den MesosClusterDispatcher.

    Garn : Verbinden Sie zu einem GARN-cluster-client-oder cluster-Modus, abhängig vom Wert der --deploy-Modus. Die cluster-Standort gefunden werden, auf der Grundlage der HADOOP_CONF_DIR oder YARN_CONF_DIR variable.

    https://spark.apache.org/docs/latest/submitting-applications.html

    • Gibt es eine Möglichkeit, die wir drucken können Kerne auf bestimmten Umgebung ? wie system.getEnv("prop....")
    InformationsquelleAutor FreeMan
  3. 10

    Einige zusätzliche Infos

    Nicht ausführen, Spark Streaming-Programme lokal mit master konfiguriert als "local" oder "local[ 1]". Dies weist nur eine CPU für die Aufgaben und wenn ein receiver läuft, gibt es keine Ressource, die linke zum verarbeiten der empfangenen Daten. Verwenden Sie mindestens "lokale[ 2]" mehr Kerne.

    Vom -Learning Spark: Lightning-Fast Big Data Analysis

    InformationsquelleAutor mat77
  4. 3

    Master-URL

    Können Sie ausführen Funke im lokalen Modus mit local, local[n] oder die Allgemeine local[*] für die master-URL.

    Die URL sagt, wie viele threads verwendet werden können insgesamt:

    local verwendet 1 thread nur.

    local[n] verwendet n threads.

    local[*] nutzt so viele threads als die Anzahl der verfügbaren Prozessoren, um die Java-virtual-Maschine (verwendet Runtime.getRuntime.availableProcessors() die Nummer kennen).

    local[N, maxFailures] (sogenannte " local-with-Wiederholungen) mit N wird * oder die Anzahl der zu verwendenden threads (wie oben erklärt) und maxFailures wird der Wert von spark.task.maxFailures.

    InformationsquelleAutor Ram Ghadiyaram
Schreibe einen Kommentar