So erhöhen Sie die Anzahl der Behälter in nodemanager im GARN

Einen Knoten in mein GARN-cluster hat 64GB Speicher und 24 Kerne. Ich legen Sie die folgenden Eigenschaften in der yarn-site.xml:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

Aber ich fand noch die nodemanager in der Knoten hat nur 7 Container. Was sind andere Eigenschaften, die ich brauche, um?

InformationsquelleAutor kee | 2013-11-16
  1. 15

    Müssen Sie auf das GARN, wie Sie brechen die memory containers, so zum Beispiel, wenn Sie den Speicher pro container zu 2GB geben Sie die 16 Container

    <name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
    • Danke. Ihre Antwort machte mir klar, dass ich einen Tippfehler in meiner Erinnerung-mb-parameter (ich benutzt hatte, Unterstrich statt Bindestrich zwischen Speicher und mb).
    • Ich habe 7 Knoten in meinem cluster [8GB RAM und 4VCPUs zu jedem Knoten]. Es gibt mapreduce.jobsubmitter: Anzahl der input-splits: 34 für meine Anwendung. Meine Anwendung stürzt auf Ausnahme von der container-Start: ExitCodeException exitCode=134: /bin/bash: line 1: 3876 Aborted (core dumped) . Wie kann man diese vermeiden? Was ist meine Konfiguration ampred-site.xml?
    • Rotem-Gal-Oz -: Eine Hadoop/GARN Neuling hier. OP hat 64 GB Speicher. Wenn wir reservieren, 2048 MB RAM (also 2GB) für jeden container, den er bekommen sollte 64/2 = 32 Container. Können Sie erklären, warum 16? Danke.
    • Sind Sie mit map/reduce-wenn ja, sollten Sie auch die Eigenschaften für das map/reduce-Zuweisung (wie @avner schrieb unten)
    • Also, was 2GB-container Größe würde bedeuten, dass meine Java-Xmx darf nicht mehr als 2 GB weil wenn ich es Tue, dann wie Java versucht, die Erhöhung der heap-Größe zur Laufzeit über 2 GB, GARN würde es töten?
    • Als Application Manager Framework (MapReduce oder Spark zum Beispiel) wie Sie die Anfrage Anzahl der container pro Auftrag. Ich weiß, es kann sein, dynmaic Fall BIN können Fragen für weitere container während des it-Lebenszyklus, aber welche parameter verwendet Ihr?

    InformationsquelleAutor Arnon Rotem-Gal-Oz
  2. 0

    probieren Sie etwas wie:

      <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>
    InformationsquelleAutor avner
Schreibe einen Kommentar