Nicht starten Sie node manager auf master

Ich bin die Einrichtung eines Hadoop YARN-cluster, und ich bin mit einer Maschine sowohl eine master-und eine slave. Wenn ich starten Sie das GARN über den folgenden Befehl aus, er startet den nodemanager auf Sklaven, aber nicht auf dem master-Knoten.

sbin/yarn-daemons.sh start nodemanager

Ich habe einen master, der den slave und dann habe ich noch zwei slaves in dem cluster, der nodemanagers die slaves sind ordnungsgemäß starten.

Den Fehler bekomme ich :

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [0.0.0.0:8040] java.net.BindException: Address already in use; For more details see:  http://wiki.apache.org/hadoop/BindException

Ausgabe einiger Befehle .

cat /etc/services | grep 8040
ampify          8040/tcp                # Ampify Messaging Protocol
ampify          8040/udp                # Ampify Messaging Protocol

lsof -i tcp:8040
COMMAND   PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    28021   df  195u  IPv6 3580602      0t0  TCP server1.mydomain.com:ampify (LISTEN
InformationsquelleAutor user1965449 | 2014-08-06
  1. 2

    Unter der Standard-Konfiguration, die Hadoop-Schiffe, port 8040 ist der port, den der NodeManager verwendet für den localizer. Dies ist im Grunde ein server-Endpunkt dafür verantwortlich, das die erforderlichen Dateien zum ausführen von einem container auf dem lokalen Knoten. (Dies kann beispielsweise ein MapReduce-job jar-Datei oder eine verteilte cache-Dateien.)

    Unter der Annahme, dass es einen weiteren server auf der Maschine (hier dargestellt als Ampify) rechtmäßig gebunden an port 8040, und Sie wollen nicht zu stoppen, der service, dann ist es möglich zu konfigurieren, dass der port verwendet, der von der NodeManager für den localizer. Set property yarn.nodemanager.localizer.address in Ihrem yarn-site.xml Datei. Dies ist hier dokumentiert:

    http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

    Ziehen, dass die XML-Quelle in den Hadoop-Baum, hier ist die Dokumentation für die Eigenschaft:

    <property>
  <description>Address where the localizer IPC is.</description>
  <name>yarn.nodemanager.localizer.address</name>
  <value>${yarn.nodemanager.hostname}:8040</value>
</property>
    • Ich tötete den service/Prozess auf 8040 und immer noch die gleichen Fehler , sieht aus wie der node manager ist erste Schritte zweimal , oder ist es der Fall, dass da diese Maschine auch läuft, der resource manager und resource manager läuft auch auf 8040 ?
    • Das ist merkwürdig. Wenn keine anderen Verfahren gebunden ist, 8040, wenn Sie beginnen, NodeManager, dann würde ich nicht erwarten, um den Fehler anzuzeigen. ResourceManager nicht binden, 8040, zumindest nicht in der Standardkonfiguration. Haben Sie versucht, die Einstellung Garn.nodemanager.localizer.Adresse auf einen anderen port in Ihrem yarn-site.xml? Wenn das funktioniert, dann könnte das eingrenzen der Ursache des Problems.
    • Ich habe nicht die Eigenschaft ändern ,da ich nicht wollen, ändern Sie die Standard-Verhalten, ich ll ändern Sie es und versuchen Sie es jetzt aber.
    • Chris danke für deinen Tipp , allerdings sieht aus wie wenn Sie den Ressourcen-manager und der Knoten-manager auf der gleichen Maschine, die Sie am Ende mit den gleichen ports wie hier angegeben im link. milinda.pathirage.org/hadoop/yarn/2013/09/29/... , gab ich separaten Anschlüssen für jede gemäß diesem Dokument und jetzt ist der nodemanager beginnt auf der gleichen Maschine wie der Ressourcen-manager für einen der drei Knoten, nochmals vielen Dank!
    • Vielen Dank für diesen link. FWIW, dies wird nicht geschehen, unter eine Standard-Konfiguration. Standardmäßig ist der ResourceManager-Bindung an port 8032, so dass ich nicht erwarten, dass irgendjemand in diesem Konflikt, es sei denn, Sie manuell neu konfigurieren Garn.resourcemanager.Adresse auf port 8040.
    • Chris, das ist richtig , ich habe gerade festgestellt, dass ich beschlossen hatte, 8040 für den Ressourcen-manager ich.e manuell aktualisiert yarn-site.xml sind Sie darauf hindeutet, wenn ich lassen Sie alles wie voreingestellt, dann sollte ich in der Lage zu laufen sowohl der resource-manager und der Knoten-manager auf der gleichen Maschine ?
    • Etwas off-topic , aber warum sollte Ressource-manager zeigen, wie Ampify in der port-scan Ausgabe des Befehls ?
    • Ja, wenn Sie verlassen Garn.resourcemanager.Adresse aus Ihrem yarn-site.xml dann Ihre ResourceManager abholen der Standard-port von 8032. Ich erwarte, dass die Standard-port-Konfiguration ermöglichen es Ihnen, Ressourcen-Manager und NodeManager auf dem gleichen host. Ihre /etc/services-Datei mit zugehörigen port 8040 mit ampify. Ich weiß nicht, etwas über ampify, aber ich vermute, es ist etwas, das in der Regel hört auf die 8040. Der lsof-Befehl einfach blind Zuordnung der port-Nummer an den Namen identifiziert, der in /etc/services. Es ist nicht bekannt, die tatsächliche Protokoll, damit es nicht zu wissen, dass dies wirklich GARN.
    • Chris, wenn ich die Standard-Einstellungen, was sollte ich angeben, in der yarn-site.xml in der slave-Knoten , soll ich das einfach weglassen, wird der Ressource-manager-Eigenschaften in der Adresse yarn-site.xml für die Standard-Bindungen auftreten ? Danke.
    • Es gibt eine weitere Komplikation in sich, dass die Standard-RM-Adresse ist 0.0.0.0:8032. Das ist gut wenn Sie alles auf einem Knoten, aber für eine verteilte Umgebung, die Sie brauchen, zu sagen, alle NodeManagers der einzige Wirt für den Ressourcen-Manager. Sie wird in der Tat müssen yarn.resourcemanager.address in Ihrem yarn-site.xml legen Sie zu so etwas wie rm.mydomain.com:8032, was auch immer Ihr hostname ist. (Danke für die Nachfrage. Ich hatte vergessen, über diesen Teil in meiner letzten Antwort.)
    • Dank ist, dass(Garn.resourcemanager.Adresse) die einzige Eigenschaft, die ich brauchen würde, um in die Sklaven?
    • Ja, ich glaube schon.

    InformationsquelleAutor Chris Nauroth
  2. 0

    Obige Fehlermeldung bedeutet, Sie versuchen, einen Prozess zu starten, die auf 8040, die bereits von einer anderen Instanz genutzt.

    Um loszuwerden, diese Fehler, müssen Sie beenden Sie den Prozess, die derzeit hören auf port 8040. Ihre lsof-Ausgabe sagt pid ist 28021. beenden Sie den Prozess mit dem folgenden Befehl ein, und starten Sie wieder

    kill -9 28021
    • Ich tötete es immer noch die gleichen Fehler , sieht aus wie der node manager ist erste Schritte zweimal , oder ist es der Fall, dass da diese Maschine auch läuft, der resource manager und resource manager läuft auch auf 8040 ?
    InformationsquelleAutor SachinJ
Schreibe einen Kommentar