hadoop datanode startup fail - Falsche Konfiguration: namenode-Adresse dfs.namenode.servicerpc-Adresse oder dfs.namenode.rpc-Adresse ist nicht konfiguriert

Ich versuche zum einrichten von Hadoop-Cluster mit einem namenode und zwei datanodes(slave1 und slave2) also ich habe die zip-Datei aus dem Apache Hadoop und entpackt es in den namenode und eine(slave1) der datanodes.

Also machte ich alle Konfigurationen(Formatierung der namenode) master/slave1 und erfolgreich in die slave1 mit dem Meister, was bedeutet, dass ich in der Lage bin einen Auftrag zu übergeben und zu sehen, das datanode-Instanz in der admin-UI.

Also ich Zip die ganze hadoop-installation in die slave1 und entpackt es in den slave2 und verändert einige property-Werte für tmp-Verzeichnis und Umgebungsvariablen wie JAVA_HOME. Ich wusste nicht, berühren Sie die master-URL (fs.defaultFS) in der core-site.xml.

Wenn ich versuche zu starten datanode in slave2, ich bin immer diese Fehlermeldung.

java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured

Es ist seltsam, dass ich nicht geben Sie diese Eigenschaften in der slave1 und bin in der Lage zu starten datanode in slave1, ohne jedes problem, aber es wirft diese Fehlermeldung in der slave2, obwohl alle Konfigurationen gleich sind.

Fand ich diese links im Zusammenhang mit diesem problem, aber es funktioniert nicht in meinem Umfeld.

  1. javaioioexception-falsch
  2. dfs-namenode-servicerpc-Adresse-oder-dfs-namenode-rpc-Adresse-ist-nicht konfiguriert
  3. falsche Konfiguration-namenode-Adresse-dfs-namenode-rpc-Adresse-ist-nicht-config

Ich bin mit hadoop 2.4.1 und JDK1.7 auf centos.

Wäre es sehr hilfreich, wenn jemand, der hatte dieses problem bereits herausgefunden und kann einige Informationen teilen.

Dank.

  • Nur versuchen, Sie zu kopieren alle config Dateien, die Sie geändert für master Knoten slave1 und slave2 Knoten. Starten Sie die hadoop-Dienste.
InformationsquelleAutor user826323 | 2015-07-13
  1. 1

    Diese Schritte das problem bei mir gelöst:

    1. export HADOOP_CONF_DIR = $HADOOP_HOME/etc/hadoop -
    2. echo $HADOOP_CONF_DIR
    3. hdfs namenode -format
    4. hdfs getconf -namenodes
    5. .start-dfs.sh

    Dann, Hadoop kann richtig begonnen.

    InformationsquelleAutor Hamdi Charef
  2. 0

    Ich hatte das gleiche problem wie Ihr.

    Wenn ich den Befehl scp zum kopieren von Konfigurationen von Master auf Slaves, dieser Befehl hatte nicht wirklich ersetzt Ihre Dateien. Nachdem ich entfernt den gesamten hadoop-Ordner und copyed wieder das porblem gelöst.

    Ich schlage vor, Sie prüfen die configs noch ein mal in Ihrem Slave2.

    Glück.

    InformationsquelleAutor xiao sun
  3. 0

    wenn Ihr hostname enthält Zeichen"_", z.B. "my_host" ändern Sie ihn auf "myhost"
    vergessen Sie nicht, zu ändern Hostnamen in core-site.xml auch.

    InformationsquelleAutor nik
  4. 0

    Was alles, was Sie tun müssen, nur config core-site.xml als:

    <property>
<name>fs.defaultFS</name>
<value>hdfs://slave:9000</value>
</property>

    Bedeutet es konfigurieren dfs.namenode.rpc-address.

    Einen Fehler Erfahrung, die ich begegnen.
    Mit gleichen Fehler Massagen wie-Frage beschreiben.

    (Falsche Schreibweise von Namen der Eigenschaft)

    <property>
<name>fs.defautFS</name>
<value>hdfs://slave:9000</value>
</property>
    InformationsquelleAutor cutd
  5. -1

    War ich auch begegnet das gleiche problem wie Ihr. Die Ursachen sind:
    Konfigurieren Sie die falschen Dateien wie hadoop-env.sh, hdfs-site.xml, core-site.xml, mapred-site.xml. Diese Dateien sind in der /usr/local/hadoop/etc/hadoop Verzeichnis statt /usr/local/hadoop/conf wie die Vorherige version.
    Darüber hinaus gibt es eine Datei wie mapred-site.xml.template im /usr/local/hadoop/etc/hadoop Verzeichnis, daher müssen Sie diese Datei kopieren, in andere Datei wie dieser Befehl hduser@localhost:~$ cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

    Ich schlage vor, Sie Folgen Sie dieser Anleitung, um re-konfigurieren Sie Ihr system.
    Installation von hadoop, die auf einzelne Knoten
    .
    Von hier aus können Sie erkunden Ihr problem, wenn Sie die Installation in multi-node -

    InformationsquelleAutor Trinhkhoi
  6. -2
    <configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/namenode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/datanode</value>
    </property>
</configuration>

    Geben Sie die Berechtigungen für den Benutzer auf die Ordner zugreifen.

    • Es funktioniert nicht. Ich habe sogar 777 für die Verzeichnisse und deaktiviert alle firewalls.
    InformationsquelleAutor Naren
Schreibe einen Kommentar