Hadoop dfs-Fehler : INFO ipc.AUFTRAGGEBER: Wiederholung connect to server: localhost

Habe ich erfolgreich eingerichtet, ein Hadoop-cluster mit 6 Knoten (master, salve<1-5>)

  • Formatiert die namenode -> fertig
  • Starten und Herunterfahren cluster -> funktioniert einwandfrei
  • Ausführen "hadoop dfs -ls /" gibt diese Fehler -> Fehler: INFO ipc.AUFTRAGGEBER: Wiederholung connect to server: localhost

Ich habe versucht zu sehen, die Dienste laufen mit:

sudo netstat -plten | grep java
hduser@ubuntu:~$ sudo netstat -plten | grep java

tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1000 93307 11384/java
tcp 0 0 0.0.0.0:44440 0.0.0.0:* LISTEN 1000 92491 11571/java
tcp 0 0 0.0.0.0:40633 0.0.0.0:* LISTEN 1000 92909 11758/java
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1000 93449 11571/java
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 1000 93673 11571/java
tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 1000 93692 11571/java
tcp 0 0 127.0.0.1:40485 0.0.0.0:* LISTEN 1000 93666 12039/java
tcp 0 0 0.0.0.0:44582 0.0.0.0:* LISTEN 1000 93013 11852/java
tcp 0 0 10.42.43.1:54310 0.0.0.0:* HÖREN 1000 92471 11384/java
tcp 0 0 10.42.43.1:54311 0.0.0.0:* HÖREN 1000 93290 11852/java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1000 93460 11758/java
tcp 0 0 0.0.0.0:34154 0.0.0.0:* LISTEN 1000 92179 11384/java
tcp 0 0 0.0.0.0:50060 0.0.0.0:* LISTEN 1000 94200 12039/java
tcp 0 0 0.0.0.0:50030 0.0.0.0:* LISTEN 1000 93550 11852/java

Seine master-IP-gebunden an port 54310 und 54311 und nicht die localhost(loopback).

Den conf-site.xml richtig konfiguriert wurde:

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
</property>
</configuration>

Warum es erwarten localhost gebunden, 54310, anstatt die master-Elche habe ich hier konfiguriert. Hilfe zu schätzen. Wie kann ich dies beheben ??

Cheers

InformationsquelleAutor stholy | 2012-11-08

  1. 1

    Offenbar jemand Hinzugefügt, die älteren hadoop(1.0.3) bin-Verzeichnis in der path-variable bevor ich Sie Hinzugefügt hatte, die neue hadoop(1.0.4) bin-Verzeichnis. Und so, wenn ich ran "hadoop" von der CLI ausführen der Binärdateien von den älteren hadoop-eher als die neuen.

    Lösung:

    • Entfernen Sie die gesamten Ablage-Pfad der älteren hadoop -

    • Herunterfahren cluster - Ausfahrt terminal

    • Login in das neue terminal-Sitzung

    • Start-Knoten

    • Versucht hadoop dfs -ls / -> Funktioniert !!!! Gut, Lektion gelernt.

    InformationsquelleAutor stholy

  2. 0

    Sieht aus wie viele Menschen lief in dieses problem.

    Möglicherweise gibt es keine Notwendigkeit, eine änderung der /etc/hosts, und stellen Sie sicher, dass Sie Zugriff auf master-und slave von einander, und Ihre core-site.xml sind die gleichen, nach rechts zeigenden master-Knoten und port-Nummer.

    Dann ausführen $HADOOP/bin/stop-all.sh, $HADOOP/bin/start-all.sh auf dem master-Knoten NUR. (Falls es auf der slave-könnte zu Problemen führen). Verwenden JPS, um zu überprüfen, ob alle Dienste sind wie folgt.

    Auf dem master-Knoten:
    4353 DataNode
    4640 JobTracker
    4498 SecondaryNameNode
    4788 TaskTracker
    4989 Jps
    4216 NameNode

    Auf dem slave-Knoten:
    3143 Jps
    2827 DataNode
    2960 TaskTracker

    InformationsquelleAutor Ning

  3. 0

    Darüber hinaus überprüfen Sie Ihre firewall-Regeln zwischen den namenode und datanode

    InformationsquelleAutor Billz

Schreibe einen Kommentar