Hadoop - java.net.ConnectException: Connection refused

Möchte ich eine Verbindung zu hdfs (localhost) und ich habe einen Fehler:

Anruf Von despubuntu-ThinkPad-E420/127.0.1.1 localhost:54310 fehlgeschlagen Verbindung exception: java.net.ConnectException: Connection refused; Für mehr details siehe: http://wiki.apache.org/hadoop/ConnectionRefused

Ich alle Schritte befolgen, die in anderen posts, aber ich nicht mein problem lösen. Ich benutze hadoop 2.7 und das ist-Konfigurationen:

core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/despubuntu/hadoop/name/data</value>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:54310</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

Ich geben Sie /usr/local/hadoop/bin/hdfs namenode -format und
/usr/local/hadoop/sbin/start-all.sh

Aber wenn ich geben "jps" das Ergebnis ist:

10650 Jps
4162 Main
5255 NailgunRunner
20831 Launcher

Ich brauche Hilfe...

** Aber wenn ich
Versuchen Sie 127.0.1.1 zu 127.0.0.1 im /etc/hosts - Datei. Neu starten, hadoop Prozesse.

InformationsquelleAutor Alex | 2015-04-27

  1. 4

    Stellen Sie sicher, dass die DFS, die auf port 9000 in core-site.xml ist tatsächlich gestartet. Sie können prüfen, mit jps Befehl. Sie können starten Sie es mit sbin/start-dfs.sh

    InformationsquelleAutor nikk

  2. 2

    Denke ich, dass Sie nicht, richten Sie Ihren hadoop-cluster richtig Folgen Sie bitte diesen Schritten :

    Schritt 1: beginnen Sie mit dem einrichten .bashrc:

    vi $HOME/.bashrc

    fügen Sie die folgenden Zeilen am Ende der Datei: (ändern Sie die hadoop-Zuhause wie deins)

    # Set Hadoop-related environment variables
export HADOOP_HOME=/usr/local/hadoop

# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-6-sun

# Some convenient aliases and functions for running Hadoop-related commands
unalias fs &> /dev/null
alias fs="hadoop fs"
unalias hls &> /dev/null
alias hls="fs -ls"

# If you have LZO compression enabled in your Hadoop cluster and
# compress job outputs with LZOP (not covered in this tutorial):
# Conveniently inspect an LZOP compressed file from the command
# line; run via:
#
# $ lzohead /hdfs/path/to/lzop/compressed/file.lzo
#
# Requires installed 'lzop' command.
#
lzohead () {
    hadoop fs -cat $1 | lzop -dc | head -1000 | less
}

# Add Hadoop bin/directory to PATH
export PATH=$PATH:$HADOOP_HOME/bin

    Schritt 2 : Bearbeiten hadoop-env.sh wie folgt:

    # The java implementation to use.  Required.
export JAVA_HOME=/usr/lib/jvm/java-6-sun

    Schritt 3 : Jetzt erstellen Sie ein Verzeichnis und stellen Sie den gewünschten Benutzern und Berechtigungen

    $ sudo mkdir -p /app/hadoop/tmp
$ sudo chown hduser:hadoop /app/hadoop/tmp
# ...and if you want to tighten up security, chmod from 755 to 750...
$ sudo chmod 750 /app/hadoop/tmp

    Schritt 4 : Bearbeiten core-site.xml

    <property>
  <name>hadoop.tmp.dir</name>
  <value>/app/hadoop/tmp</value>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
</property>

    Schritt 5 : Bearbeiten mapred-site.xml

    <property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
</property>

    Schritt 6 : Bearbeiten hdfs-site.xml

    <property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

    schließlich formatieren Sie Ihre hdfs (Sie müssen dies tun, wenn Sie das erste mal einrichten eines Hadoop-Clusters)

     $ /usr/local/hadoop/bin/hadoop namenode -format

    hoffe, dies wird Ihnen helfen,

    vielen Dank, es hat funktioniert für das Problem mit dem tmp Ordner nicht erstellt
    In meinem Fall, ich hatte einfach zu entfernen, ein trailing slash aus der Zeile export JAVA_HOME=/usr/lib/jvm/java-6-sun/ in der Datei hadoop-env.sh

    InformationsquelleAutor Yosser Abdellatif Goupil

  3. 0

    Ich hab das gleiche Problem. Sie können sehen, Name-Knoten, DataNode, Ressourcen-manager und Task-manager-daemons ausgeführt werden, wenn Sie geben. So einfach tun start-all.sh dann alle Dämonen beginnen Sie zu laufen und Sie haben nun Zugriff auf HDFS.

    InformationsquelleAutor Durga Chava

  4. 0

    Erste Prüfung ist, wenn java-Prozessen arbeiten oder nicht, durch Eingabe jps Befehl auf der Kommandozeile. Läuft auf jps Befehl die folgenden Prozesse sind zwingend erforderlich, um ausführen-->>

    • DataNode
    • jps
    • NameNode
    • SecondaryNameNode

    Wenn die folgenden Prozesse nicht läuft, dann starten Sie zunächst den Namen zum Knoten mit dem folgenden Befehl-->>
    start-dfs.sh

    Dieser arbeitete für mich, und entfernt die Fehler, die Sie angegeben.

    InformationsquelleAutor Gaurav Chandani

  5. 0

    War ich immer zu ähnlichen Fehler. Bei der Kontrolle habe ich festgestellt, dass meine namenode service war im Status "beendet".

    überprüfen Sie den status der namenode sudo status hadoop-hdfs-namenode

    wenn Ihr nicht in Start/Status "wird ausgeführt"

    start namenode-service sudo start hadoop-hdfs-namenode

    Bitte beachten Sie, dass es dauert seine Zeit, bevor der name node service wird voll funktionsfähig nach einem Neustart. Es liest alle hdfs änderungen im Speicher. Sie können überprüfen, die Fortschritte dieses in /var/log/hadoop-hdfs/mit Befehl tail -f /var/log/hadoop-hdfs/{Latest log file}

    InformationsquelleAutor Manish Mehra

Schreibe einen Kommentar