8021 fehlgeschlagen Verbindung exception: java.net.ConnectException: Connection refused at org.apache.hadoop.ipc.Client.wrapException(Client.java:1095)
Hallo, ich bin versucht zu konfigurieren Hadoop 1.0. in pseudodistributed-Modus, indem Sie die folgenden dieses blog.
Aber wenn ich das pi Beispiel in der hadoop-distribution, bekomme ich die genannten Fehler im Titel. Kann mir bitte jemand helfen und mich leiten wie kann ich dieses problem beheben. Auch seine Anfrage, bitte vorschlagen-Lösung als auch, wenn möglich zusammen mit pinpinting das problem.
hier ist, was ich bekomme durch das laufen jps
8322 Jps
7611 SecondaryNameNode
7474 DataNode
7341 NameNode
Hier ist die komplette Fehlermeldung.
Number of Maps = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
12/05/16 13:11:56 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 0 time(s).
12/05/16 13:11:57 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 1 time(s).
12/05/16 13:11:58 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 2 time(s).
12/05/16 13:11:59 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 3 time(s).
12/05/16 13:12:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 4 time(s).
12/05/16 13:12:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 5 time(s).
12/05/16 13:12:02 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 6 time(s).
12/05/16 13:12:03 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 7 time(s).
12/05/16 13:12:04 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 8 time(s).
12/05/16 13:12:05 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 9 time(s).
java.net.ConnectException: Call to localhost/127.0.0.1:8021 failed on connection exception: java.net.ConnectException: Connection refused
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1095)
at org.apache.hadoop.ipc.Client.call(Client.java:1071)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at org.apache.hadoop.mapred.$Proxy2.getProtocolVersion(Unknown Source)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
at org.apache.hadoop.mapred.JobClient.createRPCProxy(JobClient.java:480)
at org.apache.hadoop.mapred.JobClient.init(JobClient.java:474)
at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:457)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1260)
at org.apache.hadoop.examples.PiEstimator.estimate(PiEstimator.java:297)
at org.apache.hadoop.examples.PiEstimator.run(PiEstimator.java:342)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.examples.PiEstimator.main(PiEstimator.java:351)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:64)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:701)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:656)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:434)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:560)
at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:184)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1202)
at org.apache.hadoop.ipc.Client.call(Client.java:1046)
... 24 more
können Sie ausführen, ein
Nein das tut es nicht:( wie kann ich es beheben?
Ich sehe deine Ausführung über den hadoop-mailing-Listen (die es ist nichts falsch mit) - haben Sie versucht mit der
vorausgesetzt, Sie tun dies auf einem Mac OSX system, stellen Sie sicher, dass System-Einstellungen - > Freigabe - > Remote-Login aktiviert ist
netstat -atn | grep LISTEN
und bestätigen, dass port 8021 lauscht?Nein das tut es nicht:( wie kann ich es beheben?
Ich sehe deine Ausführung über den hadoop-mailing-Listen (die es ist nichts falsch mit) - haben Sie versucht mit der
start-mapred.sh
- Skript (siehe meine Antwort)?vorausgesetzt, Sie tun dies auf einem Mac OSX system, stellen Sie sicher, dass System-Einstellungen - > Freigabe - > Remote-Login aktiviert ist
InformationsquelleAutor waqas | 2012-05-16
Du musst angemeldet sein, um einen Kommentar abzugeben.
Ihre
jps
Ausgabe zeigt, dass Sie nicht ein JobTracker noch TaskTracker laufen - daher die Verbindung Problem, wenn Sie versuchen zu kommunizieren, mit den jobtracker.Überprüfen Sie die Protokolle für den jobtracker (
$HADOOP_HOME/logs/*.jobtracker*.log
), um zu sehen, ob es eine Fehlermeldung mit einer Beschreibung, warum es noch nicht begonnen hat (wie haben Sie den start der cluster -start-all.sh
oderstart-dfs.sh
, vielleicht versuchen Sie es mitstart-mapred.sh
zu sehen, wenn Sie startet Ihre Karte reduzieren Dienste)?InformationsquelleAutor Chris White
Sieht aus wie das einige Problem mit der Verbindung zu tun.
Ist Ihre jobtracker und trasktracker richtig läuft ?
Sehen diese link
Edit:
Lesen Sie den Anhang A hier in Definitive Guide. Es verfügt über die gesamten Schritte für die Einrichtung eines hadoop-server in allen 3 Modi. Ich denke, dass Ihre Konfigurationen werden könnte, Probleme zu schaffen, so verwenden Sie diejenigen, die vorgeschrieben sind, in das Buch. Prüfen Sie auch, ob Passwort-weniger SSH ist in Ordnung, die auf Ihr setup.
siehe mein edit oben
Dank TejasP. Infact ich habe hadoop-0.20-setup auf meinem system und läuft gut, also es bedeutet, dass SSH ohne Passwort funktioniert. bitte korrigieren Sie mich, wenn ich falsch Liege(ich bin nicht gut in all dem Kommandozeilen-linux-Sachen)
ist es so, dass u mit der gleichen Konfiguration sowohl für hadoop-setups zur gleichen Zeit ? das könnte auch zu Problemen führen.
Nein, ich bin mit ein zu einer Zeit. Auch ich habe verschiedene ports für beide
InformationsquelleAutor Tejas Patil
traf ich dasselbe Problem, es ist becasue hadoop 1.0.x hat einen Unterschied müssen zwei Variablen in config hadoop_env.sh:
export HADOOP_HEAPSIZE=2000
Extra Java-runtime-Optionen. Standardmäßig leer.
export HADOOP_OPTS=-server
export HADOOP_OPTS="-Djava.Sicherheit.krb5.realm=OX.AC.UK -Djava.Sicherheit.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
wenn Sie fügen Sie diese beiden Variablen, Sie werden nicht sehen, keine Warnung oder Fehlermeldung beim Start-daemons, so dass Sie Ihr Problem zu beheben. viel Glück!
Wünsche, dass meine Antwort helfen kann andere Jungs:)
InformationsquelleAutor Haiping Fan
Aus der jps-Ausgang sieht aus wie die
TaskTracker
undJobTracker
werden nicht ausgeführt. Versuchen Sie es mit:Dies würde die
TaskTracker
undJobTracker
und versuchen Sie es erneut ausführen job.InformationsquelleAutor GotJazz