Spark-Cluster, es konnte keine Verbindung zum master. (WARN-Arbeiter: Failed to connect to master)
Ich habe eine spark-cluster mit 2 Knoten, master(172.17.0.229)
und slave(172.17.0.228)
. Ich habe bearbeitet spark-env.sh
Hinzugefügt SPARK_MASTER_IP=127.17.0.229
und Sklaven, Hinzugefügt 172.17.0.228
.
Beginne ich mein master-Knoten mithilfe von start-master.sh
- und slave-Knoten mit start-slaves.sh
.
Kann ich sehen, dass die webUI mit einem master-Knoten mit nicht-Arbeiter, aber der log von worker-Knoten ist:
Spark Command: /usr/lib/jvm/java-7-oracle/jre/bin/java -cp /usr/local/src/spark-1.5.2-bin-hadoop2.6/sbin/../conf/:/usr/local/src/spark-1.5.2-bin-hadoop$
========================================
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/12/18 14:17:25 INFO Worker: Registered signal handlers for [TERM, HUP, INT]
15/12/18 14:17:26 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/12/18 14:17:26 INFO SecurityManager: Changing view acls to: ujjwal
15/12/18 14:17:26 INFO SecurityManager: Changing modify acls to: ujjwal
15/12/18 14:17:26 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(ujjwal); users wit$
15/12/18 14:17:27 INFO Slf4jLogger: Slf4jLogger started
15/12/18 14:17:27 INFO Remoting: Starting remoting
15/12/18 14:17:27 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:47599]
15/12/18 14:17:27 INFO Utils: Successfully started service 'sparkWorker' on port 47599.
15/12/18 14:17:27 INFO Worker: Starting Spark worker 172.17.0.228:47599 with 2 cores, 2.7 GB RAM
15/12/18 14:17:27 INFO Worker: Running Spark version 1.5.2
15/12/18 14:17:27 INFO Worker: Spark home: /usr/local/src/spark-1.5.2-bin-hadoop2.6
15/12/18 14:17:27 INFO Utils: Successfully started service 'WorkerUI' on port 8081.
15/12/18 14:17:27 INFO WorkerWebUI: Started WorkerWebUI at http://172.17.0.228:8081
15/12/18 14:17:27 INFO Worker: Connecting to master 127.17.0.229:7077...
15/12/18 14:17:27 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://[email protected]:7077] has failed, address is now$
15/12/18 14:17:27 WARN Worker: Failed to connect to master 127.17.0.229:7077
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://[email protected]:7077/), Path(/user/Master)]
at akka.actor.ActorSelection$$anonfun$resolveOne$1.apply(ActorSelection.scala:65)
at akka.actor.ActorSelection$$anonfun$resolveOne$1.apply(ActorSelection.scala:63)
at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32)
at akka.dispatch.BatchingExecutor$AbstractBatch.processBatch(BatchingExecutor.scala:55)
at akka.dispatch.BatchingExecutor$Batch.run(BatchingExecutor.scala:73)
at akka.dispatch.ExecutionContexts$sameThreadExecutionContext$.unbatchedExecute(Future.scala:74)
at akka.dispatch.BatchingExecutor$class.execute(BatchingExecutor.scala:120)
at akka.dispatch.ExecutionContexts$sameThreadExecutionContext$.execute(Future.scala:73)
at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40)
at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:248)
at akka.pattern.PromiseActorRef.$bang(AskSupport.scala:266)
at akka.actor.EmptyLocalActorRef.specialHandle(ActorRef.scala:533)
at akka.actor.DeadLetterActorRef.specialHandle(ActorRef.scala:569)
at akka.actor.DeadLetterActorRef.$bang(ActorRef.scala:559)
at akka.remote.RemoteActorRefProvider$RemoteDeadLetterActorRef.$bang(RemoteActorRefProvider.scala:87)
at akka.remote.EndpointWriter.postStop(Endpoint.scala:557)
at akka.actor.Actor$class.aroundPostStop(Actor.scala:477)
at akka.remote.EndpointActor.aroundPostStop(Endpoint.scala:411)
at akka.actor.dungeon.FaultHandling$class.akka$actor$dungeon$FaultHandling$$finishTerminate(FaultHandling.scala:210)
at akka.actor.dungeon.FaultHandling$class.terminate(FaultHandling.scala:172)
at akka.actor.ActorCell.terminate(ActorCell.scala:369)
at akka.actor.ActorCell.invokeAll$1(ActorCell.scala:462)
Vielen Dank für Ihren Vorschlag.
Sie können sehen, "WARNEN die Arbeiter: es konnte keine Verbindung zum master 127.17.0.229:7077". überprüfen Sie Ihre firewall, meine Vermutung ist, Ihre master-worker Kommunikation port ist blockiert
Ich hatte meinen Meister ip Tippfehler. Trotzdem danke.
Ich hatte meinen Meister ip Tippfehler. Trotzdem danke.
InformationsquelleAutor user3180835 | 2015-12-18
Du musst angemeldet sein, um einen Kommentar abzugeben.
In der Regel, überprüfen der IP, dass Ihre Arbeiter zu verbinden versucht, um gegen das berichtet
spark://...:7077
- Adresse auf der web-Benutzeroberfläche auf 172.17.0.229 port 8080 wird helfen, festzustellen, ob die Adresse korrekt ist.In diesem speziellen Fall, es sieht aus wie Sie haben ein Tippfehler; ändern
Lesen:
(Sie scheinen zu haben, 127/172 invertiert).
Bitte akzeptieren Sie die Antwort, wenn es in der Lage ist, zu klären Ihre Zweifel,so dass es nützlich sein wird für andere.
InformationsquelleAutor Dennis Huo
Mein Problem war ein Versionskonflikt zwischen der Funke java-Bibliothek war ich über (2.0.0) und die version des spark-cluster (2.2.1)
InformationsquelleAutor Michael