Tag: yarn

Wie es scheint, ich kann nicht hadoop zu starten, richtig. Ich bin mit hadoop 0.23.9: [msknapp@localhost sbin]$ hadoop namenode -format ... [msknapp@localhost sbin]$ ./start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /usr/local/cloud/hadoop-0.23.9/logs/hadoop-msknapp-namenode-localhost.localdomain.out localhost: starting datanode,

Mir läuft Spark mit GARN. Aus dem link: http://spark.apache.org/docs/latest/running-on-yarn.html Fand ich die Erklärung von unterschiedlichen Garn-Modi, d.h. die --master option, mit der Funke laufen kann: "Es gibt zwei Modi bereitstellen, die verwendet werden können, um zu starten

Habe ich ein Hadoop-cluster 2.2 eingesetzt, die auf eine kleine Anzahl von leistungsstarken Maschinen. Ich habe eine Einschränkung zu verwenden GARN als das Gerüst, das ich bin nicht sehr vertraut mit. Wie kontrolliere ich die Anzahl der

Läuft ein spark-streaming-Arbeit mit Garn als Ressourcen-manager, zu bemerken, dass diese beiden Verzeichnisse sind immer gefüllt, bis auf die Daten der Knoten und wir laufen aus dem Raum, wenn wir laufen nur für paar min ist /tmp/hadoop/data/nm-local-dir/filecache

Ist die sparklyr - R-Paket in der Lage, eine Verbindung zu GARN verwaltete hadoop-Cluster? Dies scheint nicht dokumentiert werden, in dem cluster-deployment Dokumentation. Mit der SparkR - Paket, die Schiffe mit Spark ist es möglich, durch tun:

Ich bin mit spark version 1.6.3 und yarn version 2.7.1.2.3 kommt mit HDP-2.3.0.0-2557. Weil, spark version ist zu alt, das HDP-version, die ich benutze, ich benutze lieber eine andere Funke als Garn-Modus aus der Ferne. Hier ist,

Immer die folgende Fehlermeldung mit Bezug auf den container, während die Abgabe einer spark-Applikation zu GARN. Die HADOOP(2.7.3)/SPARK (2.1) - Umgebung ausgeführt wird, ein pseudo-distributed mode in einem single-node-cluster. Die Anwendung funktioniert perfekt, wenn gemacht, um die

Bin ich mit hive 1.2.0 und hadoop 2.6.0. Wann immer ich bin mit Bienenkorb auf meinem Rechner... select-Abfrage funktioniert einwandfrei, aber bei count(*) es zeigt folgenden Fehler: Diagnosemeldungen für diese Aufgabe: Container-Einführung für gescheitert container_1434646588807_0001_01_000005 : org.apache.hadoop.Garn.Ausnahmen.InvalidAuxServiceException:

Ich bin mit Hadoop-2.4.0 und mein system configs sind 24 cores, 96 GB RAM. Ich bin mit folgenden configs mapreduce.map.cpu.vcores=1 yarn.nodemanager.resource.cpu-vcores=10 yarn.scheduler.minimum-allocation-vcores=1 yarn.scheduler.maximum-allocation-vcores=4 yarn.app.mapreduce.am.resource.cpu-vcores=1 yarn.nodemanager.resource.memory-mb=88064 mapreduce.map.memory.mb=3072 mapreduce.map.java.opts=-Xmx2048m Kapazität Scheduler configs queue.default.capacity=50 queue.default.maximum_capacity=100 yarn.scheduler.capacity.root.default.user-limit-factor=2 Mit den oben genannten

Ich für das grundlegende Beispiel der Hortonworks' Garn-Anwendung Beispiel. Die Anwendung fehlschlägt, und ich will in den logs zu Lesen, um herauszufinden, warum. Aber ich finde keine Dateien auf die erwartete Position ( /HADOOP_INSTALL_FOLDER/logs ), wo die

Einen Knoten in mein GARN-cluster hat 64GB Speicher und 24 Kerne. Ich legen Sie die folgenden Eigenschaften in der yarn-site.xml: <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>32768</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>16</value> </property> Aber ich fand noch die nodemanager in der Knoten

Sehe ich exit-codes und der exit-Status die ganze Zeit beim laufen spark auf Garn: Hier sind ein paar: CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ...failed 2 times due to AM Container for application_1431523563856_0001_000002 exited with exitCode: 10... ...Exit

Ich weiß nicht, wie um diesen Fehler zu beheben: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, taskId=task_1449805139484_0001_1_00_000003, diagnostics=[AttemptID:attempt_1449805139484_0001_1_00_000003_0 Info:Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hadoop/gridmix-kon/input/_temporary/1/_temporary/attempt_14498051394840_0001_m_000003_0/part-m-00003/segment-121 could only be replicated to 0 nodes instead of minReplication (=1). There are 4 datanode(s) running

Habe ich einige text-Dateien, und ich möchte eine RDD mit diesen Dateien. Die text-Dateien werden gespeichert in "Folder_1" und "Folder_2' und diese Ordner sind in dem Ordner gespeichert, 'text_data' Wenn die Dateien gespeichert sind, in den lokalen

Nach der Ausführung des hadoop-jar-Befehl zum ausführen der Standard-word-count-Programm, erhalte ich die folgenden Ausgaben. java.lang.NoClassDefFoundError: org/apache/hadoop/service/CompositeService and Could not find the main class: org.apache.hadoop.mapreduce.v2.app.MRAppMaster Ich glaube, dass ich nicht gesetzt hadoop classpath explizit. Wie ich es eingestellt

Habe ich einige Spark-Anwendungen auf eine GARN-cluster. Die Anwendung zeigt sich in der "Alle Anwendungen" - Seite in das GARN UI http://host:8088/cluster aber die yarn application -list Befehl nicht geben keine Ergebnisse. Was könnte die Ursache sein

Ich habe versucht, Sie zu überwinden plötzliches problem. Befor das problem, das ich habe alte VM. Ich heruntergeladen habe die neue VM und kann immer noch nicht meinen Auftrag ausgeführt. Ich bekomme Java heap space Fehler. Ich

Habe ich verstanden, GARNE und FUNKEN. Aber ich möchte wissen, wenn ich das GARN und die SPARK-Verarbeitungs-engine. Was sind die verschiedenen Fallstudien, dass ich mich identifizieren kann den Unterschied zwischen Garn und Funken. InformationsquelleAutor chandu kavar |

Ich versuche zu setup die neuesten Hadoop 2.2 single-node-cluster unter Ubuntu 13.10 64 bit. das OS ist eine frische installation, und ich habe versucht mit java-6 64 bit und java 7 64 bit. Nachdem Sie die Schritte

Den Funken docs haben folgende Absatz, der desceibes der Unterschied zwischen Garn-client-und-Garn-cluster: Gibt es zwei Modi bereitstellen, die verwendet werden können, um zu starten Spark-Anwendungen auf GARN. Im cluster-Modus, der Funke Treiber läuft in einer Anwendung master-Prozess,

Ich habe die CDH4 tar für Hadoop mit Garn, und jobs laufen gut, aber ich kann nicht herausfinden, wo Sie zum anzeigen der Protokolle von meinem job. In MRv1, ich ging einfach auf den JobTracker web app,

Ich bin mit dem folgenden Scala-code (wie eine benutzerdefinierte spark-submit wrapper) zum senden einer Spark-Applikation zu einem GARN cluster: val result = Seq(spark_submit_script_here).!! Alles, was ich habe, zum Zeitpunkt der Einreichung ist spark-submit und die Spark-application-jar (keine

Sind die folgenden meine Konfiguration : **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GB die Vcores im hadoop-cluster angezeigt, die 8GB aber ich weiß nicht, wie die

Problem:, Wenn ich behaupte, einen job zu meiner hadoop 2.2.0-cluster es nicht zeigen, bis in der job-tracker aber der Auftrag erfolgreich abgeschlossen wurde. Durch dieses kann ich den Ausgang und es läuft korrekt und druckt die Ausgabe,

Ich habe ein 3 node Hadoop-cluster. Auf dem master-Knoten, die ich sehen kann, [hadoop-conf]$ jps 16856 DataNode 17051 SecondaryNameNode 16701 NameNode 21601 ResourceManager 21742 NodeManager 18335 JobHistoryServer und auf der slave-Knoten, sehe ich [fedora20-template dfs]$ jps 28677