Tag: hadoop2

Als ich bin unten folgenden Verfahren: http://www.codeproject.com/Articles/757934/Apache-Hadoop-for-Windows-Platform https://www.youtube.com/watch?v=VhxWig96dME. Während der Ausführung des Befehls c:/hadoop-2.3.0/bin/hadoop namenode -format bekam ich die Fehlermeldung, die unten gegeben **DEPRECATED:Use of this script to execute hdfs command is deprecated. Instead use the hdfs

Immer die folgende Fehlermeldung mit Bezug auf den container, während die Abgabe einer spark-Applikation zu GARN. Die HADOOP(2.7.3)/SPARK (2.1) - Umgebung ausgeführt wird, ein pseudo-distributed mode in einem single-node-cluster. Die Anwendung funktioniert perfekt, wenn gemacht, um die

Ich bin mit Hadoop-2.4.0 und mein system configs sind 24 cores, 96 GB RAM. Ich bin mit folgenden configs mapreduce.map.cpu.vcores=1 yarn.nodemanager.resource.cpu-vcores=10 yarn.scheduler.minimum-allocation-vcores=1 yarn.scheduler.maximum-allocation-vcores=4 yarn.app.mapreduce.am.resource.cpu-vcores=1 yarn.nodemanager.resource.memory-mb=88064 mapreduce.map.memory.mb=3072 mapreduce.map.java.opts=-Xmx2048m Kapazität Scheduler configs queue.default.capacity=50 queue.default.maximum_capacity=100 yarn.scheduler.capacity.root.default.user-limit-factor=2 Mit den oben genannten

Ich versuche zu implementieren, eine app, => suchen Sie sich die maximale Temperatur aus Wetterdaten (exepmle von Tom White ' s Buch Hadoop: Definitive Guide (3rd edition)) Verwendung von Hadoop. Ich habe heruntergeladen und installiert Hadoop 2.6.0

Ich versuche zu lernen MapReduce aber ich bin ein wenig verloren jetzt. http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Usage Besonders diese Anleitung: Compile WordCount.java and create a jar: $ bin/hadoop com.sun.tools.javac.Main WordCount.java Geben, wenn ich in hadoop in meinem terminal bin ich in

Habe ich erfolgreich installiert, Java, Hadoop, MySQL. Ich bin immer diese Fehlermeldung beim ausführen von hive. Ich war immer die Datei Erlaubnis Fehler, bevor Sie die behoben haben, indem Sie die metastore_db Ordner unter hive-Ordner auf 777

Möchte ich schreiben MapReduce-jobs in Java. Für die, die ich installiert haben, Hadoop 2.6.0 in Ubuntu 14.04 LTS VM. Das Installationsverzeichnis ist /usr/local/hadoop. Nun nach vielen tutorials, finden Sie ein Eclipse-plugin in /contrib - Verzeichnis und fügen

Gemäß meinem Verständnis sqoop verwendet wird zum importieren oder exportieren von Tabellen/Daten aus der Datenbank, die HDFS oder Hive oder HBASE. Und wir direkt importieren können Sie eine einzelne Tabelle oder die Liste von Tabellen. Intern mapreduce-Programm

Ich würde gerne wissen, was ist der Ersatz von NULLIF im Bienenstock? Ich bin mit COALESCE aber seinen Dienst nicht meine Anforderung. Meine query-Anweisung ist so etwas wie : COALESCE(A,B,C) AS D COALESCE zurück erste NICHT-NULL-Wert. Aber

Ich bin dabei einige der Aufbereitung der Daten mit einem single-node-hadoop-job. Die mapper/combiner in meinem job, Ausgänge viele Tasten (mehr als 5M oder 6M) und natürlich die Arbeit geht langsam, oder sogar ausfällt. Der mapping-phase läuft bis

Ich bin neu mit Hadoop, ich habe eine zu importierende Datei in hadoop über die Kommandozeile (ich Zugriff auf die Maschine über SSH) Wie kann ich die Datei importieren in hadoop? Wie kann ich überprüfen, danach (Befehl)?

Wo ist der classpath für hadoop setzen? Wenn ich führen Sie den nachstehenden Befehl gibt mir die classpath. Wo ist der classpath gesetzt? bin/hadoop classpath Ich bin mit hadoop 2.6.0 InformationsquelleAutor Bourne | 2015-02-01

Ich bin neu in hadoop und ich bin noch nicht vertraut auf seine Konfiguration. Ich möchte nur Fragen, die maximale container pro Knoten. Ich bin mit einem single-node-cluster (6GB ram laptop) und unten ist mein mapred und

Habe ich installiert hadoop 2.6.0 und ich Spiele mit ihm um. Ich versuche die Pseudo-distributed setup und ich bin nach den Anweisungen auf http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Execution Ich bin stecken in der 5. Schritt, d.h. wenn ich den Befehl ausführen

Ich habe ein multi-node Hadoop Cluster. Der NameNode und die Secondary namenode läuft auf der gleichen Maschine und der cluster nur einen Datanode. Alle Knoten, die konfiguriert sind, die auf Amazon EC2-Maschinen. Folgenden werden die Konfigurations-Dateien auf

Folge ich der Anleitung von michael-noll so weit, aber habe hier hängengeblieben. hduser@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/gutenberg /user/hduser/gutenberg DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. 13/11/11

Ich versuche zu installieren, die einen einzelnen Knoten einrichten von Hadoop auf Ubuntu. Ich begann nach der Anweisungen, die auf dem Hadoop 2.3 docs. Habe ich aber anscheinend fehlt etwas sehr einfach. Erste, es sagt Um eine

Hadoop ist Konsistent und partition-tolerant, d.h. Es fällt unter die CP der Kategorie der CAP theoram. Hadoop ist nicht verfügbar, da alle Knoten sind abhängig von der name-Knoten. Wenn die name-Knoten, fällt der cluster ausfällt. Aber in

Bin ich vorbei input-und output-Ordner als Parameter, um mapreduce-word-count-Programm aus der Webseite. Immer folgende Fehlermeldung: HTTP Status 500 - Request-Verarbeitung ist fehlgeschlagen; verschachtelte Ausnahme ist java.lang.IllegalArgumentException: AWS Access Key ID und Secret Access Key angegeben werden müssen,

Den Namenode in der Hadoop-Architektur ist ein single point of failure. Wie gehen Menschen, die haben große Hadoop-Cluster mit diesem problem fertig?. Gibt es eine in der Industrie akzeptierte Lösung, die gut funktioniert hat, wobei eine secondary