Tag: mapreduce

Wie es scheint, ich kann nicht hadoop zu starten, richtig. Ich bin mit hadoop 0.23.9: [msknapp@localhost sbin]$ hadoop namenode -format ... [msknapp@localhost sbin]$ ./start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /usr/local/cloud/hadoop-0.23.9/logs/hadoop-msknapp-namenode-localhost.localdomain.out localhost: starting datanode,

Ich habe ein problem beim starten einen Oozie-workflow: Config: <workflow-app name="Hive" xmlns="uri:oozie:workflow:0.4"> <start to="Hive"/> <action name="Hive"> <hive xmlns="uri:oozie:hive-action:0.2"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <configuration> <property> <name>oozie.hive.defaults</name> <value>hive-default.xml</value> </property> </configuration> <script>/user/hue/oozie/workspaces/hive/hive.sql</script> <param>INPUT_TABLE=movieapp_log_json</param> <param>OUTPUT=/user/hue/oozie/workspaces/output</param> <file>hive-default.xml#hive-default.xml</file> </hive> <ok to="end"/> <error to="kill"/> </action> <kill

Gibt es eine Möglichkeit zum abrufen der Anwendungs-ID beim laufen - zum Beispiel - die wordcount Beispiel mit der yarn Befehl? Ich einleiten möchten Sie einen job von einem anderen Prozess mit der yarn Befehl ein, und

Eigentlich habe ich m neu in hadoop und auch zu python .... Also meine Frage ist wie man ein python-Skript in hadoop..... Und auch ich schrieb einen wordcount Programm mit python..So, können wir das Skript ohne Verwendung

Ich Baue eine Anwendung, die verglichen werden, um eine dating-Anwendung. Habe ich einige Dokumente mit einer Struktur wie dieser: $ db.profile.finden().ziemlich() [ { "_id": 1, "firstName": "John", "lastName": "Smith", "fieldValues": [ "favouriteColour|red", "food|pizza", "food|chinese" ] }, {

Habe ich ein Hadoop-cluster 2.2 eingesetzt, die auf eine kleine Anzahl von leistungsstarken Maschinen. Ich habe eine Einschränkung zu verwenden GARN als das Gerüst, das ich bin nicht sehr vertraut mit. Wie kontrolliere ich die Anzahl der

Erstellte ich eine jar-Datei für wordcount in Hadoop 1.1.1 beim laufen die Welt Graf sein gibt mir folgenden Fehler: hduseros@MT2012018:/usr/local/hadoop$ bin/hadoop jar playground/wordcount.jar org.apache.hadoop.examples.WordCount /user/input/playground /user/output1 Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/hadoop/examples/WordCount : Unsupported major.minor version 51.0

Ich verarbeiten muss, benutzerdefinierte csv-Dateien als Eingabe und schreiben von csv-Dateien zurück auf das HDFS. Kann ich dies direkt innerhalb der Karte zu reduzieren-Klasse, wo die eigentliche aufgestellt? Zur Bearbeitung der csv-Dateien, ich bin mit opencsv library.

Ich versuche, berechnen einen Mittelwert, der aus einer Sammlung über den mongodb-java-Treiber, wie hier: DBObject condition = new BasicDBObject("pluginIdentifier", plugin.getIdentifier()); DBObject initial = new BasicDBObject(); initial.put("count", 0); initial.put("totalDuration", 0); String reduce = "function(duration, out) { out.count++; out.totalDuration+=duration.floatApprox;

Ich bemerkt, dass es zwei Sätze von Hadoop-Konfiguration Parameter: ein Parameter mit mapred.* und das andere mit mapreduce.. Ich vermute, dass diese vielleicht aufgrund der alten API vs. neue API, aber wenn ich mich nicht Irre, scheinen

Ich bin mit Java/Eclipse/Hadoop 2.2.0 (mit allen notwendigen Gläser), um eine sample-Map-Aufgabe Reduzieren (Einzelnen Knoten lokal) auf Ubuntu unter den unten angegebenen code aus, sondern die Begegnung mit Ausnahmen (stacktrace unten). Kann ich das Beispiel word count

describe filter_records; Gibt mir das die unten format: filter_records: {details1: (firstname: chararray,lastname: chararray,age: int,gender: chararray),details2: (firstname: chararray,lastname: chararray,age: int,gender: chararray)} Möchte ich die Anzeige der firstname von beiden details1 und details2. Ich versuchte dies: display_records = FOREACH

Ich bin versucht zu schreiben, eine neue Hadoop-job für die Eingabe der Daten ist etwas schief. Eine Analogie HIERFÜR wäre die word count Beispiel in Hadoop tutorial, außer, sagen wir ein bestimmtes Wort vorhanden ist, sehr Häufig.

Ich habe eine schreckliche Frage jetzt. Wenn ich die Ausführung eines Jobs in hadoop, map-Prozess war ok, die 100% erreicht, die mit nichts Fehler passiert ist. Wenn jedoch reduzieren Prozess läuft, wird es gestopt, während es erreichte

Ist dieser Aufruf um Hilfe bei HW-Aufgabe in Data Science Kurs, den ich auf Coursera, da konnte ich nicht erhalten, jede Beratung auf Coursera-forum. Ich habe meinen code, aber leider die Ausgabe nicht wieder das erwartete Ergebnis.

Bin ich mit einem cloudera-cluster in 3 virtuelle digitalwax Maschinen und versuchen, auszuführen hbase bulk-Ladung über eine Karte, reduzieren den job. Aber ich bekam immer die Fehlermeldung: error: Class org.apache.hadoop.hbase.mapreduce.HFileOutputFormat not found So, es scheint, dass die

Ich habe versucht, drucken Sie die Werte mit System.aus.println(), aber Sie erscheinen nicht auf der Konsole. Wie kann ich drucken Sie die Werte in einer map/reduce-Anwendung für debugging-Zwecke mit Hadoop? Dank, Deepak. Finden Sie hier stackoverflow.com/questions/23235343/... InformationsquelleAutor

Kürzlich, möchte ich analysieren, websites, und verwenden Sie dann BeautifulSoup zu filtern, was ich will und schreiben in der csv-Datei in hdfs. Nun bin ich auf die Filterung von website-code mit BeautifulSoup. Will ich mit mapreduce-Methode ausführen:

Ich versuche, mit Amazon s3-Speicher mit EMR. Allerdings, wenn ich derzeit mein code bekomme ich mehrere Fehler, wie java.lang.IllegalArgumentException: This file system object (hdfs://10.254.37.109:9000) does not support access to the request path 's3n://energydata/input/centers_200_10k_norm.csv' You possibly called FileSystem.get(conf)

Ich bin sehr viel ein Hadoop-Anfänger, aber in Hadoop 1.1.1, ich versuche zu tun, anzeigen -> reduzieren -> Karte -> reduzieren. Ich bin eine schwierige Zeit der Suche nach einem konkreten Beispiel, wie dies in Java. Ich

Wie viel Menge der Daten, die nicht qualifiziert zu sein kategorisiert als Bigdata? Was mit der Größe der Daten kann man entscheiden, dass dies ist die Zeit zu gehen für Technologien wie Hadoop und nutzen Sie die

Ich habe einen job für hadoop. Wenn der job angegeben ist, habe ich auch einige Mapper gestartet. Und jeder mapper schreiben einer Datei auf der Festplatte, wie Teil-m-00000 -, Teil-m-00001. So wie ich das verstehe, jeder mapper

Gibt es eine Möglichkeit, einen parameter in der job-Konfiguration von Mapper erreichen Sie von Reducer. Habe ich versucht den code unten Im Mapper: map(..) : context.getConfiguration().set("Sum","100"); In reducer: reduce(..) : context.getConfiguration().get("Sum"); Aber in reducer-Wert zurückgegeben wird, wie

Ich installiert hadoop 1.0.0 und ausprobiert Wort zählen beispielsweise (single node cluster). Es dauerte 2m 48secs zu vervollständigen. Dann habe ich versucht die standard linux word count Programm, der im 10 Millisekunden auf dem gleichen Satz (180

Traf ich ein sehr sehr seltsames problem. Die Reduzierstücke Arbeit tun, aber wenn ich überprüfen Sie die Ausgabe-Dateien, ich fand nur die Ausgabe von den Mappern. Wenn ich versuche zu Debuggen, fand ich das gleiche problem mit