Tag: hadoop

Ich einige batch-jobs mit Daten-Eingängen, die sich ständig verändern und ich habe Probleme bei der Bereitstellung der Kapazität. Ich bin mit wirbeln zu tun, die intial setup, aber sobald ich starten, zum Beispiel, 5 Rechner, die ich

Wie es scheint, ich kann nicht hadoop zu starten, richtig. Ich bin mit hadoop 0.23.9: [msknapp@localhost sbin]$ hadoop namenode -format ... [msknapp@localhost sbin]$ ./start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /usr/local/cloud/hadoop-0.23.9/logs/hadoop-msknapp-namenode-localhost.localdomain.out localhost: starting datanode,

Habe ich gerade fertig mit der Installation von Hadoop 0.20.2 unter Cygwin auf Windows 7 mit Eclipse Helios (3.6). Hadoop ist nun vollständig gestartet ist, und ich versuche, führen Sie eine test-Anwendung in eine neu erstellte MapReduce-test-Projekt

Habe ich ein python-script, das derzeit greift auf eine API gibt JSON. Es nimmt dann den JSON-string und speichert es als eine Datei auf dem lokalen Dateisystem, auf dem ich dann verschieben Sie Sie in HDFS manuell.

Ich fürchte, ich verstehe nicht, das timing Ergebnisse eines Map-reduce-job. Zum Beispiel, ein job, den ich verwende gibt mir folgende Ergebnisse aus der job-tracker. Fertig in: 1mins, 39sec CPU-Zeit ausgegeben (ms) 150,460 152,030 302,490 Den Einträgen in

Ich versuche zum einrichten von Hadoop-Cluster mit einem namenode und zwei datanodes(slave1 und slave2) also ich habe die zip-Datei aus dem Apache Hadoop und entpackt es in den namenode und eine(slave1) der datanodes. Also machte ich alle

Ich bin mit hortonworks sandbox. erstellen Thema: ./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew tailing der apache-access-log-Verzeichnis: tail -f /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew An ein anderes terminal (Franz kafka-bin), start consumer -:

Vorbereitet habe ich ein 2-Knoten cluster mit schlichten apache Hadoop. Dieser Knoten agiert als Kerberos-client zu anderen Maschinen, die als Kerberos-Server. Der KDC-Db, Schulleiter des hdfs auf den einzelnen Maschinen erstellt werden, mit deren kaytab Dateien mit

Als ich bin unten folgenden Verfahren: http://www.codeproject.com/Articles/757934/Apache-Hadoop-for-Windows-Platform https://www.youtube.com/watch?v=VhxWig96dME. Während der Ausführung des Befehls c:/hadoop-2.3.0/bin/hadoop namenode -format bekam ich die Fehlermeldung, die unten gegeben **DEPRECATED:Use of this script to execute hdfs command is deprecated. Instead use the hdfs

Ich habe ein problem beim starten einen Oozie-workflow: Config: <workflow-app name="Hive" xmlns="uri:oozie:workflow:0.4"> <start to="Hive"/> <action name="Hive"> <hive xmlns="uri:oozie:hive-action:0.2"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <configuration> <property> <name>oozie.hive.defaults</name> <value>hive-default.xml</value> </property> </configuration> <script>/user/hue/oozie/workspaces/hive/hive.sql</script> <param>INPUT_TABLE=movieapp_log_json</param> <param>OUTPUT=/user/hue/oozie/workspaces/output</param> <file>hive-default.xml#hive-default.xml</file> </hive> <ok to="end"/> <error to="kill"/> </action> <kill

Bitte helfen Sie mir, wie Sie Metadaten von hive-Tabellen, Spalten, Ansichten, Einschränkung Tasten und Kommentar-Spalten. Die ich gefunden habe, einfache Abfragen, wie " desc Tabellenname;zeigt databses. Aber ich muss mit Tabellen und Spalten ,Ansichten zu bekommen metedata.

Wie kann ich effizient speichern von Daten in Hive und auch das speichern und abrufen der komprimierten Daten in hive? Derzeit bin ich der Speicherung als Textdatei. Ich wurde durch Bejoy Artikel und ich fand, dass die

ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times Bekam ich diese Fehlermeldung, wenn ich das erstellen der Tabelle in HBase. Ich gebe, wie im folgenden Weg, um die Tabelle zu erstellen, die durch die Verwendung von HBase. Ich geben Sie

Will ich mit lzo komprimieren, die map-Ausgabe, aber ich kann es nicht benutzen! Die version von Hadoop, die ich verwendet ist 0.20.2. Ich: conf.set("mapred.compress.map.output", "true") conf.set("mapred.map.output.compression.codec", "org.apache.hadoop.io.compress.LzoCodec"); Wenn ich die jar-Datei in Hadoop zeigt es eine Ausnahme,

Ich versuche, die Gruppe Daten von Minuten, also versuchte ich diese Abfrage: SELECT FROM_UNIXTIME( unix_timestamp (time, 'yyyy-mm-dd hh:mm:ss'), 'yyyy-mm-dd hh:mm') as ts, count (*) as cnt from toucher group by ts limit 10; Dann Bienenkorb sagt mir

Ich versuche zu übersetzen, einige PL/SQL-Skript im hive, und ich Stand vor einem Fehler eines HiveQL-Skript. Der Fehler ist dieser : FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depend

Ich versuche, die Struktur der un-strukturierte Daten über SCHWEINE, die für machen einige Verarbeitung. Hier ist das Beispiel der Daten: Nov 1 18:23:34 dev_id=03 user_id=000 int_ip=198.0.13.24 ext_ip=68.67.0.14 src_port=99 dest_port=213 response_code=5 Erwartete Ausgabe: Nov 1 18:23:34, 03 ,

Ich bin derzeit versuchen zu arbeiten, die auf HDFS und HBASE. Die Hadoop-und HBASE sind ordnungsgemäß auf einem Computer installiert und meine Anwendung läuft perfekt bei der Bereitstellung auf der gleichen Maschine. Aber beim hosten auf einem

Habe ich einige Daten, die ich will für die Gruppierung nach mehreren Spalten, führen Sie eine Aggregatfunktion auf, und dann transponieren in verschiedene Spalten mit Hive. Beispielsweise angesichts dieser Eingang Eingang: hr type value 01 a 10

Konfigurierte ich unixodbc zu verwenden, die hive-Anschluss von cloudera, auf meinem Linux Mint Maschine, aber ich bekomme immer wieder die folgende Fehlermeldung beim Versuch, eine Verbindung zu hive (z.B. mit isql -v hive) S1000][unixODBC][Cloudera][ODBC] (11560) Unable to

Ich versuche, führen Sie einen MapReduce-job, der erfordert eine shared library (. a.so Datei). Wenn ich die gemeinsame Nutzung der Bibliothek aus einem standalone Java Programm, das ich keine Probleme habe (das Programm verwendet java.Bibliothek.Pfad zu der

Ich habe gehört, der Begriff "Hadoop-Clusters", aber es scheint zu sein, im Gegensatz zu dem, was mein Verständnis einer "grid" - und "cluster" sind. Meine Verständnis ist, dass ein grid ist ein verteiltes system, bestehend aus 2+

Läuft ein spark-streaming-Arbeit mit Garn als Ressourcen-manager, zu bemerken, dass diese beiden Verzeichnisse sind immer gefüllt, bis auf die Daten der Knoten und wir laufen aus dem Raum, wenn wir laufen nur für paar min ist /tmp/hadoop/data/nm-local-dir/filecache

Ich danke Ihnen für das Lesen meiner post. Ich versuche zu installieren LZO-2.03-Kompressions-codec auf HBase auf meinem server (mit Xeon Prozessoren). Ich bin aktuell Laufenden Hadoop-0.20.1 mit HBase 0.90.2. Habe ich ja befolgt die Richtlinien von http://wiki.apache.org/hadoop/UsingLzoCompression.

Ich bin ein Neuling in MapReduce und ich bin auf der Suche nach einer Lösung für ein problem.Ich versuche, mich an die Kette zwei Karte reduzieren Arbeitsplätze.Der erste job wird immer ausgeführt, aber auf dem zweiten job,