Tag: cloudera

Ist es möglich, zu Sortieren, eine riesige text-Datei lexikographisch mit einem mapreduce-job die einzige Karte, Aufgaben und keine Aufgaben reduzieren? Datensätze der Textdatei getrennt durch ein neue-Zeile-Zeichen und die Größe der Datei ist rund 1 Terra Byte.

Konfigurierte ich unixodbc zu verwenden, die hive-Anschluss von cloudera, auf meinem Linux Mint Maschine, aber ich bekomme immer wieder die folgende Fehlermeldung beim Versuch, eine Verbindung zu hive (z.B. mit isql -v hive) S1000][unixODBC][Cloudera][ODBC] (11560) Unable to

Ich habe eine Menge von input-Dateien und die möchte ich verarbeiten ausgewählte Elemente basierend auf dem Datum, das angefügt wurde, in das Ende. Ich bin jetzt verwirrt, wo muss ich die globStatus Methode zum filtern der Dateien.

Den Befehl : oozie job -oozie http://localhost:8080/oozie -config /home/hadoop/Desktop/Cloudera/oozie-2.3.0-cdh3u1/examples/apps/no-op/job.properties -run Fehlermeldung: Error: IO_ERROR : java.net.ConnectException: Connection refused Ist die oozie-Dienst ausgeführt? Ja oozie-Dienst ausgeführt wird . $ oozie admin -oozie localhost:11000/oozie -status im System-Modus: NORMAL $ oozie

Bin ich mit einem cloudera-cluster in 3 virtuelle digitalwax Maschinen und versuchen, auszuführen hbase bulk-Ladung über eine Karte, reduzieren den job. Aber ich bekam immer die Fehlermeldung: error: Class org.apache.hadoop.hbase.mapreduce.HFileOutputFormat not found So, es scheint, dass die

Habe ich eine einfache hadoop-job crawlt Webseiten und speichert Sie auf dem HDFS. Der mapper prüft, ob eine URL bereits vorhanden ist, in das HDFS und wenn ja, verwendet es sonst lädt die Seite und speichert Sie

Ich bin mit Hadoop-2.4.0 und mein system configs sind 24 cores, 96 GB RAM. Ich bin mit folgenden configs mapreduce.map.cpu.vcores=1 yarn.nodemanager.resource.cpu-vcores=10 yarn.scheduler.minimum-allocation-vcores=1 yarn.scheduler.maximum-allocation-vcores=4 yarn.app.mapreduce.am.resource.cpu-vcores=1 yarn.nodemanager.resource.memory-mb=88064 mapreduce.map.memory.mb=3072 mapreduce.map.java.opts=-Xmx2048m Kapazität Scheduler configs queue.default.capacity=50 queue.default.maximum_capacity=100 yarn.scheduler.capacity.root.default.user-limit-factor=2 Mit den oben genannten

Bin ich auf der Suche zu verwenden, Sturm ist mit Hortonworks 2.1 installation aber, um zu vermeiden, installieren Hortonworks zusätzlich zu einem Cloudera-installation (hat Funken), ich versuchte, einen Weg finden, um Sturm in Cloudera. Wenn man kann

Ich bin ein bisschen stecken die Reparatur eines Defekten Tabelle (auf Hbase 0.92.1-cdh4.0.0, Hadoop 2.0.0-cdh4.0.0) Gibt es eine region im Wandel, die nicht abgeschlossen: Region State bf2025f4bc154914b5942af4e72ea063 counter_traces,1329773878.35_766a0b4df75e4381a686fbc07db9e333,1339425291230.bf2025f4bc154914b5942af4e72ea063. state=OFFLINE, ts=Tue Jun 12 11:43:53 CEST 2012 (0s ago),

Habe ich vor kurzem aktualisiert meine cluster von Apache Hadoop1.0 bis CDH4.4.0. Ich habe einen weblogic-server in einer anderen Maschine, wo ich die übergabe von jobs an das remote-cluster über mapreduce-client. Ich will noch verwenden MR1 und

Ich spielte mit verteilten shell-Anwendung (hadoop-Version 2.0.0-cdh4.1.2). Dies ist der Fehler, ich erhalte im moment. 13/01/01 17:09:09 INFO distributedshell.Client: Got application report from ASM for, appId=5, clientToken=null, appDiagnostics=Application application_1357039792045_0005 failed 1 times due to AM Container for

Ich versuche zum herstellen einer JDBC-Verbindung zu Hive, so dass ich kann anzeigen und Tabellen erstellen und Abfragen von Hive-Tabellen von Eclipse. Ich verwendet HiveClient Beispielcode: https://cwiki.apache.org/confluence/display/Hive/HiveClient Dann fügte ich alle erforderlichen jar-Dateien zum java build path

Bin ich immer die folgende Fehlermeldung beim ausführen von Abfragen für eine Datenbank im impala. Mit anderen Datenbanken seine Arbeitsmethoden in Ordnung. Fehler-trace ist wie folgt. [Simba][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: select * from test_table limit

Ich bin auf der Suche nach den jar-Dateien ausführen zu können, die hadoop-jobs im Zusammenhang mit der Beispiele und test-Gläser. In der Vergangenheit waren Sie unter /usr/lib/hadoop, aber anscheinend nicht mehr. Zeiger geschätzt. Hinweis: diese Frage wurde

Ich versuche zum ausführen von hadoop-Jobs auf local/remote-cluster. Dieser job wird in Zukunft ausgeführt werden, die von web-Anwendung. Ich versuche, führen Sie dieses Stück code von eclipse: public class TestHadoop { private final static String host =

Arbeite ich mit Impala und das abrufen der Liste der Tabellen aus der Datenbank mit einige Muster wie unten. Angenommen ich habe eine Datenbank bank und Tabellen unter dieser Datenbank sind wie unten. cust_profile cust_quarter1_transaction cust_quarter2_transaction product_cust_xyz

Wir haben die folgenden Zeichenkette, die ein gültiges JSON in eine Datei geschrieben, die auf HDFS. { "id":"tag:search.twitter.com,2005:564407444843950080", "objectType":"activity", "actor":{ "objectType":"person", "id":"id:twitter.com:2302910022", "link":"http%3A%2F%2Fwww.twitter.com%2Fme7me4610012", "displayName":"", "postedTime":"2014-01-21T11:06:06.000Z", "image":"https%3A%2F%2Fpbs.twimg.com%2Fprofile_images%2F563125491159162881%2FfypkHK3M_normal.jpeg", "summary":"‏‏‏‏‏‏‏‏ضًـأّيِّعٌهّ أّروٌأّحًنِأّ تٌـشُـتٌـهّـيِّ مًنِ يِّفُـهّـمًهّـأّ فُـقُط حسابي بالإنستقرام lloooo_20", "links":[ {

Dies geschieht in pseudo-verteilten sowie verteilten Modus. Wenn ich versuche zu starten, HBase, zunächst alle 3-Dienste - master, region und quorumpeer starten. Doch innerhalb einer minute, der master nicht. In den logs, das ist der trace -

Hey Leute also ich versuche zu laufen, die WordCount.java Beispiel bereitgestellt von cloudera. Ich lief den folgenden Befehl ein, und bin immer die Ausnahme, ich habe unten den Befehl. Also, habt Ihr irgendwelche Vorschläge, wie zu Verfahren

Ich bin einrichten von Hive auf CentOS, und ich installiert haben, hadoop, hive und MySQL auf dem gleichen server. Ich habe auch setup-metastore-DB auf mySQL und Benutzer-ID - hive-Zugriff auf die Datenbank hat. Habe ich die unten

Ich versuche zum einrichten einer Cloudera Hadoop-cluster mit einem master-Knoten enthält die namenode, secondarynamenode und jobtracker, und zwei andere Knoten mit der datanode und tasktracker. Die Cloudera version 4.6, OS ist ubuntu precise x64. Auch dieser cluster

Ich bin mit CDH4 und geschrieben haben, eine MapReduce-Anwendung mit dem neuen mapreduce API. Ich habe es kompiliert gegen hadoop-core-1.0.3.jar und wenn ich es auf meinem Hadoop-cluster erhalte ich die Fehlermeldung: Fehler: interface org.apache.hadoop.mapreduce.TaskAttemptContext, aber Klasse wurde

Benötigen hier etwas Hilfe Jungs. Ich bin neu in Hadoop und ich brauche die Einrichtung eines Hadoop-Clusters schnell mit windows-Rechnern. Ich bin mir bewusst, dass ich verwenden können, Cloudera, aber ich habe mich nur gefragt, statt den

![enter Bild Beschreibung hier][1]Die Frage mag ziemlich offensichtlich, aber ich habe vor es viele Zeiten, durch schlechte Konfiguration der hosts-Datei auf einem hadoop-cluster. Kann mir jemand beschreiben, wie man setup-hosts-Datei und andere zugehörige Netzwerk-Konfiguration für hadoop und

Gibt es eine Möglichkeit das zu ändern und den Speicherort einer Datenbank Punkte? Ich habe versucht, die folgenden Möglichkeiten: alter database <my_db> set DBPROPERTIES('hive.warehouse.dir'='<new_hdfs_loc>'); alter database <my_db> set DBPROPERTIES('location'='<new_hdfs_loc>'); alter database <my_db> set location '<new_hdfs_loc>'; Den ersten