Tag: flume

Flume ist ein verteilter, zuverlässiger und Verfügbarer Dienst für
effizient zu sammeln, zu verdichten und verschieben große Mengen von log
Daten.

Flume exec cat-Datei, die nur das schreiben einer Zeile zu hdfs sink

Anzahl der Antworten 3 Antworten
Ich bin neu in der Wildwasserbahn. Ich habe eine große CSV-text-Datei mit den Datensätzen in der es, je etwa 50 Zeichen Länge, mit CR-LF, die die Zeilen beendet. Ich möchte Flume der Aufnahme dieser Daten in HDFS.

Wie legen Sie JSON in HDFS mit Flume richtig

Anzahl der Antworten 3 Antworten
Ich bin mit der HTTPSource im Flume für den Erhalt POST Veranstaltungen in json format wie folgt: {"username":"xyz","password":"123"} Meine Frage ist: muss ich zum ändern der Quelle der Ereignisse (ich meine die, sendet die JSON zum Gerinne),

Beste Weg, um zu schreiben, custom flume NG Quelle/Senke

Anzahl der Antworten 1 Antworten
Ich Schreibe custom flume Quelle und Senke und derzeit bin ich nicht zu sehen, ein beste Weg, um re-nutzen Sie die vorhandenen Gerinne-ng-code. Zum Beispiel, ich bin nicht in der Lage verlängern Sie die AvroSource Klasse und

Flume läuft failed in Linux

Anzahl der Antworten 3 Antworten
wenn ich installiert flume in Linux.Ich erhalte eine Warnung während der Ausführung Gerinne Ich folgte dieser Anleitung so installieren Sie eine Feder . >> sudo tar -xvf flume-ng-1.1.0-cdh4.0.1\(1\).tar.gz >> export PATH=/home/hduser/downloads/flume-1.1.0- cdh4.0.1/bin:$PATH >> $ sudo cp conf/flume-conf.properties.template

Erstellen von hive-Tabelle Fehler zum laden von Twitter-Daten

Anzahl der Antworten 2 Antworten
Ich versuche zu erstellen, die externe Tabelle und versuchen zu laden, twitter-Daten in die Tabelle. Beim erstellen der Tabelle, erhalte ich die folgende Fehlermeldung und konnte nicht in der Lage, um den Fehler zu ermitteln. hive> ADD

Wie installieren und konfigurieren von apache flume?

Anzahl der Antworten 4 Antworten
Bin neu in der Apache Flume. Ich brauche zu installieren, die Rinne auf der Oberseite des HDFS-cluster-Umgebung. Ich habe es Google, alle sagen mit der cloudera-distribution, aber ich brauche die zum installieren und konfigurieren von der Quelle.

Wie bekomme ich die logs gesammelt, die Sie auf der Konsole mit Flume NG?

Anzahl der Antworten 1 Antworten
Ich Teste Flume NG (1.2.0) für das sammeln von logs. Es ist ein einfacher test, der Flume speichert eine log-Datei flume_test.log und druckt die gesammelten logs werden an die Konsole als sysout. conf/flume.conf ist: agent.sources = tail

Filtern von log-Dateien im Gerinne mit Abfangjäger

Anzahl der Antworten 2 Antworten
Habe ich einen http-server schreiben log-files, die ich dann laden in HDFS mit Flume Zunächst möchte ich filtern von Daten nach Daten, die ich in meinem Kopf oder Körper. Ich habe gelesen, dass ich dies mit einen

laden Sie große Dateien in hdfs mit Flume (spool-Verzeichnis)

Anzahl der Antworten 1 Antworten
Kopierten wir eine 150-mb-csv-Datei in flume das spool-Verzeichnis, wenn es immer geladen in hdfs, wurde die Datei splitten in kleinere Größe Dateien wie 80 kb ist. gibt es eine Möglichkeit um die Datei zu laden, ohne sich

Mit einem HDFS Sink-und rollInterval im Flume-ng batch bis 90 Sekunden-log-Informationen

Anzahl der Antworten 2 Antworten
Ich versuche, mit Flume-ng zu greifen 90 Sekunden-log-Informationen, und legen Sie es in einer Datei in HDFS. Ich habe flume arbeiten, Blick in die log-Datei über exec und Schwanz jedoch ist das anlegen der Datei alle 5

Abrufen timestamp von hbase Zeile

Anzahl der Antworten 2 Antworten
Verwendung von Hbase-API (Get/Put) oder HBQL API, ist es möglich, zum abrufen von timestamp von einer bestimmten Spalte? InformationsquelleAutor Abhijeet Pathak | 2011-11-30

Wie richte ich einen HTTP-Quelle für die Prüfung Flume setup?

Anzahl der Antworten 3 Antworten
Ich bin ein Neuling auf Flume und Hadoop. Wir entwickeln ein BI-Modul, wo wir speichern können alle Protokolle, die von verschiedenen Servern im HDFS. Dafür bin ich mit Flume. Ich habe gerade angefangen, es zu versuchen. Erfolgreich

Rebalancing-Problem beim Lesen der Nachrichten in Kafka

Anzahl der Antworten 5 Antworten
Ich versuche, das Lesen von Nachrichten auf Kafka Thema, aber ich bin nicht in der Lage, es zu Lesen. Der Prozess getötet wird, nach einiger Zeit, ohne zu Lesen alle Nachrichten. Hier ist die Neugewichtung Fehler die

flume vs kafka gegen andere

Anzahl der Antworten 1 Antworten
Kann diese Frage wurde gebeten vor, aber ich finde es gut und halte es auch heute wieder gegeben, dass diese Technologien ausgereift sind. Wir suchen eine Nutzung der von flume, kafka, Schreiber oder andere, um das speichern

Was ist der Unterschied zwischen Flume und Sqoop?

Anzahl der Antworten 7 Antworten
Beide Gerinne und Sqoop sind für Daten gedacht ist Bewegung, was ist dann der Unterschied zwischen Ihnen? Unter welcher Bedingung sollte ich verwenden, Flume oder Sqoop? InformationsquelleAutor der Frage Cacheing | 2013-10-22