Tag: flume
Flume ist ein verteilter, zuverlässiger und Verfügbarer Dienst für
effizient zu sammeln, zu verdichten und verschieben große Mengen von log
Daten.
3
Antworten
Ich bin neu in der Wildwasserbahn. Ich habe eine große CSV-text-Datei mit den Datensätzen in der es, je etwa 50 Zeichen Länge, mit CR-LF, die die Zeilen beendet. Ich möchte Flume der Aufnahme dieser Daten in HDFS.
3
Antworten
Ich bin mit der HTTPSource im Flume für den Erhalt POST Veranstaltungen in json format wie folgt: {"username":"xyz","password":"123"} Meine Frage ist: muss ich zum ändern der Quelle der Ereignisse (ich meine die, sendet die JSON zum Gerinne),
1
Antworten
Ich Schreibe custom flume Quelle und Senke und derzeit bin ich nicht zu sehen, ein beste Weg, um re-nutzen Sie die vorhandenen Gerinne-ng-code. Zum Beispiel, ich bin nicht in der Lage verlängern Sie die AvroSource Klasse und
3
Antworten
wenn ich installiert flume in Linux.Ich erhalte eine Warnung während der Ausführung Gerinne Ich folgte dieser Anleitung so installieren Sie eine Feder . >> sudo tar -xvf flume-ng-1.1.0-cdh4.0.1\(1\).tar.gz >> export PATH=/home/hduser/downloads/flume-1.1.0- cdh4.0.1/bin:$PATH >> $ sudo cp conf/flume-conf.properties.template
2
Antworten
Ich versuche zu erstellen, die externe Tabelle und versuchen zu laden, twitter-Daten in die Tabelle. Beim erstellen der Tabelle, erhalte ich die folgende Fehlermeldung und konnte nicht in der Lage, um den Fehler zu ermitteln. hive> ADD
4
Antworten
Bin neu in der Apache Flume. Ich brauche zu installieren, die Rinne auf der Oberseite des HDFS-cluster-Umgebung. Ich habe es Google, alle sagen mit der cloudera-distribution, aber ich brauche die zum installieren und konfigurieren von der Quelle.
1
Antworten
Ich Teste Flume NG (1.2.0) für das sammeln von logs. Es ist ein einfacher test, der Flume speichert eine log-Datei flume_test.log und druckt die gesammelten logs werden an die Konsole als sysout. conf/flume.conf ist: agent.sources = tail
2
Antworten
Habe ich einen http-server schreiben log-files, die ich dann laden in HDFS mit Flume Zunächst möchte ich filtern von Daten nach Daten, die ich in meinem Kopf oder Körper. Ich habe gelesen, dass ich dies mit einen
1
Antworten
Kopierten wir eine 150-mb-csv-Datei in flume das spool-Verzeichnis, wenn es immer geladen in hdfs, wurde die Datei splitten in kleinere Größe Dateien wie 80 kb ist. gibt es eine Möglichkeit um die Datei zu laden, ohne sich
2
Antworten
Ich versuche, mit Flume-ng zu greifen 90 Sekunden-log-Informationen, und legen Sie es in einer Datei in HDFS. Ich habe flume arbeiten, Blick in die log-Datei über exec und Schwanz jedoch ist das anlegen der Datei alle 5
2
Antworten
Verwendung von Hbase-API (Get/Put) oder HBQL API, ist es möglich, zum abrufen von timestamp von einer bestimmten Spalte? InformationsquelleAutor Abhijeet Pathak | 2011-11-30
3
Antworten
Ich bin ein Neuling auf Flume und Hadoop. Wir entwickeln ein BI-Modul, wo wir speichern können alle Protokolle, die von verschiedenen Servern im HDFS. Dafür bin ich mit Flume. Ich habe gerade angefangen, es zu versuchen. Erfolgreich
5
Antworten
Ich versuche, das Lesen von Nachrichten auf Kafka Thema, aber ich bin nicht in der Lage, es zu Lesen. Der Prozess getötet wird, nach einiger Zeit, ohne zu Lesen alle Nachrichten. Hier ist die Neugewichtung Fehler die
1
Antworten
Kann diese Frage wurde gebeten vor, aber ich finde es gut und halte es auch heute wieder gegeben, dass diese Technologien ausgereift sind. Wir suchen eine Nutzung der von flume, kafka, Schreiber oder andere, um das speichern
7
Antworten
Beide Gerinne und Sqoop sind für Daten gedacht ist Bewegung, was ist dann der Unterschied zwischen Ihnen? Unter welcher Bedingung sollte ich verwenden, Flume oder Sqoop? InformationsquelleAutor der Frage Cacheing | 2013-10-22