Hadoop - Schreiben Sie HBase direkt vom Mapper
Ich habe eine haddop job, die Ausgabe sollte so geschrieben sein, HBase. Ich weiß nicht wirklich braucht, reducer, die Art der Zeile würde ich gerne einfügen, ist bestimmt in der Mapper.
Wie kann ich TableOutputFormat um dies zu erreichen? Von allen Beispielen, die ich gesehen habe, ist die Annahme, dass der reducer ist die einen schaffen die Put, und, dass TableMapper ist nur für das Lesen aus HBase-Tabelle.
In meinem Fall wird der Eingang auf den Ausgang Gelegt wird, um bestimmte Tabelle, ich kann nicht finden, alles, was in TableMapReduceUtil, die mir helfen mit, dass entweder.
Gibt es irgendein Beispiel, gibt, kann mir dabei helfen?
BTW, ich bin mit der neuen Hadoop-API
- wie viele Datensätze sind, die Sie versuchen zu legen?
Du musst angemeldet sein, um einen Kommentar abzugeben.
Dies ist das Beispiel für das Lesen aus der Datei und setzen Sie alle Zeilen in Hbase. In diesem Beispiel wird von "Hbase: The definitive guide" und Sie finden Sie auf repository. Um es nur clone-repo auf Ihrem computer:
In diesem Buch können Sie auch finden Sie alle Erläuterungen über den code. Aber wenn etwas unverständlich ist für Sie, fühlen Sie sich frei, zu Fragen.
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException
Hast du dieses Problem auch mit dem code oben? Ich bin mit Hadoop2.4 und Hbase0.94.18Die Sie gerade benötigen, um die mapper-Ausgabe-paar.
OutputFormat
gibt nur an, wie beibehalten der Ausgabe von Schlüssel-Werte. Es bedeutet nicht unbedingt, dass der Schlüssel-Werte kommen vom reducer.Sie würde etwas tun müssen, wie dies in der mapper: