Einfache oozie Beispiel von hive-Abfragen?

Ich versuche, zu konvertieren einen einfachen work-flow zu oozie. Ich habe versucht, auf der Suche durch die oozie Beispiele, aber Sie sind ein wenig überwältigend. Effektiv möchte ich eine Abfrage ausführen und die Ausgabe in eine text-Datei.

hive -e 'select * from tables' > output.txt

Wie ich ungefähr übersetzen, dass in oozie haben es jede Stunde ausgeführt wird?

übersetzung in oozie bedeutet, wollen Sie ein workflow.xml ausführen eines Zeitplaner-Auftrags dies ausführen von hive-Anweisungen für jede Stunde?
Ja das ist genau das was ich erreichen will, aber was bedeutet das workflow.xml Aussehen?
Möglicherweise müssen drei Schritte, dies zu tun. 1. Ein workflow.xml Datei ausgeführt werden, die für den hive-job. 2. Ein shell-Skript ausführen, den oozie-workflow. 3. Ein cron-job zu planen, um führen Sie das shell-Skript in regelmäßigen Abständen für jede Stunde.

InformationsquelleAutor nickponline | 2012-05-08

  1. 7

    Ihren workflow könnte wie folgt Aussehen...

    workflow.xml

    <workflow-app xmlns="uri:oozie:workflow:0.2" name="hive-wf">
    <start to="hive-node"/>
    <action name="hive-node">
        <hive xmlns="uri:oozie:hive-action:0.2">
           <job-tracker>localhost:50001</job-tracker>
            <name-node>hdfs://localhost:50000</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>default</value>
                </property>
                <property>
                    <name>oozie.hive.defaults</name>
                    <value>/user/user1/oozie/hive-site.xml</value>
                </property>
            </configuration>
            <script>script.q</script>
            <param>INPUT_TABLE=SampleTable</param>
            <param>OUTPUT=/user/user1/output-data/hive</param>
        </hive>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

    Also hier hive-site.xml ist die Website xml vorhanden in $HIVE_HOME/conf Ordner.

    script.f-Datei enthält die eigentlichen hive-Abfrage. select * from ${INPUT_TABLE} .

    wie und wo können wir die AUSGABE param?

    AUSGABE als ein argument übergeben wird zu <script>script.q</script>. z.B. '${OUTPUT}'

    InformationsquelleAutor WR10

Schreibe einen Kommentar