Wie benutzt man Sqoop im Java Programm?

Ich weiß, wie Sie sqoop durch Befehl Linie.
Aber weiß nicht, wie zu nennen, sqoop-Befehl mit java-Programmen .
Kann jemand geben einige code-Ansicht?

Kommentar zu dem Problem

- Laufzeit.exec(command); Ist das, was Sie suchen?docs.oracle.com/javase/1.5.0/docs/api/java/lang/Runtime.html Kommentarautor: kosa

InformationsquelleAutor der Frage pradeep | 2012-02-10

18

Können Sie die Ausführung von sqoop in Ihrem java-code, indem Sie die sqoop jar in den classpath und den Aufruf der Sqoop.runTool() Methode. Sie hätte, um die erforderlichen Parameter zu sqoop programmgesteuert, als wenn es die Kommandozeile (z.B. --connect etc.).

Bitte achten Sie auf die folgenden:
- Stellen Sie sicher, dass der sqoop-tool-Namen (z.B. import/export etc.) ist der erste parameter.
- Achten Sie auf die classpath-Bestellung - Die Ausführung fehlschlagen könnte, weil sqoop erfordert die version X einer Bibliothek, und Sie benutzen eine andere version. Sicherstellen, dass die Bibliotheken, die sqoop erfordert nicht überschattet durch Ihre eigenen Abhängigkeiten. Ich habe festgestellt, wie ein problem mit commons-io (sqoop erfordert v1.4) und hatte eine NoSuchMethod Ausnahme, da war ich mit commons-io-v1.2.
- Jedes argument muss auf einem separaten array-element. Zum Beispiel, "--connect jdbc:mysql:..." sollte weitergegeben werden als zwei separate Elemente in den array, nicht ein.
- Der sqoop-parser weiß, wie man annehmen doppelten Anführungszeichen Parameter, so dass doppelte Anführungszeichen verwenden, wenn Sie müssen (empfehle ich immer). Die einzige Ausnahme ist die Felder-Trennzeichen-parameter, die erwartet einen char einzeln, also nicht in doppelte Anführungszeichen.
- Würde ich vorschlagen, dass die Aufteilung der command-line-Argumenten Erstellung Logik und der tatsächlichen Ausführung, so Ihre Logik, kann getestet werden, richtig, ohne tatsächlich das Programm ausführen.
- Es wäre besser, verwenden Sie die --hadoop parameter-home festgelegt wird, um zu verhindern, dass die Abhängigkeit von der Umwelt.
- Der Vorteil Sqoop.runTool() im Gegensatz zu Sqoop.Main() ist die Tatsache, dass runTool() wieder den Fehler-code der Ausführung.
Hoffe, das hilft.
```
final int ret = Sqoop.runTool(new String[] { ... });
if (ret != 0) {
  throw new RuntimeException("Sqoop failed - return code " + Integer.toString(ret));
}
```
RL

InformationsquelleAutor der Antwort Harel Ben Attia

Unten finden Sie einen Beispielcode für die Verwendung sqoop im Java-Programm zum importieren von Daten aus MySQL zu HDFS/HBase. Stellen Sie sicher, Sie haben sqoop jar in den classpath:

        SqoopOptions options = new SqoopOptions();
        options.setConnectString("jdbc:mysql://HOSTNAME:PORT/DATABASE_NAME");
        //options.setTableName("TABLE_NAME");
        //options.setWhereClause("id>10");     //this where clause works when importing whole table, ie when setTableName() is used
        options.setUsername("USERNAME");
        options.setPassword("PASSWORD");
        //options.setDirectMode(true);    //Make sure the direct mode is off when importing data to HBase
        options.setNumMappers(8);         //Default value is 4
        options.setSqlQuery("SELECT * FROM user_logs WHERE $CONDITIONS limit 10");
        options.setSplitByCol("log_id");

        //HBase options
        options.setHBaseTable("HBASE_TABLE_NAME");
        options.setHBaseColFamily("colFamily");
        options.setCreateHBaseTable(true);    //Create HBase table, if it does not exist
        options.setHBaseRowKeyColumn("log_id");

        int ret = new ImportTool().run(options);

Vorgeschlagen von Harel, können wir die Ausgabe von der run () - Methode für die Fehlerbehandlung. Hoffe, das hilft.

InformationsquelleAutor der Antwort VikasG

Gibt es einen trick, der funktionierte für mich ziemlich einfach. Über ssh ausführen kann, Sqoop-Befehl direkt. Nur musst du verwenden, ist ein SSH-Java-Bibliothek

Folgen Sie diesem Schritt.

Download sshxcute java-Bibliothek : https://code.google.com/p/sshxcute/
und Fügen Sie dem build-Pfad zu Ihrem java-Projekt enthält die folgenden java-code

import net.neoremind.sshxcute.core.SSHExec;
import net.neoremind.sshxcute.core.ConnBean;
import net.neoremind.sshxcute.task.CustomTask;
import net.neoremind.sshxcute.task.impl.ExecCommand;

public class TestSSH {

public static void main(String args[]) throws Exception{

    //Initialize a ConnBean object, parameter list is ip, username, password

    ConnBean cb = new ConnBean("192.168.56.102", "root","hadoop");

    //Put the ConnBean instance as parameter for SSHExec static method getInstance(ConnBean) to retrieve a singleton SSHExec instance
    SSHExec ssh = SSHExec.getInstance(cb);          
    //Connect to server
    ssh.connect();
    CustomTask sampleTask1 = new ExecCommand("echo $SSH_CLIENT"); //Print Your Client IP By which you connected to ssh server on Horton Sandbox
    System.out.println(ssh.exec(sampleTask1));
    CustomTask sampleTask2 = new ExecCommand("sqoop import --connect jdbc:mysql://192.168.56.101:3316/mysql_db_name --username=mysql_user --password=mysql_pwd --table mysql_table_name --hive-import -m 1 -- --schema default");
    ssh.exec(sampleTask2);
    ssh.disconnect();   
}
}

InformationsquelleAutor der Antwort vineetv2821993

0

Wenn Sie wissen, den Speicherort der ausführbaren Datei und der Befehl Linie Argumente, die Sie verwenden können, eine ProcessBuilder dies kann dann eine separate Process Java-can-monitor für die Fertigstellung und Rückgabe-code.

InformationsquelleAutor der Antwort cdc
0

Bitte Folgen Sie den angegebenen code von vikas es für mich gearbeitet und umfassen die folgenden jar-Dateien im Klassenpfad importieren und diese Pakete

import com.cloudera.sqoop.SqoopOptions;
import com.cloudera.sqoop.tool.ImportTool;

Ref Bibliotheken
1. Sqoop-1.4.4 jar /sqoop
2. ojdbc6.jar /sqoop/lib (für oracle)
3. commons-logging-1.1.1.jar hadoop/lib
4. hadoop-core-1.2.1.jar /hadoop
5. commons-cli-1.2.jar hadoop/lib
6. commmons-io.2.1.jar hadoop/lib
7. commons-configuration-1.6.jar hadoop/lib
8. commons-lang-2.4.jar hadoop/lib
9. jackson-core-asl-1.8.8.jar hadoop/lib
10. jackson-mapper-asl-1.8.8.jar hadoop/lib
11. commons-httpclient-3.0.1.jar hadoop/lib
JRE system library

1.resources.jar jdk/jre/lib
2.rt.jar jdk/jre/lib
3. jsse.jar jdk/jre/lib
4. jce.jar jdk/jre/lib
5. Zeichensätze,jar jdk/jre/lib
6. jfr.jar jdk/jre/lib
7. dnsns.jar jdk/jre/lib/ext
8. sunec.jar jdk/jre/lib/ext
9. zipfs.jar jdk/jre/lib/ext
10. sunpkcs11.jar jdk/jre/lib/ext
11. localedata.jar jdk/jre/lib/ext
12. sunjce_provider.jar jdk/jre/lib/ext

Manchmal u get Fehler, wenn Sie Ihre eclipse-Projekt ist mit JDK1.6 und die Bibliotheken, die Sie hinzufügen, JDK1.7 für diesen Fall konfigurieren JRE beim erstellen eines Projekts in eclipse.

Vikas, wenn ich will, um die importierten Dateien in Bienenkorb sollte ich verwenden Optionen.parameter ("--hive-import") ?

InformationsquelleAutor der Antwort timma

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.