Tag: sqoop

Ich weiß, dass es möglich ist, zu importieren RDBM die Daten von HDFS über sqoop, aber ich würde gerne wissen, ob es möglich ist, zu importieren, Flachbild-Dateien sowie. Ist es beispielsweise möglich, für den import einer Datei

Stack : Installiert HDP-2.3.2.0-2950 mit Ambari 2.1 Quell-DB-Schemas, die auf sql-server und enthält mehrere Tabellen, die entweder primary key als : Varchar Composite - zwei varchar-Spalten oder eine varchar - + eine int-Spalte oder zwei int-Spalten. Es

Habe ich versucht einzurichten, sqoop (sqoop-1.4.3.bin__hadoop-1.0.0) auf Ubuntu. Ich kann die grundlegenden sqoop helfen etc ohne Probleme. Wenn ich das folgende bekomme ich eine Fehlermeldung: sqoop import --connect jdbc:mysql://localhost/test --table sales -m 1 13/04/19 10:35:24 INFO orm.CompilationManager:

Ich versuchte, Liste der Tabellen in einer Oracle-Datenbank mit folgenden Sqoop-Befehl: sqoop list-tables --connect jdbc:oracle:thin:@//10.13.25.118:1521/udc.ds.dtvops.net --username xxxx --password xxxx Aber ich bekomme diese Fehlermeldung: 13/11/12 16:34:58 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider

Iam immer folgende Fehlermeldung, wenn ich meine sqoop-export-Befehl. Dies ist mein Inhalt exportiert werden, die von sqoop-Befehl 00001|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N 00002|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N sqoop Befehl sqoop export --connect jdbc:postgresql://10.11.12.13:1234/db --table table1 --username user1 --password pass1--export-dir /hivetables/table/ --fields-terminated-by '|' --lines-terminated-by

Habe ich zwei HDFS-setup und kopieren möchten (nicht migrieren oder zu verschieben) einige Tabellen aus HDFS1 zu HDFS2. Wie zum kopieren von Daten von einem HDFS zu einem anderen HDFS? Ist es möglich über Sqoop oder andere

Habe ich eine hive-Abfrage: insert override directory /x select ... Bin ich dann versuchen, exportieren Sie die Daten mit sqoop sqoop export --connect jdbc:mysql://mysqlm/site --username site --password site --table x_data --export-dir /x --input-fields-terminated-by 0x01 --lines-terminated-by '\n' Aber

Kann ich import RDBMS-Tabelle Daten (Tabelle nicht über einen Primärschlüssel) zu hive mithilfe von sqoop? Wenn ja, dann können Sie bitte geben Sie den sqoop-import-Befehl. Ich habe versucht mit sqoop-import-general-Befehl, aber es ist fehlgeschlagen. InformationsquelleAutor | 2015-03-19

Hallo ich bin in der Lage, führen Sie einen hive-Befehl in hive-terminal aber wenn ich versuche, führen Sie es durch oozie ich bin nicht in der Lage, es laufen immer einige Fehler ans-log-Datei sieht wie folgt aus

In der sqoop-Anweisungen, gibt es eine Bestimmung, wo wir wählen nur bestimmte Spalten aus der oracle Seite? 1 : Werke sqoop import --target-dir /tmp/customers --query "SELECT * FROM schema1.customers where item>=1234 and \$CONDITIONS" --connect jdbc:oracle:thin:@server1.companyxyz.com:4567/prod --username xyz

Mein use-case: Sich von Tag zu Tag stündlich Tabellen wird erstellt in der mysql-db. Ich brauche, um Sie zu bewegen jeden Tag, um HDFS verwenden von Sqoop und Prozess der HDFS-Daten mit Impala. Wie zu schreiben Sie

Ist, gibt es einen Unterschied zwischen der Verwendung von --append und --incremental Anhängen für das einfügen neuer Zeilen aus RDBMS zu einem vorhandenen Datensatz in HDFS? Ich bin mit --append zusammen mit --und wo --incremental append zusammen

Nach der Installation von hadoop, hive (CDH version), führe ich ./sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -table user -hive-import --hive-home /opt/hive/ Geht alles gut, aber wenn ich geben Sie hive-Befehlszeile und führen Sie show tables

Habe ich migriert auf Teradata-Tabellen Daten in hive . Nun habe ich mir build summary-Tabellen auf der Oberseite der importierten Daten. Zusammenfassung Tabelle muss gebaut werden, von fünf Quelle-Tabellen Wenn ich mit joins, ich werde teilnehmen müssen

geben, wenn ich den Befehl : ./sqoop-import --connect jdbc:mysql://localhost/sqoop2 -table sqeep2 -m 1 -hive-import wenn Sie diesen Befehl ausführen : hadoop@dewi:/opt/sqoop/bin$ ./sqoop-import --connect jdbc:mysql://localhost/sqoop2 -table sqeep2 -m 1 -hive-import 12/06/20 10:00:44 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for

Ich versuche etwas auf die hadoop und Verwandte Dinge. Für diese habe ich so konfiguriert haben, dass hadoop, hase, hive, sqoop in Ubuntu-Rechner. raghu@system4:~/sqoop$ bin/sqoop-import --connect jdbc:mysql://localhost:3306/mysql --username root --password password --table user --hive-import -m 1 Geht

Ich versuche zum import von Daten direkt aus der mysql-auch für Parkett, aber es scheint nicht korrekt zu funktionieren... Ich bin mit CDH5.3 umfasst Sqoop 1.4.5. Hier ist meine Befehlszeile : sqoop import --connect jdbc:mysql://xx.xx.xx.xx/database --username username

Sind wir mit Cloudera CDH-4 und wir sind in der Lage, importieren von Tabellen aus unseren Oracle-Datenbanken in unser HDFS-Lager als erwartet. Das problem ist, wir haben die 10 ' s von tausenden von Tabellen innerhalb unserer

Ich installiert Hadoop, Hive, HBase, Sqoop und hat Sie auf den WEG. Wenn ich versuche ausführen sqoop Befehl, ich bin immer diese Fehlermeldung: Error: Could not find or load main class org.apache.sqoop.Sqoop Entwicklungsumgebung: OS : Ubuntu 12.04

Ich versuche das ausführen einer shell-Skript durch oozie aber ich habe einige Fragen. Ich habe eine property-Datei wie diese ("importieren".Eigenschaften): startIndex=2000 chunkSize=2000 Die Idee ist, in jeder einzelnen Ausführung, die startIndex-Wert wird aktualisiert, indem Sie die chunk-Größe.

Gibt es eine Möglichkeit in sqoop import von Daten aus RDMS und speichern Sie es als ORC Datei-format in HDFS? Alternativen ausprobiert: importiert als text-format und verwendet eine temporäre Tabelle zu Lesen Sie die Eingabe als text-Datei

Ich Installiert Sqoop in meiner lokalen Maschine. Im folgenden sind die config-Daten. Bash.bashrc: export HADOOP_HOME=/home/hduser/hadoop export HBASE_HOME=/home/hduser/hbase export HIVE_HOME=/home/hduser/hive export HCAT_HOME=/home/hduser/hive/hcatalog export SQOOP_HOME=/home/hduser/sqoop export PATH=$PATH:$HIVE_HOME/bin export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HBASE_HOME/bin export PATH=$PATH:$SQOOP_HOME/bin export PATH=$PATH:$HCAT_HOME/bin Hadoop: Version: Hadoop 1.0.3

Mithilfe von Sqoop import von Daten aus oracle-Struktur und seine Arbeitsmethoden in Ordnung, aber es erstellt eine Tabelle in hive mit nur 2 Datentypen String und Double. Ich will Zeitstempel als Datentyp für einige Spalten. Wie kann

Habe ich eine hadoop-ha-setup basierend auf cdh5.Ich habe versucht, den import von Tabellen aus mysql durch verwenden von sqoop ist fehlgeschlagen mit folgendem Fehler. 15/03/20 12:47:53 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@33573e93

Ich habe einen 6 Knoten cloudera hadoop-basierte cluster-und ich bin versucht, eine Verbindung zu einer oracle-Datenbank aus einem sqoop Aktion in oozie. Habe ich kopiert meine ojdbc6.jar in der sqoop lib Lage (was für mich passiert zu