Gewusst wie: Laden von Daten in Amazon Redshift über Python Boto3?

In Amazon Redshift ist Erste-Schritte-Handbuch Daten gezogen von Amazon S3 geladen und in einen Amazon Redshift-Cluster unter Verwendung SQLWorkbench/J. ich würde gerne zu imitieren, um den gleichen Prozess der Verbindung mit dem cluster und laden von sample-Daten in die cluster unter Verwendung Boto3.

Jedoch in Boto3 Dokumentation der Rotverschiebung, ich bin nicht in der Lage, eine Methode zu finden, die mir erlauben würde, den upload von Daten in Amazon Redshift-cluster.

Ich habe in der Lage, eine Verbindung mit der Rotverschiebung unter Verwendung Boto3 mit dem folgenden code: 

client = boto3.client('redshift')

Aber ich bin mir nicht sicher, mit welcher Methode die mir erlauben würde, entweder Tabellen erstellen oder hochladen von Daten in Amazon Redshift die Art, wie es geschieht in der tutorial mit SQLWorkbenchJ.

InformationsquelleAutor Chris | 2016-01-24
  1. 7

    Gehen Sie zurück zu Schritt 4 in diesem tutorial verlinkt. Sehen, wo es zeigt Ihnen, wie man die URL des Clusters? Sie müssen eine Verbindung zu dieser URL mit einer PostgreSQL-Treiber. Die AWS SDKs wie Boto3 Zugriff auf die AWS-API. Sie müssen eine Verbindung zu einer Rotverschiebung von über einer PostgreSQL-API, wie würden Sie eine Verbindung zu einer PostgreSQL-Datenbank auf RDS.

    • Danke! Ich bin jetzt versuchen, herauszufinden, wie SQLAlchemy nutzen statt SQLWorkbenchJ, mit dem ich einige Probleme mit der Verwendung (ich mag die Bearbeitung dieser Frage oder einen neuen erstellen).
    • Wenn Sie eine neue Frage erstellen eine neue Frage. Bitte nicht Bearbeiten Sie eine vorhandene Frage zu stellen, etwas neues.
    • Verwenden Aginity Workbench für Rotverschiebung für die Verbindung zum cluster. Es hat viel bessere Benutzeroberfläche und Funktionen, und ist empfohlen von der AWS-Leute ebenso.
    InformationsquelleAutor Mark B
  2. 18

    Recht, Sie benötigen psycopg2 Python-Modul zum ausführen von COPY-Befehl.

    Mein code sieht wie folgt aus:

    import psycopg2
#Amazon Redshift connect string 
conn_string = "dbname='***' port='5439' user='***' password='***' host='mycluster.***.redshift.amazonaws.com'"  
#connect to Redshift (database should be open to the world)
con = psycopg2.connect(conn_string);
sql="""COPY %s FROM '%s' credentials 
      'aws_access_key_id=%s; aws_secret_access_key=%s'
       delimiter '%s' FORMAT CSV %s %s; commit;""" % 
      (to_table, fn, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY,delim,quote,gzip)

#Here
#  fn - s3://path_to__input_file.gz
#  gzip = 'gzip'

cur = con.cursor()
cur.execute(sql)
con.close()

    Ich verwendet boto3/psycopg2 zu schreiben CSV_Loader_For_Redshift

    InformationsquelleAutor Alex B
Schreibe einen Kommentar