Jede Art zu schreiben von Dateien DIREKT auf S3 mit boto3?

Schrieb ich ein python-Skript zur Verarbeitung von sehr großen Dateien (einige TB in Summe), die ich laufen werde, auf einer EC2-Instanz. Danach will ich speichern die verarbeiteten Dateien in ein S3 bucket. Derzeit ist mein script speichert zunächst die Daten auf der Festplatte und dann lädt es auf S3. Leider wird dies ziemlich teuer, da die extra Wartezeit für die Instanz zuerst auf die Platte schreiben und anschließend hochladen.

Gibt es eine Möglichkeit zu nutzen boto3 Dateien zu schreiben, die direkt zu einem S3-bucket?

Edit: um zu klären, meine Frage, ich bin gefragt, wenn ich ein Objekt im Speicher, das schreiben, das Objekt direkt zu S3, ohne zuerst speichern Sie das Objekt auf der Festplatte.

InformationsquelleAutor Richard Sun | 2018-01-28
  1. 9

    Können Sie positioniere_objekt für diese. Geben Sie einfach in Ihr file-Objekt als Körper.

    Beispiel:

    import boto3

client = boto3.client('s3')
response = client.put_object( 
    Bucket='your-s3-bucket-name',
    Body='bytes or seekable file-like object',
    Key='Object key for which the PUT operation was initiated'
)
    • Das ist genau das was ich brauchte. Für alle Fragen, mein Skript wird nun der ersten Verwendung Gurke.dumps erstellen Sie ein Byte-Repräsentation des Objekts. Dann verwendete ich positioniere_objekt wie oben beschrieben, schreiben Sie direkt an S3. Zum abrufen des Objekts höher, verwenden Sie get_object von S3 und Gurke.lädt zu unpickle es.
    • Was ist der Schlüssel?
    • das wäre Ihr name
    InformationsquelleAutor Nicholas
  2. 0

    Funktioniert es mit dem S3 put_object Methode:

    key = 'filename'
response = s3.put_object(Bucket='Bucket_Name',
                         Body=json_data,
                         Key=key)
    InformationsquelleAutor Abdul Rehman
Schreibe einen Kommentar