upload-Verzeichnis für s3 mit boto

Ich bin schon mit der Instanz verbunden sind, und ich will Sie zum hochladen der Dateien, die generiert werden, aus meinem python-Skript direkt an der S3. Ich habe dies ausprobiert:

import boto
s3 = boto.connect_s3()
bucket = s3.get_bucket('alexandrabucket')
from boto.s3.key import Key
key = bucket.new_key('s0').set_contents_from_string('some content')

aber das ist eher eine neue Datei erstellen, s0 mit dem Kontext "gleichen Inhalt", während ich Sie hochladen möchten, das Verzeichnis, s0 auf mybucket.

Hatte ich einen Blick auch auf s3put aber ich schaffte es nicht zu bekommen, was ich will.

  • Möglicherweise möchten Sie vielleicht einen Blick auf dieses, sieht aus wie ein etwas ähnliche Frage
InformationsquelleAutor user3333539 | 2014-08-19
  1. 11

    Es ist nichts in der boto Bibliothek selbst, die erlauben würde, Sie zu hochladen ein ganzes Verzeichnis. Sie konnte Ihren eigenen code schreiben, um die traverse directory mit os.walk oder ähnliches und das hochladen jeder einzelnen Datei mit boto.

    Es ist ein Befehlszeilen-Dienstprogramm in boto genannt s3put könnten, behandeln Sie diese oder verwenden Sie die AWS CLI-tool die hat eine Menge von Funktionen, die den upload von ganzen Verzeichnissen oder sogar synchronisieren den S3-bucket mit einem lokalen Verzeichnis oder Umgekehrt.

    InformationsquelleAutor garnaat
  2. 3

    Kann folgende Funktion verwendet werden, um upload-Verzeichnis zu s3 über boto.

        def uploadDirectory(path,bucketname):
        for root,dirs,files in os.walk(path):
            for file in files:
                s3C.upload_file(os.path.join(root,file),bucketname,file)

    Geben Sie den Pfad für das Verzeichnis und Eimer Namen wie die Eingänge. Die Dateien werden direkt in den Eimer. Ändern Sie die Letzte variable des upload_file () - Funktion, die Sie in "Verzeichnisse".

    • Was ist dieser s3-Objekt? Ist es die Boto-client? Ich kann nichts sehen, das macht upload_file
    • ja, es ist eine der boto3 client instanziiert wird, wie diese: s3C = boto3.client('s3')
    • Bessere Lösung ist hier gist.github.com/feelinc/d1f541af4f31d09a2ec3
    InformationsquelleAutor JDPTET
  3. 0

    Können Sie das folgende tun:

    import os
import boto3

s3_resource = boto3.resource("s3", region_name="us-east-1")

def upload_objects():
    try:
        bucket_name = "S3_Bucket_Name" #s3 bucket name
        root_path = 'D:/sample/' # local folder for upload

        my_bucket = s3_resource.Bucket(bucket_name)

        for path, subdirs, files in os.walk(root_path):
            path = path.replace("\\","/")
            directory_name = path.replace(root_path,"")
            for file in files:
                my_bucket.upload_file(os.path.join(path, file), directory_name+'/'+file)

    except Exception as err:
        print(err)

if __name__ == '__main__':
    upload_objects()
    InformationsquelleAutor Gowtham Balusamy
  4. 0

    Zum Lesen von Datei-form Ordner, den wir verwenden können, 

    import boto
from boto.s3.key import Key

keyId = 'YOUR_AWS_ACCESS_KEY_ID'
sKeyId='YOUR_AWS_ACCESS_KEY_ID'
bucketName='your_bucket_name'

conn = boto.connect_s3(keyId,sKeyId)
bucket = conn.get_bucket(bucketName)
for key in bucket.list():
    print ">>>>>"+key.name
    pathV = key.name.split('/')
    if(pathV[0] == "data"):
        if(pathV[1] != ""):
            srcFileName = key.name
            filename = key.name
            filename = filename.split('/')[1]
            destFileName = "model/data/"+filename
            k = Key(bucket,srcFileName)
            k.get_contents_to_filename(destFileName)
    elif(pathV[0] == "nlu_data"):
        if(pathV[1] != ""):
            srcFileName = key.name
            filename = key.name
            filename = filename.split('/')[1]
            destFileName = "model/nlu_data/"+filename
            k = Key(bucket,srcFileName)
            k.get_contents_to_filename(destFileName)
    InformationsquelleAutor Aakash Handa
Schreibe einen Kommentar