Wie kann ich mit boto streamen einer Datei aus der Amazon S3, Rackspace Cloudfiles?

Ich bin das kopieren einer Datei von S3 zu Cloudfiles, und ich möchte vermeiden, schreiben die Datei auf die Festplatte. Die Python-Cloudfiles-Bibliothek ein Objekt hat.stream () - Aufruf, der sieht, was ich brauche, aber ich kann nicht finden, einen entsprechenden Aufruf in boto. Ich hoffe, dass ich in der Lage wäre, etwas zu tun:

shutil.copyfileobj(s3Object.stream(),rsObject.stream())

Ist das möglich mit boto (oder ich nehme an, jede andere s3-Bibliothek)?

smart_open Python-Bibliothek macht (beide für Lesen und schreiben).

InformationsquelleAutor joemastersemison | 2011-10-02

  1. 19

    Dem Key-Objekt in boto, stellt auf das Objekt im S3 verwendet werden kann, wie ein iterator, so dass Sie sollten in der Lage sein, so etwas zu tun:

    >>> import boto
>>> c = boto.connect_s3()
>>> bucket = c.lookup('garnaat_pub')
>>> key = bucket.lookup('Scan1.jpg')
>>> for bytes in key:
...   write bytes to output stream

    Oder, wie im Fall von Ihrem Beispiel, Sie tun können:

    >>> shutil.copyfileobj(key, rsObject.stream())
    ein so gut durchdachtes Bibliothek 🙂
    S3.Objekt ist nicht durchsuchbar mehr.
    S3.Objekt ist noch durchsuchbar , aber mit S3object['body'].iter_lines (), so etwas wie dieses

    InformationsquelleAutor garnaat

  2. 45

    Anderen Antworten in diesem thread sind mit boto, aber S3.Objekt ist nicht durchsuchbar mehr in boto3. So, der folgende Code FUNKTIONIERT NICHT, es produziert eine TypeError: 's3.Object' object is not iterable Fehlermeldung:

        s3 = boto3.session.Session(profile_name=my_profile).resource('s3')
    s3_obj = s3.Object(bucket_name=my_bucket, key=my_key)

    with io.FileIO('sample.txt', 'w') as file:
        for i in s3_obj:
            file.write(i)

    In boto3, der Inhalt des Objekts ist verfügbar bei S3.Object.get()['Body'] die nicht durchsuchbar sind, so dass die folgenden noch NICHT:

        body = s3_obj.get()['Body']
    with io.FileIO('sample.txt', 'w') as file:
        for i in body:
            file.write(i)

    So, eine alternative ist die Verwendung der read-Methode, aber diese lädt die GESAMTE S3-Objekt im Speicher, die beim Umgang mit großen Dateien ist nicht immer eine Möglichkeit:

        body = s3_obj.get()['Body']
    with io.FileIO('sample.txt', 'w') as file:
        for i in body.read():
            file.write(i)

    Aber die read Methode erlaubt es, in der amt parameter, der angibt, die Anzahl der bytes, die wir Lesen wollen aus den zugrunde liegenden stream. Diese Methode kann wiederholt aufgerufen werden, bis der gesamte stream gelesen wurde:

        body = s3_obj.get()['Body']
    with io.FileIO('sample.txt', 'w') as file:
        while file.write(body.read(amt=512)):
            pass

    Graben in botocore.response.StreamingBody code merkt man, dass der zugrunde liegende stream ist auch verfügbar, so könnten wir die Iteration wie folgt:

        body = s3_obj.get()['Body']
    with io.FileIO('sample.txt', 'w') as file:
        for b in body._raw_stream:
            file.write(b)

    Beim googeln habe ich auch gesehen, einige links, die könnte man benutzen, aber ich habe nicht versucht:

    Sehr nützliche Antwort. Danke @smallo. Ich Schätze, dass Sie ausgesetzt die private __raw_stream das ist das, was ich denke, die meisten Menschen suchen.

    InformationsquelleAutor smallo

  3. 20

    Ich herausfinden, dass zumindest einige der Menschen sehen, diese Frage wird sein wie ich, und wollen einen Weg, um stream eine Datei von boto Zeile für Zeile (oder durch Komma durch Komma oder andere Trennzeichen). Hier ist ein einfacher Weg, dies zu tun:

    def getS3ResultsAsIterator(self, aws_access_info, key, prefix):        
    s3_conn = S3Connection(**aws_access)
    bucket_obj = s3_conn.get_bucket(key)
    # go through the list of files in the key
    for f in bucket_obj.list(prefix=prefix):
        unfinished_line = ''
        for byte in f:
            byte = unfinished_line + byte
            #split on whatever, or use a regex with re.split()
            lines = byte.split('\n')
            unfinished_line = lines.pop()
            for line in lines:
                yield line

    @garnaat die Antwort von oben ist immer noch toll und zu 100% wahr. Hoffentlich mir noch jemand hilft.

    split auf den anderen beiden Arten Zeilenenden mit: lines = re.split(r'[\n\r]+', byte) - hilfreich für CSV-Dateien aus Excel exportiert werden
    noch ein Hinweis: ich hatte, um yield unfinished_line nach der for byte in f: Schleife abgeschlossen wurde, andernfalls wird die Letzte Zeile nicht verarbeitet
    Gibt es einen guten Grund, warum dies nicht Teil der Boto3 API? Wenn nicht, sollte man einen pull-request Einreichen, dies zu beheben? Ich würde super nach unten klopfen, so etwas!
    gerne haben Sie es, wenn Sie mögen.
    Mal sehen, wie dieser pull-request geht über in botocore: github.com/boto/botocore/pull/1034

    InformationsquelleAutor Eli

  4. 2

    Dies ist meine Lösung zu Verpacken-streaming-Körper:

    import io
class S3ObjectInterator(io.RawIOBase):
    def __init__(self, bucket, key):
        """Initialize with S3 bucket and key names"""
        self.s3c = boto3.client('s3')
        self.obj_stream = self.s3c.get_object(Bucket=bucket, Key=key)['Body']

    def read(self, n=-1):
        """Read from the stream"""
        return self.obj_stream.read() if n == -1 else self.obj_stream.read(n)

    Beispiel:

    obj_stream = S3ObjectInterator(bucket, key)
for line in obj_stream:
    print line

    InformationsquelleAutor jzhou

  5. 2

    Botocore ist StreamingBody hat eine iter_lines() Methode:

    https://botocore.amazonaws.com/v1/documentation/api/latest/reference/response.html#botocore.response.StreamingBody.iter_lines

    Also:

    import boto3
s3r = boto3.resource('s3')
iterator = s3r.Object(bucket, key).get()['Body'].iter_lines()

for line in iterator:
    print(line)

    InformationsquelleAutor Vic

Schreibe einen Kommentar