Wie kann ich list directory contents von einem S3-bucket mit Python und Boto3?

Ich versuche, um eine Liste aller Verzeichnisse in einem S3-bucket mit Python und Boto3.

Ich bin mit dem folgenden code:

s3 = session.resource('s3')  # I already have a boto3 Session object
bucket_names = [
    'this/bucket/',
    'that/bucket/'
]
for name in bucket_names:
    bucket = s3.Bucket(name)
    for obj in bucket.objects.all():  # this raises an exception
        # handle obj

Wenn ich diesen starte bekomme ich folgende exception stack trace:

File "botolist.py", line 67, in <module>
  for obj in bucket.objects.all():
File "/Library/Python/2.7/site-packages/boto3/resources/collection.py", line 82, in __iter__
  for page in self.pages():
File "/Library/Python/2.7/site-packages/boto3/resources/collection.py", line 165, in pages
  for page in pages:
File "/Library/Python/2.7/site-packages/botocore/paginate.py", line 83, in __iter__
  response = self._make_request(current_kwargs)
File "/Library/Python/2.7/site-packages/botocore/paginate.py", line 155, in _make_request
  return self._method(**current_kwargs)
File "/Library/Python/2.7/site-packages/botocore/client.py", line 270, in _api_call
  return self._make_api_call(operation_name, kwargs)
File "/Library/Python/2.7/site-packages/botocore/client.py", line 335, in _make_api_call
  raise ClientError(parsed_response, operation_name)

botocore.exceptions.ClientError: An error occurred (NoSuchKey) when calling the ListObjects operation: The specified key does not exist.

Was ist der richtige Weg, um die Liste Verzeichnisse in einen Eimer?

Vielen Dank im Voraus...

InformationsquelleAutor Allen Gooch | 2015-09-17

2

Alle diese anderen Antworten zu saugen. Mit
```
client.list_objects()
```
Grenzen, die Sie zu 1k Ergebnisse max. Der rest der Antworten sind entweder falsch oder zu Komplex.

Umgang mit der Fortsetzung token selbst ist eine schreckliche Idee. Verwenden Sie einfach paginator, die sich mit der Logik, für Sie

Die Lösung, die Sie wollen, ist:
```
[e['Key'] for p in client.get_paginator("list_objects_v2")\
                         .paginate(Bucket='my_bucket')
          for e in p['Contents']]
```
- beachten Sie, dass paginate kann mehr Parameter als nur Bucket, so zum Beispiel, wenn Sie wollte Suche nach einem bestimmten Eimer für Objekte, die nur enthalten einem bestimmten Präfix, könnte man sagen [e['Key'] for p in s3g.client.get_paginator("list_objects_v2").paginate(Bucket='my_bucket', Prefix='foo/bar') for e in p['Contents']]
InformationsquelleAutor Henry Henrinson
10

Alternativ können Sie verwenden möchten boto3.client

Beispiel
```
>>> import boto3 
>>> client = boto3.client('s3')
>>> client.list_objects(Bucket='MyBucket')
```
list_objects unterstützt auch andere Argumente, die erforderlich sein könnten, zu iterieren, obwohl das Ergebnis: Eimer, Trennzeichen, EncodingType, Marker, MaxKeys, Präfix
- Ich habe versucht, aber bekomme immer noch die gleiche ClientError. Ein Fehler ist aufgetreten (NoSuchKey) beim Aufruf der ListObjects Betrieb: Der angegebene Schlüssel nicht vorhanden ist.
- Diese Methode gibt bis zu 1000 Ergebnisse nur.
InformationsquelleAutor Vor

Wenn Sie die Sitzung, erstellen Sie einen client und Holen Sie sich die CommonPrefixes des Kunden list_objects:

client = session.client('s3', 
                        # region_name='eu-west-1'
                        )

result = client.list_objects(Bucket='MyBucket', Delimiter='/')
for obj in result.get('CommonPrefixes'):
    #handle obj.get('Prefix')

Es könnte eine Menge von Ordnern, und möchten Sie vielleicht starten Sie in einen Unterordner, obwohl. So etwas umgehen konnte, dass:

def folders(client, bucket, prefix=''):
    paginator = client.get_paginator('list_objects')
    for result in paginator.paginate(Bucket=bucket, Prefix=prefix, Delimiter='/'):
        for prefix in result.get('CommonPrefixes', []):
            yield prefix.get('Prefix')

gen_folders = folders(client, 'MyBucket')
list(gen_folders)

gen_subfolders = folders(client, 'MyBucket', prefix='MySubFolder/')
list(gen_subfolders)

Dies nur mich gerettet eine Menge Zeit. Vielen Dank für die Funktion.
hey, amazon!!! fügen Sie diese Funktion, plz!!!!! Ich kann nicht verstehen, warum es nicht Teil der Bibliothek.

InformationsquelleAutor Anne M.

Den besten Weg, um die Liste ALLER Objekte, die mit einem bestimmten Präfix in einen S3-bucket ist mit list_objects_v2 zusammen mit ContinuationToken zur überwindung der 1000-Objekt-Paginierung-Grenze.

import boto3
s3 = boto3.client('s3')

s3_bucket = 'your-bucket'
s3_prefix = 'your/prefix'
partial_list = s3.list_objects_v2(
        Bucket=s3_bucket, 
        Prefix=s3_prefix)
obj_list = partial_list['Contents']
while partial_list['IsTruncated']:
    next_token = partial_list['NextContinuationToken']
    partial_list = s3.list_objects_v2(
        Bucket=s3_bucket, 
        Prefix=s3_prefix, 
        ContinuationToken=next_token)
    obj_list.extend(partial_list['Contents'])

InformationsquelleAutor Behrooz

0

Hätte ich gedacht, dass Sie nicht mit einem Schrägstrich in einem Eimer Namen. Sie sagen, Sie wollen, um eine Liste aller Verzeichnisse in einem Eimer, aber dein code versucht, um eine Liste aller Inhalte (nicht unbedingt Verzeichnisse) innerhalb einer Anzahl der buckets. Diese Eimer wohl nicht existieren (weil Sie illegale Namen). Also, wenn Sie Sie ausführen
```
bucket = s3.Bucket(name)
```
Eimer ist wahrscheinlich null, und die nachfolgende Liste wird scheitern.

InformationsquelleAutor Old_Mortality

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.