Kopieren mehrerer Dateien vom s3-bucket

Ich habe Probleme beim herunterladen mehrerer Dateien von AWS-S3-buckets auf meiner lokalen Maschine.

Habe ich alle Dateinamen, die ich herunterladen möchten und ich möchte nicht, dass andere. Wie kann ich das tun ? Gibt es irgendeine Art von Schleife, die in aws-cli kann ich tun, einige iteration ?

Gibt es paar hundert Dateien, die ich herunterladen müssen, so dass es scheint nicht möglich, verwenden Sie einen einzigen Befehl, der nimmt alle Dateinamen als Argumente.

Sie können sich aws s3api get-object wenn Sie in der Lage sind, filter/Abfrage der Liste der Dateien .. wenn du die Liste in eine Datei, Lesen Sie die Datei zeilenweise und Rohr mit aws s3 cp s3://yourbuyet/-

InformationsquelleAutor DQI | 2016-06-24

  1. 11

    Es ist ein bash-Skript, welches kann, Lesen Sie alle Dateinamen aus einer Datei filename.txt. 

    #!/bin/bash  
set -e  
while read line  
do  
  aws s3 cp s3://bucket-name/$line dest-path/ 
done <filename.txt
    Danke, das ist definitiv eine bessere Weise, das zu tun.
    Ja, das ist viel besserer Weg, es zu tun im Vergleich zu allen anderen Antworten hier gepostet. Vielen Dank für diese Antwort.
    set -e stops the execution of a script if a command or pipeline has an error - which is the opposite of the default shell behaviour, which is to ignore errors in scripts
    Dadurch wird die download-Dateien eine nach der anderen -, müssen Sie einen Weg, es zu tun in parallel

    InformationsquelleAutor Rajan

  2. 12

    Auch kann man die --recursive option, wie beschrieben in der Dokumentation für cp Befehl. Es kopiert alle Objekte unter einem bestimmten Präfix rekursiv. E. g.:


    aws s3 cp s3://folder1/folder2/folder3 . --recursive

    greifen, werden alle Dateien unter /Ordner1/Ordner2/Ordner3 und kopieren Sie Sie zu einem lokalen Verzeichnis.

    InformationsquelleAutor siphiuel

  3. 7

    Möchten Sie vielleicht die Verwendung von "sync" statt "cp". Im folgenden wird das herunterladen/synchronisieren, nur die Dateien mit der ".txt" - Erweiterung in Ihrem lokalen Ordner:

    aws s3 sync --exclude="*" --include="*.txt" s3://mybucket/mysubbucket .
    Ich möchte mit dem oben genannten Befehl kopieren nur 100 Dateien (zum Beispiel). Gibt es eine clevere Art/parameter, die verwendet werden können, um dies zu tun?

    InformationsquelleAutor f.cipriani

  4. 4

    Als pro die doc können Sie include und exclude Filter mit s3 cp als gut. So können Sie etwas wie das hier tun:

    aws s3 cp s3://bucket/folder/. --recursive --exclude="*" --include="2017-12-20*"

    Stellen Sie sicher, dass Sie die Reihenfolge der exclude und include Filter als Recht, dass könnte sich ändern, die gesamte Bedeutung.

    Ihre Letzte Zeile "Stellen Sie sicher, dass die Reihenfolge der ein-und ausschließen-Filter als Recht, dass könnte sich ändern, die ganze Bedeutung." besonders hilfreich ist (ich hatte Sie vertauscht). Danke.

    InformationsquelleAutor geekgunda

  5. -1

    Ich hab das problem gelöst, zwar ein wenig dumm, aber es funktioniert.

    Mit python, ich Schreibe mit mehreren Linien von AWS-download-Befehle auf einer einzigen .sh-Datei, dann führe ich es auf dem terminal.

    Sie haben viel zum Einsatz bereit-sdk hier in der amazon website.

    InformationsquelleAutor DQI

Schreibe einen Kommentar