große Datei von ec2 s3
Ich habe eine 27GB-Datei, die ich versuche zu bewegen, sich von einem AWS-Linux-EC2 S3. Ich habe versucht, sowohl die 'S3put' - Befehl und der "S3cmd put" - Befehl. Beide arbeiten mit einer test-Datei. Weder die Arbeit mit der großen Datei. Keine Fehler angegeben werden, der Befehl kehrt sofort, aber nichts passiert.
s3cmd put bigfile.tsv s3://bucket/bigfile.tsv
- Ich denke, die neue S3CMD-tool unterstützt multipart-Upload automatisch zumindest die version die es in Ubuntu es tut.
- siehe stackoverflow.com/questions/5774808/s3cmd-failed-too-many-times/..., und ich schlage vor: stackoverflow.com/a/22107084/116293
- und manchmal braucht es root-Zugriff
sudo s3cmd put...
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
Zwar können Sie Objekte hochladen S3 mit Größen bis 5 TB, S3 hat eine maximale Größe von 5 GB für einen einzelnen Betrieb SETZEN.
Zum laden von Dateien, die größer als 5 GB (oder sogar Dateien, die größer als 100 MB) sind Sie gehen zu wollen, um die Verwendung der multipart-upload-Funktion von S3.
(Ignorieren Sie die veraltete Bezeichnung für eine 5GB-Objekt-Grenze in der oben genannten blog-post. Die Grenze liegt derzeit bei 5 TB.)
Den boto-Bibliothek für Python unterstützt multipart-upload, und die neuesten boto-software enthält eine "s3multiput" command-line-tool sorgt dafür, dass die Komplexität für Sie und auch parallelizes Teil uploads.
Ist die Datei nicht vorhanden, doh. Ich erkannte, dass diese nach dem ausführen der s3-Befehle im verbose-Modus durch hinzufügen der-v-tag:
s3cmd version 1.1.0 unterstützt die multi-part-upload als Teil der "put" - Befehl, aber seine immer noch in der beta (aktuell.)