Was kann ich tun um die Geschwindigkeit S3 uploads/updates?

Ich habe versucht Sie hochzuladen, etwas kleines s3 heute den ganzen Tag. Über 20k Dateien in 500 Verzeichnisse, die insgesamt über 3GB. Etwas, was absolut angemessen für einen service namens Simple Storage Service. Hochladen ich kann Sie zu verschiedenen Orten im Durchschnitt bei etwa 500 K/s - 1mb/s (zwischen 1,8 und 3,6 gb/h). Ich habe versucht den upload dieser Dateien zu s3 den ganzen Tag, ich muss hochgeladen düster Steuersatz auf die Summe (denke über 100 mb/h oder so).

Habe ich versucht:

  • der s3-web-Konsole mit einer Vielzahl von Browsern, die auf eine Vielzahl von OS
  • boto mit einer Vielzahl von Skripten, die ich geschrieben habe, und online zu finden (vor allem hier auf SO).

Meine Probleme, die ich hatte gehofft, Sie würden so freundlich sein, mir zu helfen, zu diagnostizieren, sind die folgenden:

  • ziehen und ablegen, um die s3-Konsole (nur für die es zu zählen, die 20k Dateien, dauert wie eine Stunde). warum? es sei denn, ich kann dies lösen, die web-console ist meist nutzlos für mich.
  • der laden selbst ist extrem langsam, selten schneller als 100 k/s.
  • nach den ganzen Tag hochladen bemerkte ich ein einfaches problem mit den Dateinamen, die nicht wollen, verbringen alle Nacht hochladen wieder, habe ich dieses Skript: Amazon S3-boto: Wie Sie eine Datei umbenennen, in einen Eimer?, die jeden Ansprüchen arbeitet wirklich schnell. Es gelingt umbenennen über 1 200 Kb Datei alle 2-3 Sekunden. warum?
  • nach dem hochladen, so dass alle Dateien öffentlich (über die web-Konsole) genommen hat, wie die 4 Stunden und es hat noch nicht fertig.

Es ist wirklich frustrierend, es muss etwas sein, was ich falsch mache. Ich erwarte, dass alles funktioniert über 10x schneller und es tut nicht. Ich habe gelesen, dass wenn der split-Modus die Datei s3 läuft schneller und ich habe gelesen, dass die zone (ich bin in New York City) ist wirklich wichtig. Was ändern gebe mir die größte Zunahme der upload-Geschwindigkeit?

  • Sie sollten look into IOPS EBS-volumes
  • das ist nicht relevant für S3.
  • in welcher region hast du den Eimer? Auch gab es einige langjährige Vorwürfe der "unerklärliche" Drosselung der AWS-Verkehr durch eine der großen Breitband - (und, ähem, video) Anbieter im Nordosten der USA. S3, jedoch ist alles andere als langsam.
  • Erstellt habe ich den Eimer eine Weile zurück und es war UNS Standard. Mein ISP ist TWC.
  • S3 war nicht dafür ausgelegt, einen hohen Durchsatz. IOPS EBS wurde für intensive I/O - was ist das OP ' s-Anforderung.
  • Was OP beschreibt ist noch nicht einmal nähern hohen Durchsatz. S3-transfer-Geschwindigkeiten, für mich mehr als 10-20 Mbit/s auf große uploads und downloads sind nicht selten, und Tausende von PUT - /KOPF - /GET-Anfragen pro Stunde von einem einzigen (Multi-Threaded) - client auch nicht ungewöhnlich, dass auf S3. Es klingt wie ein Problem mit der Konnektivität, oder auch DNS ist die Verlangsamung hier nicht die natute S3-design.
  • Sie erwähnt boto, welche version verwendet?
  • Ich bin mit der version 2.29.1
  • Haben Sie versucht s3cmd? mit --acl-public. Hochladen/Coping ... von kleinen Dateien hat overhead. Der Zweck der Dateien ist nicht gedient, unabhängig, empfehle ich das Archiv die ersten, die es dann hochladen.

InformationsquelleAutor carlosdc | 2014-07-22
  1. 3

    Vielleicht die langsame upload-Verbindung befestigt werden kann, mit einem änderung des AWS-server-Standort

    Ich habe gerade herausgefunden, was das problem war in meinem Fall: die Dauer des Uploads (Größe 35 MB)

    • Oregon, USA us-west-2: 5-6mins
    • Frankfurth, Deutschland eu-Mittel: 1mins! (das ist über max meine Verbindung)

    Bin ich in Wien, nicht in den USA -> überprüfen Sie Ihre AWS-server-Standort

    InformationsquelleAutor electrobabe
  2. -1

    Den upload selbst ist extrem langsam

    Können Sie versuchen, Eimer Erkundenr die upload-Vorgänge in Hunderten von parallelen Warteschlange, so dass upload-Prozess ist schneller.

    Nach dem hochladen, so dass alle Dateien öffentlich (über die web-Konsole) genommen hat, wie die 4 Stunden und es hat noch nicht fertig.

    Können Sie Richtlinien festlegen, die auf den Eimer für den Zugang der öffentlichkeit zu Objekten.

    Die folgenden Beispiel-policy ermöglicht den Zugriff für anonyme Benutzer.

     { 
  "Id": "ds", 
  "Statement": [{ 
  "Action": "s3:GetObject", 
  "Effect": "Allow", 
  "Principal": {"AWS": "*"}, 
  "Resource": [ 
  "arn:aws:s3:::testbucket", 
  "arn:aws:s3:::testbucket/*" 
  ], 
  "Sid": "1" 
 }], 
  "Version": "2008-10-17" 
  }

    Offenlegung: ich bin einer der Entwickler von Eimer-Explorer

    • firefox warnt mich, dass die Bucket-Explorer enthalten malware (also tut virustotal).
    InformationsquelleAutor Ronak
Schreibe einen Kommentar