Die Verbesserung der Daten-Transfer-Rate auf Amazon EC2
Habe ich eine 1-Gig-EBS-Volume auf einer EC2-Instanz
Ich bin 600MB kopieren von binären Daten aus einer Lokalen Festplatte (über RDS-Verbindung)
und der Kopiervorgang von windows zeigt 10 Stunden, die restlichen.
Obwohl ich ein High-Speed-Verbindung (100 Mbit /s)
Was auch immer das Datenvolumen, Datentransfer-rate 1 Min /MB (ich.e 16Kbs /Sec)
Ich bin zu zögern zwischen Lesen Moby Dick vor meinem Arbeitsplatz oder einfach nur ein Tag-aus.
Gibt es sinnvolle Optionen zur Beschleunigung dieses transfer-rate ?
(Idealerweise 512 Kbit/Sec mindestens)
Ich bin sehr offen für JEDE Lösung, zu verkürzen, bis das Upload/Download-Zeit zu/von der EC2-Instanz.
Vielen Dank im Voraus.
EDIT :
Ich stolperte über [Amazon Export/Import-Service][1]
"AWS Import/Export beschleunigt die übertragung großer Mengen von Daten zwischen AWS-cloud-und tragbare Speichergeräte, die Sie E-mail an uns"
Durch die "mail an uns", wörtlich bedeuten Sie "materiell" Versand Ihre storage-Gerät zu Amazon.
Nicht sagen, das ist Steinzeit, das ist BRANDNEUE TECHNOLOGIE, Dude ! 🙂
EDIT2 :
Das Klang toll: [Aspera für AWs][2], Aber leider viel zu teuer;
Zugeschnitten für Fortune 500 Unternehmen mit großen Bedarf und das große Geld.
Ich fand dieses : forums.aws.amazon.com/message.jspa?messageID=183555. Ich in Europa bin, aber ich hatte keine andere Wahl als "US-East" bei der Realisierung von EBS-Volumes.
"Unterschätzen Sie nie die Bandbreite eines Kombi voller Bänder Rast auf der Autobahn." —Tanenbaum, Andrew S. (1996). Computer-Netzwerke. New Jersey: Prentice-Hall. p. 83. ISBN 0-13-349945-6.
Zumindest sind Sie nicht bitten, Sie übertragen, per snail - ... blog.makezine.com/2006/02/16/data-transfer-via-snail
Es ist wahr, es gibt noch nichts, dass beats-Band für hohe Volumen. Beginnend zu vermuten, dass diese übertragungsraten sind gewollt pad der instance-Stunden, die für "batch" - Benutzer. Viel langsamer als bei anderen Anbietern. Ich würde es hassen zu denken, es ist eine beliebige slicing-oder multiplexing geht. (2,5 Jahre später, und immer noch langsam).
InformationsquelleAutor |
Du musst angemeldet sein, um einen Kommentar abzugeben.
Manchmal, wenn Sie wollen etwas tun, es ist besser, es selbst zu tun 🙂
Ich fand nichts befriedigendes über die net so verbrachte ich den Abend zu tun, eher Komplette Prüfstand von meiner eigenen.
Ich habe getestet ein paar alternativen /Szenarien und hier sind die Ergebnisse :
FTP-server installiert, die auf EC2 war Filezilla Server (korrekte Konfiguration ist empfindlich)
FTP-Client verwendet für diesen Prüfstand wurde WinSPC (Filezilla-Client hat nicht funktioniert. sehen dieser andere post
Legende : [HC] steht für Haus-Anschluss (100 Mbit /s)
Upload-Bandbreite
RDS-Upload : 15 Kb/S => Schlechter, Je
FTP-Upload [FTP-Server Installiert, die auf EC2]: 100 Kb/S
Upload auf S3-AWS Management Konsole von HC: 60 Kb/S
Upload auf S3 über die AWS-Konsole-Schnittstelle von EC2 : 145 Kb/S
Upload auf S3 mit S3 Browser von HC: 120 Kb/S
Upload auf S3 mit S3 Browser von EC2 : 2000 Kb/S
Download-Bandbreite
RDS-Download und-Upload: 15 Kb/S => Schlechter, Je
FTP-Download von [FTP-Server Installiert, die auf EC2]: 360 Kb/S
Download von S3 AWS-Konsole-Schnittstelle von EC2 : 350 Kb/S
Download von S3 mit S3 Browser: aus HC: 380 bis 620 Kb/S
Download von S3 mit S3 Browser: von EC2 : 3000 Kb/S
Schlussfolgerungen :
So, wie jetzt, Amazon S3 in Kombination mit S3 Browser die besten Resultate geben.
(S3 Browser ist nur eine Schicht über die S3-ich verstehe es nicht, warum die upload-rate ist besser)
Allerdings sollte man im Hinterkopf behalten, dass ein FTP-Server auf einer EC2-Instanz hat den großen Vorteil, Mapping direkt eine lokale EC2-Verzeichnis in EC2. Im Gegensatz zu S3, gibt es nur eins-übertragung beteiligt. In der Tat, S3 benötigt 2 Transfers : Lokale Ressource S3/S3, EC2 und Umgekehrt, während der FTP-Zugriff gewährt Unmittelbarkeit durch die Verkürzung transfer-Zyklen. Außerdem erspart es die Kosten von S3-Buckets.
Es ist auch interessant zu erwähnen, dass die EC2-Instanz, die Bandbreite ist wirklich stark. Es ist daher viel interessanter ist -unnötig zu sagen, verwenden Protokolle, dass wirklich nutzen Sie es wie S3 oder FTP, anstatt RDS.
Ich hoffe, dies wird nützlich sein, um andere Menschen vor dem gleichen Problem und ersparen Ihnen kostbare Zeit.
InformationsquelleAutor Mehdi LAMRANI
Verwenden Aspera oder Tsunami UDP und verschieben 600 MB für Ihre Amazon EC2-infra (Sprung Kasten). Dann intern kopieren von jumpbox für windows ec2. Mein benchmark zeigt tsunami UDP ist relativ schneller im Vergleich zu traditionellen Formen.
InformationsquelleAutor