Beste Möglichkeit zum hochladen eines Blobs mit einem riesigen Größe in GBs zu azure in der schnellsten Zeit

Bitte kann jemand empfehlen, der beste Weg, um upload/download-video-blob von mehreren GB Größe, die in der schnellsten möglichen Zeit, um azure-Speicher?

Seltsam, dass dies geschlossen wurde, zu breit, wenn jemand fragte, was der beste Weg war, um das hochladen einer sehr großen Datei zu einem bestimmten service und jemand, der ein Experte für den service eingerichtet ein Dienstprogramm, custom built zu tun, dass mit die Schnellste Methode möglich.
Azure data Bewegung Bibliothek ist die beste Antwort für 2018
Microsoft Azure-Speicher-Explorer ist die beste Methode, um die übertragung großer Dateien über das internet (Stand Okt 2018)

InformationsquelleAutor Shraddha Bandekar | 2013-02-15

  1. 5

    Ich bin ein Microsoft Technical Evangelist und ich haben eine Vorlage entwickelt, und kostenloses tool (kein support/keine Garantie) zu helfen, in diesen Szenarien.

    Die binaries und source-code gibt es hier: https://blobtransferutility.codeplex.com/

    Den Blob-Transfer-Dienstprogramm ist ein GUI-tool um upload und download Tausende von kleinen/großen Dateien zu/von Windows Azure-Blob-Speicher.

    Features:

    • Erstellen Chargen-upload/- download
    • Setzen den Content-Type -
    • Übertragung von Dateien in parallelen
    • Split große Dateien in kleinere Teile, die übertragen werden, parallel

    Die 4. Funktion ist die Antwort auf Ihr problem.

    Können Sie lernen aus dem Beispiel-code, wie ich es Tat, oder Sie können einfach das tool ausführen und tun, was Sie tun müssen.

    Hallo, Ist es möglich, eine Datei herunterzuladen, werden chunk für chunk und verwenden Sie ein HttpHandler, um Sie zu senden, um bündig an client-Browser, die für jeden chunk?
    Microsoft Azure-Speicher-Explorer ist die beste Methode, um die übertragung großer Dateien über das internet (Stand Okt 2018)

    InformationsquelleAutor Vitor Ciaramella

  2. 6

    Beste Weg, um upload/download von großen blobs von Windows Azure Storage durch die Segmentierung der upload/download und stellen Sie die ordnungsgemäße Verwendung von multi-threading. Es sind ein paar Sachen, die Sie beachten sollten:

    1. Chunk-Größe abhängen sollte Ihre Internet-Verbindung. Zum Beispiel, wenn Sie auf eine wirklich langsame Internet-Verbindung und dann das hochladen von großen einzelnen Brocken fast unweigerlich Ergebnis in request-timeouts.
    2. Anzahl der gleichzeitigen threads zum hochladen/herunterladen, sollte davon abhängen, die Anzahl der Prozessor-Kerne auf der Maschine, von wo aus Sie Ihre Anwendung code ausgeführt wird. In meiner Erfahrung, wenn Sie Ihre Anwendung auf einem 8-Kern-Maschine für die beste Leistung, die Sie konnte, laichen 8 mehrere threads, wobei jeder thread hochladen/herunterladen von einem Teil der Daten. Man kann in Versuchung kommen, zu laufen 100te von threads und lassen Sie die thread-Verwaltung der OS-aber was ich beobachtet habe, ist, dass in solchen Fällen die meisten der Zeit, die Anfragen werden immer timed out.
    3. Upload/download-Vorgang sollte asynchronen. Sie nicht möchten, dass Ihre Anwendung zu blockieren/hog-Ressourcen auf Ihrem computer.

    Für das hochladen einer großen Datei, die Sie könnten entscheiden, die chunk-Größe (sagen wir, es ist 1 MB) und gleichzeitiger threads (sagen wir mal Sie ist 8) und dann Lesen 8 MB aus der Datei in ein array mit 8 Elementen, und starten Sie hochladen diese 8 Elemente parallel mit upload-block-Funktionalität. Sobald die 8 Elemente hochgeladen werden, wiederholen Sie die Logik zum Lesen der nächsten 8 MB und fortsetzen Sie diesen Vorgang, bis die Zeit, die alle bytes, die hochgeladen werden. Nach, dass Sie nennen würde, commit-block list-Funktionalität zu verpflichten, den-blob-blob-Speicher.

    Ebenso für das herunterladen einer großen Datei, um Sie nochmals entscheiden könnten, die chunk-Größe und gleichzeitige threads und dann zu Lesen beginnen, Teile der blob durch die Angabe "range" - header-Get Blob-Funktionalität. Sobald diese Teile heruntergeladen sind, müssen Sie neu anordnen, basierend auf Ihren eigentlichen Positionen (wie kann es passieren, dass Sie 3 - 4 MB chunk heruntergeladen werden, bevor 0 - 1 MB chunk) und mit dem schreiben beginnen diese Abschnitte in einer Datei. Sie müssten, um den Prozess zu wiederholen, bis die Zeit alle bytes heruntergeladen werden.

    Wollte, um zu bestätigen, wenn die Lösung hier erklärt, ist der richtige Weg wely-lau.net/2012/02/26/.... Es wäre toll, wenn alle links zu Beispiel-apps implementieren diese in PHP würde geteilt werden.
    Ja. Das ist der richtige Ansatz. Leider ist PHP nicht meine Stärke :(.
    Wenn Sie wollen, schauen Sie sich Referenz-code (VB.NET), dann bitte link. Möchten Sie vielleicht finden Sie es und schreiben Sie es in PHP.

    InformationsquelleAutor Gaurav Mantri

  3. 1

    Können Sie Cloud Kombinieren für die zuverlässige und schnelle Datei-upload in Azure blob-Speicher. Es unterstützt multi-Thread-Verarbeitung, so dass die Datei wird hochgeladen, auf maximale Geschwindigkeit.

    InformationsquelleAutor ezolotko

  4. 1

    Können Sie mit windows azure powershell zum hochladen/herunterladen von großen Dateien aus azure.

    Set-AzureStorageBlobContent ist für den Upload.

    Set-AzureStorageBlobContent -Container containerName -File .\filename -Blob blobname

    http://msdn.microsoft.com/en-us/library/dn408487.aspx

    Bekommen-AzureStorageBlobContent ist für den Download.

    Get-AzureStorageBlobContent -Container containername -Blob blob -Destination C:\test\

    http://msdn.microsoft.com/en-us/library/dn408562.aspx

    Diese eigentlich nicht für große Dateien, weil es mal aus. Die, die ich versuchte, war 3,7 GB

    InformationsquelleAutor Yao

  5. 1

    Können Sie die Microsoft AzCopy Befehlszeilen-Dienstprogramm, wenn Sie auf einem Windows-OS. Für Linux/Mac können Sie die Azure-CLI.

    AzCopy ist ein Windows-Befehlszeilen-Dienstprogramm zum kopieren von Daten zu und von Microsoft Azure Blob-Datei, und Tabelle Speicher mit einfachen Befehlen mit optimaler Leistung.

    Download ein blob:

    AzCopy /Source:https://myaccount.blob.core.windows.net/mycontainer /Dest:C:\myfolder /SourceKey:my_key_here /Pattern:"abc.txt"

    Upload einzelner Datei:

    AzCopy /Source:C:\myfolder /Dest:https://myaccount.blob.core.windows.net/mycontainer /DestKey:my_key_here /Pattern:"abc.txt"

    Mehr Beispiele und Infos über AzCopy hier.

    InformationsquelleAutor Voicu

  6. 0

    Können Sie Azure Import/Export Service, wo Sie liefern können, die Festplatte mit Ihren Daten in Azure-Datencenter.

    Überprüfen Sie diesen link:
    https://azure.microsoft.com/en-us/documentation/articles/storage-import-export-service/

    InformationsquelleAutor user3533790

  7. 0

    Ich bin relativ neu in der ganzen Daten-Migrations-Aufwand, und ich bin auf die Maximierung der Vorteile der "kalten" Speicher vs 'performing' Speicher mit einer Reihe von business-Regeln und verschiedene BETA-Test-Szenarien.

    Habe ich keine Verbindung zu dem Produkt, aber ich habe festgestellt, dass für das Geld, das GoodSync-Produkt bietet die beste bang für die buck. Ermöglicht das planen, die Datei ändern, Trigger, Tonnen von Filter-Optionen, so weit von SMB-und/oder cloud-basierte storage-Optionen, die analysiert werden können und synchronisiert. Es ermöglicht auch multi-threading. Keiner von Ihnen sind 'super schnell', aber GoodSync macht es zumindest Recht überschaubar zu laufen eine Reihe von jobs mit separaten Registerkarten.

    Check it out...

    InformationsquelleAutor aezerins

Schreibe einen Kommentar