Gewusst wie: downloaden einer Datei von s3 mit dem mitgelieferten url?

In meiner Anwendung werde ich die url der s3-Datei wie : https://s3.amazonaws.com/account-update/input.csv
Ich habe, um es zu laden und dann verarbeiten.
Was ich schon getan :

AmazonS3 s3 = new AmazonS3Client(credentials);
S3Object s3object = s3.getObject(new GetObjectRequest(
bucketName, key));

Ich bin in der Lage, laden Sie die Datei herunter, indem bucket-name und-Schlüssel, aber wie kann ich laden Sie die Datei mit der url(https://s3.amazonaws.com/account-update/input.csv) nur???

InformationsquelleAutor Rohit Chouhan | 2017-05-22

  1. 4

    Könnten Sie zum download der Datei über einen standard-curl/wget die gleiche, als würden Sie downloaden eine beliebige andere Datei aus dem Internet.

    Ist der wichtige Teil, jedoch ist zu ermöglichen den Zugriff auf das Objekt von Amazon S3. Ein paar Optionen:

    • Das Objekt öffentlich-lesbar: Diese kann getan werden, über die Konsole oder CLI/API. Wer aber mit dieser URL wird in der Lage sein, um es herunterzuladen.
    • Erstellen Sie eine Amazon-S3-Bucket-Richtlinien gewährt Lesezugriff auf die gewünschte Datei/Verzeichnis/Eimer. Aber, nochmals, jeder, der über den URL-Zugriff auf diese Objekte.
    • Halten Sie das Objekt privat, aber verwenden pre-signed URL, fügt Parameter an die URL zu beweisen, dass Sie berechtigt sind, das Objekt herunterzuladen. Diese pre-signed URL ist zeitlich begrenzt, und kann erzeugt werden, mit ein paar Zeilen code mit aktuellen AWS-Anmeldeinformationen.
    Ich sah Beispiele, die pre-signed URL für das hochladen von Objekten. Wie können wir erzeugen, pre-signed URL für den Download ?
    Erstellen Sie bitte eine neue Frage statt zu Fragen, über einen Kommentar auf eine alte Frage.

    InformationsquelleAutor John Rotenstein

  2. 4

    Sollten Sie das AWS SDK-Klasse AmazonS3URI wie unten gezeigt:

    URI fileToBeDownloaded = new URI(" https://s3.amazonaws.com/account-update/input.csv"); 

AmazonS3URI s3URI = new AmazonS3URI(fileToBeDownloaded);

S3Object s3Object = s3Client.getObject(s3URI.getBucket(), s3URI.getKey());

    Von hier aus auf, sollten Sie in der Lage zu nutzen, die s3Object die in einer ähnlichen Weise zu der s3Object gezeigt in Ihrem code.

    Weitere Java zugehörigen AWS-SDK-Beispiele für die Verwendung dieser Klasse prüfen hier

    InformationsquelleAutor Jawad

  3. 1

    Zugriff über HTTP, müssen Sie den Eimer als Statische Website in der S3-Konsole. Seien Sie gewarnt, dadurch werden alle Ihre Daten, um die web -, es sei denn, Sie richten Sie die richtige S3 steuert den Zugriff.

    Die Methode, die Sie Zugriff über das Java-SDK nicht verwenden diese Art der Verbindung, obwohl. Wird es eine Verbindung über die integrierte S3-Protokoll. Sie sollten überprüfen Sie Ihre IAM-Rolle oder Politik, um sicherzustellen, dass Sie die richtigen Berechtigungen haben (s3:GetObject). Sie müssen auch s3:ListBucket zu sehen, ein 404, wenn das Objekt nicht vorhanden ist.

    InformationsquelleAutor ITAdminNC

  4. 0

    John Rotenstein korrekt ist, können Sie die Datei über die URL mit standard-curl/wget.

    Wenn Sie wollte, dies zu tun mit Java, etwas wie das folgende tun sollten, die trick; Nutzung der Apache HttpComponents Paket

    private void downloadRequest(String url, String savedFile) {
    HttpClient client = HttpClients.createDefault();

    HttpGet httpGet = new HttpGet(url);
    HttpResponse response;
    try {
        response = client.execute(httpGet);
        HttpEntity entity = response.getEntity();
        if (entity != null) {
            try (FileOutputStream outstream = new FileOutputStream(savedFile)) {
                entity.writeTo(outstream);
            } catch (IOException e) {
                LOGGER.info(e.getMessage());
            }
        }

    } catch (IOException e) {
        e.printStackTrace();
    }
}

    InformationsquelleAutor Chris Turner

  5. 0

    Der beste Weg ist, mit den pre-signed-S3-URL, um Ihren Bedürfnissen gerecht werden.
    Sie können hinzufügen, Ablauf der Zeit, auf Ihre signierten URLs und nach, dass die URL nicht verfügbar ist.

    Für weitere Informationen Lesen Sie auf der folgenden Seite:

    https://docs.aws.amazon.com/AmazonS3/latest/dev/ShareObjectPreSignedURLJavaSDK.html

    InformationsquelleAutor Reza Mousavi

  6. 0

    Können Sie nicht, aber Sie können den Datei-Anhang im upload.

    Für exemplo:

    ObjectMetadata objectMetadata = new ObjectMetadata();
objectMetadata.setContentType("application/csv;charset=utf-8");
objectMetadata.setContentDisposition("attachment");
PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, arquivo, file, objectMetadata).withCannedAcl(CannedAccessControlList.PublicRead);
amazonS3.putObject(putObjectRequest);

    Ich hoffe, es hilft.

    InformationsquelleAutor Alberto Cerqueira

  7. -1

    unter Verwendung der cli: aws-s3-cp-s3://bucket/Präfix/key targetlocalfolder

    Diese Frage ist über die Verwendung einer url, die mit http, nicht mit der CLI die gleiche Weise eine regelmäßige s3-Pfad ist.

    InformationsquelleAutor tooptoop4

Schreibe einen Kommentar