Skript herunterladen der Datei von Amazon S3-bucket

Versucht zu schreiben-Skript herunterladen der Datei von Amazon S3-bucket.

Probleme mit dem Beispiel auf die cURL-Website. Das folgende Skript erzeugt:

Antrag Unterschrift wir rechneten nicht mit der Signatur, die Sie
zur Verfügung gestellt. Überprüfen Sie Ihre Schlüssel und Signatur-Methode.

Jede Hilfe dankbar.

#!/bin/sh 
file="filename.php"
bucket="my-bucket"
resource="/${bucket}/${file}"
contentType="text/html"
dateValue="`date +'%a, %d %b %Y %H:%M:%S %z'`"
stringToSign="GET\n\n${contentType}\n${dateValue}\n${resource}"
s3Key='ABCABCABCABCABCABCAB'
s3Secret='xyzxyzyxyzxyzxyzxyzxyzxyzxyzxyzxyzxyzxyzx'
signature=`/bin/echo -en "$stringToSign" | openssl sha1 -hmac ${s3Secret} -      binary | base64`

curl -v -H "Host:lssngen-updates-east.s3.amazonaws.com" \
        -H "Date:${dateValue}" \
        -H "Content-Type:${contentType}" \
        -H "Authorization: AWS ${s3Key}:${signature}" \
        https://${bucket}.s3.amazonaws.com/${file}

InformationsquelleAutor DuffManLight | 2015-06-16

9

Vermeiden der Unterzeichnung des Antrags selbst, kann viel schief gehen oder schwierig sein, zu tun. Zum Beispiel, sollten Sie überprüfen, dass das Datum auf GMT oder verwenden Sie x-amz-date-Header.

Ein weiterer Ansatz ist die Verwendung der AWS Command Line Interface und so verwenden $ aws s3 cp oder $ aws s3 sync.

InformationsquelleAutor faermanj
8

Schreibe ich das bash-Skript herunterladen der Datei von s3 (I download einer komprimierten Datei, die Sie ändern können, contentType zum herunterladen von anderen Dateitypen)
```
#!/bin/sh 
outputFile="Your_PATH"
amzFile="AMAZON_FILE_PATH"
bucket="YOUR_BUCKET"
resource="/${bucket}/${amzFile}"
contentType="application/x-compressed-tar"
dateValue=`date -R`
stringToSign="GET\n\n${contentType}\n${dateValue}\n${resource}"
s3Key="YOUR_S3_KEY"
s3Secret="YOUR_S3SECRET"
signature=`echo -en ${stringToSign} | openssl sha1 -hmac ${s3Secret} -binary | base64`

curl  -H "Host: ${bucket}.s3.amazonaws.com" \
     -H "Date: ${dateValue}" \
     -H "Content-Type: ${contentType}" \
     -H "Authorization: AWS ${s3Key}:${signature}" \
     https://${bucket}.s3.amazonaws.com/${amzFile} -o $outputFile
```
- die $outputFile enthält header, die Datei müsste also nicht genau das gleiche. 🙁
- Erzeugt Datei mit den folgenden Fehlermeldung: <?xml version="1.0" encoding="UTF-8"?> <Error><Code>TemporaryRedirect</Code><Message>Please re-send this request to the specified temporary endpoint. Continue to use the original request endpoint for future requests.</Message><Endpoint>test-buket-edge.s3-ap-southeast-2.amazonaws.com</Endpoint><Bucket>test-buket-edge</Bucket><RequestId>BA7ABFAB1E84F97A</RequestId><HostId>1rkdVN4JvCd3m/4Ko/G66lTgfk04jsUB0e37vFvBq2UZZsYEvn6EJscjPfawKhZVlJqSrTJ2mnw=</HostId></Error>
InformationsquelleAutor ytdm

#!/bin/sh
# This works for cross region
outputFile="/PATH/TO/FILE"
awsFile="BUCKETPATH/TO/FILE"
bucket="SOME-BUCKET"
resource="/${bucket}/${awsFile}"
contentType="application/x-compressed-tar"
# Change the content type as desired
dateValue=`TZ=GMT date -R`
#Use dateValue=`date -R` if your TZ is already GMT
stringToSign="GET\n\n${contentType}\n${dateValue}\n${resource}"
s3Key="ACCESS_KEY_ID"
s3Secret="SECRET_ACCESS_KEY"
signature=`echo -n ${stringToSign} | openssl sha1 -hmac ${s3Secret} -binary | base64`
curl -H "Host: ${bucket}.s3.amazonaws.com" \
     -H "Date: ${dateValue}" \
     -H "Content-Type: ${contentType}" \
     -H "Authorization: AWS ${s3Key}:${signature}" \
     https://${bucket}.s3.amazonaws.com/${awsFile} -o $outputFile

Ich brauchte die -e option auf echo (echo -en ...), wie in ytdm's Antwort. Ich bin mir nicht sicher, ob es notwendig war, aber ich habe auch die einfachen date -R (ohne TZ).

InformationsquelleAutor Kunal

August 2019 fand ich diese zu arbeiten. Hinzugefügt hat, die region, und das format der URL geändert hat.

#!/bin/sh 
outputFile="/PATH/TO/LOCALLY/SAVED/FILE"
amzFile="BUCKETPATH/TO/FILE"
region="YOUR-REGION"
bucket="SOME-BUCKET"
resource="/${bucket}/${amzFile}"
contentType="binary/octet-stream"
dateValue=`TZ=GMT date -R`
# You can leave our "TZ=GMT" if your system is already GMT (but don't have to)
stringToSign="GET\n\n${contentType}\n${dateValue}\n${resource}"
s3Key="ACCESS_KEY_ID"
s3Secret="SECRET_ACCESS_KEY"
signature=`echo -en ${stringToSign} | openssl sha1 -hmac ${s3Secret} -binary | base64`
curl -H "Host: s3-${region}.amazonaws.com" \
     -H "Date: ${dateValue}" \
     -H "Content-Type: ${contentType}" \
     -H "Authorization: AWS ${s3Key}:${signature}" \
     https://s3-${region}.amazonaws.com/${bucket}/${amzFile} -o $outputFile

InformationsquelleAutor TheStoryCoder

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.