Tag: amazon-s3

Amazon S3 (simple storage service) ist ein online-Objekt-storage-Dienst von Amazon Web Services.

EC2 - wobei ein EBS-snapshot Speicherung auf S3, und dann starten von Instanzen von S3

Anzahl der Antworten 3 Antworten
Ich mag die Bequemlichkeit der Einnahme einer AMI-snapshot - idealerweise aber ich nicht zahlen wollen für die Lautstärke angebracht werden meine Laufenden Instanz. Gibt es eine Möglichkeit zum speichern einer snapshot-Instanz S3 und dann starten aus dem

Wie lösche ich/zählen von Objekten in einem s3-bucket?

Anzahl der Antworten 6 Antworten
Also ich weiß diese Frage wird oft gestellt, aber es scheint einfach nicht gut sein, Antworten für Sie. Ich habe einen Eimer mit gobs (ich habe keine Ahnung, wie viele) die Anzahl der Dateien in Ihnen. Sie

S3 Ungültige Ressource im Eimer Politik

Anzahl der Antworten 4 Antworten
Ich versuche, mich meine gesamte S3-bucket öffentlichkeit, aber wenn ich versuche, um die Politik: { "Id": "Policy1454540872039", "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1454540868094", "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": "arn:aws:s3:::sneakysnap/*", "Principal": { "AWS": [ "985506495298"

Einstellung bis s3 für die Protokolle in den Luftstrom

Anzahl der Antworten 6 Antworten
Ich bin mit docker-verfassen einrichten einer skalierbaren Luftstrom cluster. Ich basiert mein Ansatz, die außerhalb dieser Dockerfile https://hub.docker.com/r/puckel/docker-airflow/ Mein problem ist immer die Protokolle einrichten zu schreiben/Lesen von s3. Wenn einer dag abgeschlossen hat, bekomme ich eine

Download-Datei von AWS S3 mit Python

Anzahl der Antworten 2 Antworten
Ich versuche, eine Datei zum herunterladen von der Amazon S3-bucket auf meinem lokalen unter den unten angegebenen code, aber ich bekomme die Fehlermeldung "Unable to locate Anmeldeinformationen" Da unten ist der code, den ich geschrieben habe: from

Wie zip-Dateien in Amazon s3 Eimer und Holen Sie sich Ihre URL

Anzahl der Antworten 2 Antworten
Ich habe eine Reihe von Dateien in Amazon s3-bucket, will ich diese zip-Datei und laden den Inhalt via S3-URL mit Java Spring. Könnten Sie bitte klären Sie Ihre Anforderungen? Was meinst du mit "zip diejenigen, die amazon-URLs

Gewusst wie: Laden von Daten in Amazon Redshift über Python Boto3?

Anzahl der Antworten 2 Antworten
In Amazon Redshift ist Erste-Schritte-Handbuch Daten gezogen von Amazon S3 geladen und in einen Amazon Redshift-Cluster unter Verwendung SQLWorkbench/J. ich würde gerne zu imitieren, um den gleichen Prozess der Verbindung mit dem cluster und laden von sample-Daten

Wie lösche ich eine versionierte Eimer in der AWS-S3 mithilfe der CLI?

Anzahl der Antworten 11 Antworten
Habe ich versucht, sowohl die s3cmd: $ s3cmd -r -f -v del s3://my-versioned-bucket/ Und die AWS CLI: $ aws s3 rm s3://my-versioned-bucket/--recursive Aber diese beiden Befehle einfach hinzufügen DELETE Marker S3. Der Befehl zum entfernen der Eimer

Wie zum extrahieren von Dateien aus einem zip-Archiv, in S3

Anzahl der Antworten 1 Antworten
Habe ich ein zip-Archiv hochgeladen in S3 an einem bestimmten Ort (z.B. /foo/bar.zip) Ich möchte zum extrahieren der Werte innerhalb bar.zip und legen Sie es unter /foo, ohne zu downloaden oder neu hochladen die Dateien extrahiert haben.

Amazon S3-Datei Berechtigungen, Zugriff Verweigert beim kopieren von einem anderen Konto

Anzahl der Antworten 6 Antworten
Habe ich eine Reihe von video-Dateien, die kopiert wurden von einem AWS-Eimer von einem anderen Konto auf mein Konto in meinem eigenen Eimer. Bin ich laufen in ein problem, nun mit allen Dateien, wo ich bin Empfang

HTTPS für Amazon S3-statische website

Anzahl der Antworten 5 Antworten
Ich hosten möchten eine HTTPS-nur statischen website mithilfe von Amazon S3 und CloudFront. Hier ist, was ich bisher getan habe: Einrichtung eines S3-bucket für statische website-hosting und legte meine website Dateien in Ihr Erstellt eine CloudFront-Verteilung und

Zugriff Verweigert - S3-Ressourcen mit Hilfe von Pre-Signed URL - PHP-SDK

Anzahl der Antworten 1 Antworten
Ich bin generating a Pre-Signed URL, um Benutzern zu laden Dateien von einem S3-Bucket. Ich bin die Generierung der URL ' s über die PHP-SDK mit dem folgenden code: public static function get_content_link( $bucket, $key ) {

Schreiben Sie eine Datei zu Amazon S3

Anzahl der Antworten 2 Antworten
Ich versuche die folgende: import awscala._, s3._ implicit val s3 = S3() val bucket = s3.createBucket("acme-datascience-lab") bucket.put("sample.txt", new java.io.File("sample.txt")) Bekomme ich die folgende Fehlermeldung: Exception in thread "main" java.lang.NoSuchFieldError: EU_CENTRAL_1 at awscala.Region0$.<init>(Region0.scala:27) at awscala.Region0$.<clinit>(Region0.scala) at awscala.package$.<init>(package.scala:3) at

Dauerhaft wiederherzustellen Gletscher S3

Anzahl der Antworten 1 Antworten
Frage ich mich, ob es einen einfachen Weg, um dauerhaft wiederherstellen Gletscher Objekte S3. Es scheint, dass Sie wiederherstellen können, Glacier-Objekte, für die bestimmte Menge an Zeit, die Sie bei der Wiederherstellung auf S3. So zum Beispiel,

Wie man MSCK-REPARATUR-TABELLE ausführen, die automatisch in der AWS-Athena

Anzahl der Antworten 2 Antworten
Ich habe eine spark-batch-job ausgeführt wird, von Stunde zu Stunde. Jeder Lauf erzeugt und speichert neue Daten in S3 mit dem directory naming pattern DATA/YEAR=?/MONTH=?/DATE=?/datafile. Nach dem hochladen der Daten zu S3, ich möchte Sie untersuchen mithilfe

Der Autorisierungs-Mechanismus, die Sie angegeben haben, nicht unterstützt. Bitte verwenden Sie AWS4-HMAC-SHA256

Anzahl der Antworten 11 Antworten
Bekomme ich eine Fehlermeldung AWS::S3::Errors::InvalidRequest The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256. wenn ich versuche, eine Datei hochladen, um S3-bucket, in der neuen region Frankfurt. Alles funktioniert einwandfrei mit US Standard region.

Wie zum hochladen von Dateien direkt zu S3 mit PHP und mit Fortschrittsbalken

Anzahl der Antworten 4 Antworten
Gibt es einige ähnliche Fragen, aber keiner eine gute Antwort darauf, wie man in den upload-Dateien direkt auf S3 mit PHP mit Fortschrittsbalken. Ist es überhaupt möglich, das hinzufügen einer Statusleiste ohne Blitz? HINWEIS: ich beziehe mich

Abrufen Unterordner Namen im S3-bucket aus boto3

Anzahl der Antworten 10 Antworten
Mit boto3, ich kann auf meine AWS S3 bucket: s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket-name') Nun, der Eimer enthält Ordner first-level, die sich selbst enthält mehrere sub-Ordner mit einem Zeitstempel benannt, zum Beispiel 1456753904534. Ich muss wissen,

Wie kann ich mit boto streamen einer Datei aus der Amazon S3, Rackspace Cloudfiles?

Anzahl der Antworten 5 Antworten
Ich bin das kopieren einer Datei von S3 zu Cloudfiles, und ich möchte vermeiden, schreiben die Datei auf die Festplatte. Die Python-Cloudfiles-Bibliothek ein Objekt hat.stream () - Aufruf, der sieht, was ich brauche, aber ich kann nicht

Kann ich den stream hochladen einer Datei auf S3 ohne eine content-length-header?

Anzahl der Antworten 5 Antworten
Ich arbeite auf einem Rechner mit wenig RAM, und ich würde es gern hochladen, die dynamisch generiert werden (nicht von der Festplatte) - Datei in einem streaming-Weise zu S3. In anderen Worten, ich weiß nicht, die Größe

Hochladen einer Datei auf einen web-service mit POST in C#

Anzahl der Antworten 1 Antworten
Das problem bei diesem code ist, dass die Datei, sobald es hochgeladen wurde, ist nicht das richtige format. Ich bin versucht zu uploaden .zip-Datei. public string HttpPost(string uri, string Parameters) { WebRequest webRequest = WebRequest.Create(uri); NetworkCredential credentials

Amazon S3 mit s3fs und die Sicherung. Skript zum unmounten und mounten

Anzahl der Antworten 2 Antworten
Redhat mit Sicherung 2.4.8 S3FS-version 1.59 Neben: Amazon S3 mit s3fs und-Sicherung, transport-Endpunkt nicht verbunden Ich würde gerne ein Skript erstellen, um die situation zu korrigieren. Das script unmounten und mounten Sie das Verzeichnis. die Befehle, die

Kann distcp kopieren verwendet werden, ein Verzeichnis der Dateien von S3, HDFS?

Anzahl der Antworten 1 Antworten
Frage ich mich, ob hadoop distcp verwendet werden, kopieren Sie mehrere Dateien auf einmal aus dem S3, HDFS. Es erscheint nur für einzelne Dateien mit absoluten Pfaden. Ich möchte zu kopieren-entweder einen ganzen Ordner, oder verwenden Sie

Herunterladen von Dateien aus dem S3 mit boto3 innen Docker schlägt fehl

Anzahl der Antworten 3 Antworten
Diese ist zu Versagen, wenn ich es innerhalb eines Docker-container, aber funktioniert einwandfrei wenn ich es in ein virtualenv in OS X. keine Ahnung, was könnte schief gehen? Gibt es irgendwelche bekannten Probleme mit Docker+boto? >>> import

Fehler beim Neustart von ntpd.service

Anzahl der Antworten 2 Antworten
Ich versuche zu beheben Fehler RequestTimeTooSkewed ich bekomme beim Versuch, ein Projekt bereitstellen, um den amazon-Servern fand ich diesen Artikel. http://www.emind.co/how-to/how-to-fix-amazon-s3-requesttimetooskewed/ Ich folgte den Schritten, aber dass Sie bei Neustart des ntp-Dienstes. Ich verwendet service.ntpd restartBefehl aber

S3 Richtlinie zu Ermöglichen, Lambda

Anzahl der Antworten 2 Antworten
Habe ich die folgende Richtlinie auf ein S3 bucket erstellt mit dem AWS policy generator ermöglichen eine lambda, läuft mit einer bestimmten Rolle Zugriff auf die Dateien im Eimer sind. Wenn ich allerdings führen die Lambda, bekomme

Wie könnte ich aws lambda zum schreiben der Datei auf s3 (python)?

Anzahl der Antworten 1 Antworten
Habe ich versucht, die lambda-Funktion zum schreiben einer Datei auf S3, dann test zeigt, "gelungen" ,aber nichts kam mir in den S3-bucket. Was ist passiert? Wer kann mir einen Rat geben oder Lösungen? Vielen Dank. Hier ist

Last-S3-Daten in AWS SageMaker Notebook

Anzahl der Antworten 4 Antworten
Ich habe gerade angefangen, Experimentieren mit AWS SageMaker und laden möchten, Daten aus einem S3-bucket in ein pandas dataframe in meinem SageMaker python jupyter notebook für die Analyse. Könnte ich mit boto zu greifen, die Daten von

Hive wählen Sie Spalten zu tun, eine case-Anweisung auf

Anzahl der Antworten 1 Antworten
Dadurch wird der export der Daten aus dynamodb dynamisch zu s3. -- Load S3 Table with data from DynamoDB INSERT OVERWRITE TABLE s3_table SELECT * FROM dynamodb_table; Das problem ist, dass es Blätter in einem Haufen von

Montieren Sie mehrere s3fs Eimer automatisch mit /etc/fstab

Anzahl der Antworten 4 Antworten
In der s3fs Anleitung-wiki, uns wurde gesagt, wir könnten das auto-mount s3fs Eimer durch die Eingabe der folgenden Zeile zu /etc/fstab s3fs#mybucket /mnt/mybucket fuse allow_other,use_cache=/tmp,url=https://s3.amazonaws.com 0 0 Dies funktioniert gut für 1 Eimer, aber wenn ich versuche

So exportieren Sie AWS RDS-snapshot, um Ihre eigenen S3-bucket?

Anzahl der Antworten 2 Antworten
Ich bin mit einem SQL Server Express AWS RDS Instanz. Die RDS ist die Sicherung täglich. Habe ich festgestellt, dass die RDS-Snapshots eigentlich gespeichert in S3. Aber ist es möglich, Daten zu exportieren, um Ihre eigenen S3

Gewusst wie: downloaden einer Datei von s3 mit dem mitgelieferten url?

Anzahl der Antworten 7 Antworten
In meiner Anwendung werde ich die url der s3-Datei wie : https://s3.amazonaws.com/account-update/input.csv Ich habe, um es zu laden und dann verarbeiten. Was ich schon getan : AmazonS3 s3 = new AmazonS3Client(credentials); S3Object s3object = s3.getObject(new GetObjectRequest( bucketName,

aws-s3-Befehl funktioniert nicht in einer batch-Datei ausgelöst durch einen Windows-task scheduler

Anzahl der Antworten 4 Antworten
Habe ich eine batch-Datei C:\upload_to_s3.bat. In dieser Datei gibt es eine Zeile: aws s3 synchronisieren D:\S3\batch1\ s3://MyBucket/batch1 --exclude *.bat Ich habe Windows task scheduler "S3 Stündliche Sync" läuft jede Stunde auslösen zu laufen C:\upload_to_s3.bat. Aber dieser Befehl

Wie zu montieren einen Amazon S3-bucket, durch die Verwendung von FUSE - S3FS

Anzahl der Antworten 2 Antworten
Dies ist driving me up the wall. Ich bin noch etwas neu in Linux, aber ich verstehe, wie zu tun, die meisten von Tag zu Tag Sachen, die ich tun müssen. Was ich versuche zu tun ist,

Wie erhöhe ich die Ausführungszeit der aws lambda-Funktion mehr als 5 min ?

Anzahl der Antworten 4 Antworten
Habe ich eine lambda-Funktion, die mehr als 5 min zu laufen.Wie erhöhe ich die Dauer der Ausführung der lambda-Funktion mehr als 5 min so mein Programm weitermachen können? ENDE Anforderungs-id: 5b676871-1eef-1xex-bxxa-47xxxxad8d63 Die Letzte Zeile zeigt diese in

Fehler beim ausführen der 'getImageData' - Die Leinwand wurde dieses Bild durch cross-origin-Daten

Anzahl der Antworten 1 Antworten
Ich bin daran interessiert, mit smartcrop.js mit einige Nutzer hochgeladenen Bildern auf meiner Website. Ein Benutzer kann ein Bild hochladen beliebiger Größe an meinen Amazon S3-bucket. Das Bild wird dann dem Benutzer zugeordnet und, wenn Sie besuchen

Einfach den upload auf S3 von android

Anzahl der Antworten 2 Antworten
Habe ich durchsucht das web nach Möglichkeiten zum hochladen eine einfache Datei zu s3 von android, aber konnte nichts finden, dass Arbeit und ich denke, dass es ist, weil das fehlen von konkreten Schritten. 1.) https://mobile.awsblog.com/post/Tx1V588RKX5XPQB/TransferManager-for-Android Das

Die Aktualisierung einer Datei in einem Amazon S3-bucket

Anzahl der Antworten 1 Antworten
Ich bin versucht, eine Zeichenfolge angefügt an das Ende einer text-Datei gespeichert in S3. Momentan habe ich nur Lesen Sie den Inhalt der Datei in eine Zeichenfolge, hängen meine neuen text ein und speichern Sie die Datei

Kopieren mehrerer Dateien vom s3-bucket

Anzahl der Antworten 5 Antworten
Ich habe Probleme beim herunterladen mehrerer Dateien von AWS-S3-buckets auf meiner lokalen Maschine. Habe ich alle Dateinamen, die ich herunterladen möchten und ich möchte nicht, dass andere. Wie kann ich das tun ? Gibt es irgendeine Art

Immer HttpHostConnection verweigert Fehler beim herstellen einer Verbindung zu Amazon S3

Anzahl der Antworten 5 Antworten
Ich bin mit den java-code, um die Verbindung zu amazon s3. Ich bin immer HttpHostConnection verweigert-Fehler jedes mal, wenn ich versuche eine Verbindung zu S3. Auf S3 habe ich nur einen Eimer mit allen Berechtigungen für mich

Boto3 S3: Dateien ohne Ordner

Anzahl der Antworten 3 Antworten
Mit boto3, wie kann ich alle Dateien abrufen, die in meinem S3-bucket, ohne das abrufen der Ordner? Betrachten Sie die folgende Datei-Struktur: file_1.txt folder_1/ file_2.txt file_3.txt folder_2/ folder_3/ file_4.txt In diesem Beispiel nur Im Interesse der 4

AWS CLI Auflistung von S3-buckets gibt SignatureDoesNotMatch Fehler mit IAM-Benutzer-Anmeldeinformationen

Anzahl der Antworten 4 Antworten
Ich bin mit AWS cli auf Ubuntu 16.04 LTS, ich bin versucht, Liste aller buckets. In aws konfigurieren, ich habe Eingangs den IAM-Benutzer, der Zugriff auf die Schlüssel und IAM-Benutzer den geheimen Schlüssel. Diese IAM-Benutzer hat die

"das wesentliche element entspricht nicht dem schema" in der Stichprobe von AWS Android SDK

Anzahl der Antworten 1 Antworten
Im folgenden die Anweisung von AWS Android SDK http://docs.aws.amazon.com/mobile/sdkforandroid/developerguide/getting-started-store-query-app-data.html aber wenn ich die mapper.save() Methode, es wirft immer 07-10 11:47:28.966: E/AndroidRuntime(2030): com.amazonaws.AmazonServiceException: The provided key element does not match the schema (Service: AmazonDynamoDBv2; Status Code: 400; Error

Status-Code: 403, während sich ein Objekt, das nicht existiert

Anzahl der Antworten 1 Antworten
Ich habe einen Benutzer - Manager, mit S3Actions.GetObject, S3Actions.PutObject zugeordnet Wenn ich ein Objekt aus und Holen Sie es, ist alles in Ordnung Wenn ich ein Objekt, das nicht existiert, wirft es } Status Code: 403, AWS

Warum "Fehlt-Key-Pair-Id-query-parameter oder cookie-Wert'

Anzahl der Antworten 2 Antworten
Ich versuche signierte url zu dienen S3-bucket als private Inhalte über AWS cloudfront. Aber ich bekomme immer diese Fehlermeldung "Fehlende Schlüssel-Pair-Id-query-parameter oder cookie-Wert' <Error> <Code>MissingKey</Code> <Message> Missing Key-Pair-Id query parameter or cookie value </Message> </Error> Hier ist

Wie verwenden von AWS-CLI nur kopieren von Dateien im S3-bucket, die die übereinstimmung eines gegebenen string-Muster

Anzahl der Antworten 3 Antworten
Ich bin über die AWS CLI zum kopieren von Dateien aus einem S3-bucket, um mein R-Maschine mit einem Befehl wie unten: system( "aws s3 cp s3://my_bucket_location/~/my_r_location/--recursive --exclude '*' --include '*trans*' --region us-east-1" ) Dies funktioniert wie erwartet,

aws-S3-400 Bad Request

Anzahl der Antworten 3 Antworten
Ich bin versucht zu verengen die folgenden 400 Bad Request Fehler: com.amazonaws.services.s3.model.AmazonS3Exception: Bad Request (Service: Amazon S3; Status Code: 400; Error Code: 400 Bad Request; Request ID: 7FBD3901B77A07C0), S3 Extended Request ID: +PrYXDrq9qJwhwHh+DmPusGekwWf+jmU2jepUkQX3zGa7uTT3GA1GlmHLkJjjjO67UQTndQA9PE= at com.amazonaws.http.AmazonHttpClient.handleErrorResponse(AmazonHttpClient.java:1343) at com.amazonaws.http.AmazonHttpClient.executeOneRequest(AmazonHttpClient.java:961)

AWS Python Lambda-Funktion - Upload-Datei auf S3

Anzahl der Antworten 3 Antworten
Habe ich eine AWS Lambda-Funktion, geschrieben in Python 2.7 in die ich möchte: 1) Greifen ein .xls-Datei form einer HTTP-Adresse. 2) Speichern Sie es in einem temporären Speicherort. 3) Speichern Sie die Datei in einem S3-bucket. Mein

Wie zu Lesen, image-Datei von S3-buckets direkt in den Speicher?

Anzahl der Antworten 4 Antworten
Ich habe den folgenden code import matplotlib.pyplot as plt import matplotlib.image as mpimg import numpy as np import boto3 s3 = boto3.resource('s3', region_name='us-east-2') bucket = s3.Bucket('sentinel-s2-l1c') object = bucket.Object('tiles/10/S/DG/2015/12/7/0/B01.jp2') object.download_file('B01.jp2') img=mpimg.imread('B01.jp2') imgplot = plt.imshow(img) plt.show(imgplot) und es

Kopieren von Dateien von S3, HDFS mit distcp oder s3distcp

Anzahl der Antworten 2 Antworten
Ich versuche das kopieren von Dateien von S3, HDFS mit dem folgenden Befehl: hadoop distcp s3n://bucketname/filename hdfs://namenodeip/directory Dies ist jedoch nicht arbeiten, bekommen eine Fehlermeldung wie folgt: ERROR tools.DistCp: Exception encountered java.lang.IllegalArgumentException: Invalid hostname in URI Habe