Wie verwende ich AWS S3 CLI, um Dateien in BASH zu stdouten?

Fange ich ein bash-script, welches einen Pfad in S3 (als angegeben, um den ls Befehl) und sichern Sie die Inhalte aller file-Objekte zu stdout. Im wesentlichen möchte ich replizieren cat /path/to/files/* außer S3, z.B. s3cat '/bucket/path/to/files/*'. Meine erste Neigung, auf der Suche in den Optionen ist die Verwendung der cp Befehl, um eine temporäre Datei und dann cat.

Hat jemand versucht, dies oder ähnliches gibt es bereits einen Befehl, den ich bin nicht der Suche nach die nicht es?

InformationsquelleAutor der Frage Neil C. Obremski | 2015-02-04

  1. 83

    dump den Inhalt aller file-Objekte auf stdout.

    Dies können Sie erreichen, wenn Sie pass - für das Ziel der aws s3 cp Befehl.
    Zum Beispiel $ aws s3 cp s3://mybucket/stream.txt -.

    Was Sie zu tun versuchen, ist so etwas wie das? ::

    #!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/| jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

    InformationsquelleAutor der Antwort quiver

  2. 23

    Wenn Sie eine version der AWS-CLI nicht unterstützt, ist das kopieren nach "-" Sie können auch " /dev/stdout:

    $ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

    Eventuell möchten Sie auch die --quiet - flag, um zu verhindern, dass eine Zusammenfassung Zeile wie die folgende aus, an die angehängt wird, um Ihre Ausgabe:

    herunterladen: s3://mybucket/stream.txt ../../dev/stdout

    InformationsquelleAutor der Antwort Drew

  3. 0

    Können Sie versuchen, mit s3streamcates unterstützt bzip, gzip und xz-Formate.

    Installieren mit

    sudo pip install s3streamcat

    Verwendung:

    s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

    InformationsquelleAutor der Antwort samarth

  4. -1

    Ah ha!

    https://pypi.python.org/pypi/s3cat/1.0.8

    Schreibe ich mehr Zeichen zur Befriedigung der Anforderung Länge.

    InformationsquelleAutor der Antwort Neil C. Obremski

  5. -3

    Wenn Sie es wünschen, dies zu erreichen BASH verwenden, müssen Sie die call-out an eine externe app wie die AWS-Befehlszeilen-Schnittstelle (CLI). Es muss nicht eine KATZE entspricht, so müssen Sie die Datei lokal kopieren, und dann die KATZE.

    Alternativ können Sie/schreiben eine app, die direkt ruft den AWS-SDK, die für Sprachen wie Python, PHP, Java. Durch die Verwendung des SDKs wird der Inhalt der Datei kann abgerufen werden in-memory-und dann an stdout.

    InformationsquelleAutor der Antwort John Rotenstein

Schreibe einen Kommentar