Wie lösche ich eine versionierte Eimer in der AWS-S3 mithilfe der CLI?

Einen Weg, es zu tun ist, Durchlaufen der Versionen und löschen Sie Sie. Ein bisschen schwierig auf die CLI, aber wie Sie schon erwähnten, Java, das wäre einfacher:

AmazonS3Client s3 = new AmazonS3Client();
String bucketName = "deleteversions-"+UUID.randomUUID();

//Creates Bucket
s3.createBucket(bucketName);

//Enable Versioning
BucketVersioningConfiguration configuration = new BucketVersioningConfiguration(ENABLED);
s3.setBucketVersioningConfiguration(new SetBucketVersioningConfigurationRequest(bucketName, configuration ));

//Puts versions
s3.putObject(bucketName, "some-key",new ByteArrayInputStream("some-bytes".getBytes()), null);
s3.putObject(bucketName, "some-key",new ByteArrayInputStream("other-bytes".getBytes()), null);

//Removes all versions
for ( S3VersionSummary version : S3Versions.inBucket(s3, bucketName) ) {
    String key = version.getKey();
    String versionId = version.getVersionId();          
    s3.deleteVersion(bucketName, key, versionId);
}

//Removes the bucket
s3.deleteBucket(bucketName);
System.out.println("Done!");

Können Sie auch batch löschen fordert Effizienz, wenn nötig.

Mit boto3 es sogar noch einfacher als mit der vorgeschlagenen boto Lösung zum löschen aller Versionen eines Objekts in einem S3-bucket:

#!/usr/bin/env python
import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('your-bucket-name')
bucket.object_versions.all().delete()

Funktioniert auch bei sehr großen Mengen von Objekt-Versionen, obwohl es einige Zeit dauern, in diesem Fall.

Ich lief in Probleme mit Abe ' s Lösung als list_buckets generator wird verwendet, um eine massive Liste genannt all_keys und ich verbrachte eine Stunde, ohne es jemals Abschluss. Dieser tweak scheint besser zu funktionieren für mich, ich hatte fast eine million Objekte in meinem Eimer und zählen!

import boto

s3 = boto.connect_s3()
bucket = s3.get_bucket("your-bucket-name-here")

chunk_counter = 0 #this is simply a nice to have
keys = []
for key in bucket.list_versions():
    keys.append(key)
    if len(keys) > 1000:
        bucket.delete_keys(keys)
        chunk_counter += 1
        keys = []
        print("Another 1000 done.... {n} chunks so far".format(n=chunk_counter))

#bucket.delete() #as per usual uncomment if you're sure!

Ich hoffe, dies hilft jemand anderes die Begegnung mit dieser S3 Alptraum!

Hier ist ein Einzeiler kann man nur schneiden und einfügen in die Kommandozeile zum löschen aller Versionen und löschen von Marken (es erfordert von aws-tools, ersetzen yourbucket-name-Sicherung, mit Ihrem Eimer Namen)

echo '#!/bin/bash' > deleteBucketScript.sh && aws --output text s3api list-object-versions --bucket yourbucket-name-backup | grep -E "^VERSIONS" | awk '{print "aws s3api delete-object --bucket yourbucket-name-backup --key "$4" --version-id "$8";"}' >> deleteBucketScript.sh && . deleteBucketScript.sh; rm -f deleteBucketScript.sh; echo '#!/bin/bash' > deleteBucketScript.sh && aws --output text s3api list-object-versions --bucket yourbucket-name-backup | grep -E "^DELETEMARKERS" | grep -v "null" | awk '{print "aws s3api delete-object --bucket yourbucket-name-backup --key "$3" --version-id "$5";"}' >> deleteBucketScript.sh && . deleteBucketScript.sh; rm -f deleteBucketScript.sh;

dann könnten Sie verwenden:

aws s3 rb s3://bucket-name --force

https://gist.github.com/wknapik/191619bfa650b8572115cd07197f3baf

#!/usr/bin/env bash

set -eEo pipefail
shopt -s inherit_errexit >/dev/null 2>&1 || true

if [[ ! "$#" -eq 2 || "$1" != --bucket ]]; then
    echo -e "USAGE: $(basename "$0") --bucket <bucket>"
    exit 2
fi

# $@ := bucket_name
empty_bucket() {
    local -r bucket="${1:?}"
    for object_type in Versions DeleteMarkers; do
        local opt=() next_token=""
        while [[ "$next_token" != null ]]; do
            page="$(aws s3api list-object-versions --bucket "$bucket" --output json --max-items 1000 "${opt[@]}" \
                        --query="[{Objects: ${object_type}[].{Key:Key, VersionId:VersionId}}, NextToken]")"
            objects="$(jq -r '.[0]' <<<"$page")"
            next_token="$(jq -r '.[1]' <<<"$page")"
            case "$(jq -r .Objects <<<"$objects")" in
                '[]'|null) break;;
                *) opt=(--starting-token "$next_token")
                   aws s3api delete-objects --bucket "$bucket" --delete "$objects";;
            esac
        done
    done
}

empty_bucket "${2#s3://}"

E. g. empty_bucket.sh --bucket foo

Dies löscht alle Versionen eines Objekts und löschen von Markierungen in einem Eimer in Chargen von 1000. Danach werden die Eimer können gelöscht werden, mit aws s3 rb s3://foo.

Erfordert bash, awscli und jq.

Fand ich die anderen Antworten entweder unvollständig oder erfordern externe Abhängigkeiten installiert werden (wie boto), so ist hier eine, die inspiriert ist von denen, aber geht ein wenig tiefer.

Dokumentiert, wie in Arbeiten mit Löschen Marker, bevor eine versionierte Eimer kann entfernt werden, alle seine Versionen müssen komplett gelöscht werden, die ein 2-Schritt-Prozess:

1. "löschen" werden alle version-Objekte in den Eimer, das kennzeichnet Sie als
   gelöscht, aber nicht tatsächlich löschen Sie
2. vervollständigen Sie das löschen durch das löschen alle löschen marker Objekte

Hier ist die Reine CLI-Lösung, die für mich gearbeitet (inspiriert durch die anderen Antworten):

#!/usr/bin/env bash

bucket_name=...

del_s3_bucket_obj()
{
    local bucket_name=$1
    local obj_type=$2
    local query="{Objects: $obj_type[].{Key:Key,VersionId:VersionId}}"
    local s3_objects=$(aws s3api list-object-versions --bucket ${bucket_name} --output=json --query="$query")
    if ! (echo $s3_objects | grep -q '"Objects": null'); then
        aws s3api delete-objects --bucket "${bucket_name}" --delete "$s3_objects"
    fi
}

del_s3_bucket_obj ${bucket_name} 'Versions'
del_s3_bucket_obj ${bucket_name} 'DeleteMarkers'

Sobald dies geschehen ist, werden die folgenden arbeiten:

aws s3 rb "s3://${bucket_name}"

Nicht sicher, wie es wird-tarif mit 1000+ Objekte aber, wenn jemand berichten kann, das wäre genial.