So kopieren / verschieben Sie alle Objekte in Amazon S3 mithilfe des AWS-SDK für Node.js von einem Präfix zu einem anderen

Wie kopiere ich alle Objekte von einem Präfix zu anderen? Ich habe versucht, alle möglichen Wege, um alle Objekte kopieren in einem Schuss von einem Präfix zu anderen, aber der einzige Weg, scheint zu funktionieren, indem die Schleife über eine Liste von Objekten und kopieren Sie Sie eins nach dem anderen. Das ist wirklich ineffizient. Wenn ich Hunderte von Dateien in einem Ordner, muss ich zu 100 Anrufe?

var params = {
         Bucket: bucket,
         CopySource: bucket+'/'+oldDirName+'/filename.txt',
         Key: newDirName+'/filename.txt',
 };
s3.copyObject(params, function(err, data) {
  if (err) {
      callback.apply(this, [{
          type: "error",
          message: "Error while renaming Directory",
          data: err
      }]);
  } else {
      callback.apply(this, [{
          type: "success",
          message: "Directory renamed successfully",
          data: data
      }]);
  }
});

InformationsquelleAutor der Frage Yousaf | 2015-06-20

  1. 18

    Werden Sie brauchen, um eine AWS.S3.listObjects() um eine Liste Ihrer Objekte mit einem bestimmten Präfix. Aber Sie sind richtig, dass Sie benötigen, zu machen, rufen Sie für jedes Objekt, das Sie kopieren möchten, aus einem Eimer/Präfix, um den gleichen oder einen anderen Eimer/Präfix.

    Können Sie auch mit einem utility library wie async zur Verwaltung Ihrer Anfragen.

    var AWS = require('aws-sdk');
var async = require('async');
var bucketName = 'foo';
var oldPrefix = 'abc/';
var newPrefix = 'xyz/';
var s3 = new AWS.S3({params: {Bucket: bucketName}, region: 'us-west-2'});

var done = function(err, data) {
  if (err) console.log(err);
  else console.log(data);
};

s3.listObjects({Prefix: oldPrefix}, function(err, data) {
  if (data.Contents.length) {
    async.each(data.Contents, function(file, cb) {
      var params = {
        CopySource: bucketName + '/' + file.Key,
        Key: file.Key.replace(oldPrefix, newPrefix)
      };
      s3.copyObject(params, function(copyErr, copyData){
        if (copyErr) {
          console.log(err);
        }
        else {
          console.log('Copied: ', params.Key);
          cb();
        }
      });
    }, done);
  }
});

    Hoffe, das hilft!

    InformationsquelleAutor der Antwort Aditya Manohar

  2. 1

    Eine kleine änderung am code von Aditya Manohar, verbessert die Fehlerbehandlung in den s3.copyObject-Funktion und wird tatsächlich beenden Sie die "bewegen" - Anfrage, indem Sie die Quelle der Dateien nach dem kopieren Anfragen wurden ausgeführt:

    const AWS = require('aws-sdk');
const async = require('async');
const bucketName = 'foo';
const oldPrefix = 'abc/';
const newPrefix = 'xyz/';

const s3 = new AWS.S3({
    params: {
        Bucket: bucketName
    },
    region: 'us-west-2'
});


//1) List all the objects in the source "directory"
s3.listObjects({
    Prefix: oldPrefix
}, function (err, data) {



    if (data.Contents.length) {

        //Build up the paramters for the delete statement
        let paramsS3Delete = {
            Bucket: bucketName,
            Delete: {
                Objects: []
            }
        };

        //Expand the array with all the keys that we have found in the ListObjects function call, so that we can remove all the keys at once after we have copied all the keys
        data.Contents.forEach(function (content) {
            paramsS3Delete.Delete.Objects.push({
                Key: content.Key
            });
        });

        //2) Copy all the source files to the destination
        async.each(data.Contents, function (file, cb) {
            var params = {
                CopySource: bucketName + '/' + file.Key,
                Key: file.Key.replace(oldPrefix, newPrefix)
            };
            s3.copyObject(params, function (copyErr, copyData) {

                if (copyErr) {
                    console.log(err);
                } else {
                    console.log('Copied: ', params.Key);
                }
                cb();
            });
        }, function (asyncError, asyncData) {
            //All the requests for the file copy have finished
            if (asyncError) {
                return console.log(asyncError);
            } else {
                console.log(asyncData);

                //3) Now remove the source files - that way we effectively moved all the content
                s3.deleteObjects(paramsS3Delete, (deleteError, deleteData) => {
                    if (deleteError) return console.log(deleteError);

                    return console.log(deleteData);
                })

            }
        });
    }
});

    Beachten Sie, dass habe ich verschoben in die cb() callback-Funktion außerhalb der if-then-else-Schleife. So auch, wenn ein Fehler Auftritt, wird die async-Modul ausgelöst wird, die done() Funktion.

    InformationsquelleAutor der Antwort Guppie70

Schreibe einen Kommentar