Erstellen Sie eine zip-Datei auf S3 von Dateien auf S3 mit einer Lambda-Knoten

Brauche ich zum erstellen einer Zip-Datei besteht aus einer Auswahl von Dateien (videos und Bilder), die sich in meinem s3-bucket.

Im moment das problem mit meinem code ist, dass ich schnell traf das memory limit auf Lambda.

async.eachLimit(files, 10, function(file, next) {
    var params = {
        Bucket: bucket, //bucket name
        Key: file.key
    };
    s3.getObject(params, function(err, data) {
        if (err) {
            console.log('file', file.key);
            console.log('get image files err',err, err.stack); //an error occurred
        } else {
            console.log('file', file.key);
            zip.file(file.key, data.Body);
            next();
        }
    });
}, 
function(err) {
    if (err) {
        console.log('err', err);
    } else {
        console.log('zip', zip);
        content = zip.generateNodeStream({
            type: 'nodebuffer',
            streamFiles:true
        });
        var params = {
            Bucket: bucket, //name of dest bucket
            Key: 'zipped/images.zip',
            Body: content
        };
        s3.upload(params, function(err, data) {
            if (err) {
                console.log('upload zip to s3 err',err, err.stack); //an error occurred
            } else {
                console.log(data); //successful response
            }
        });
    }
});

  • Ist das möglich, mit Lambda, oder sollte ich auf einen anderen
    Ansatz?

  • Ist es möglich zu schreiben, um eine komprimierte zip-Datei on-the-fly, also den Wegfall der Speicher-Problem etwas, oder muss ich die Dateien gesammelt, bevor die Kompression?

Jede Hilfe wäre sehr geschätzt werden.

InformationsquelleAutor Rabona | 2016-07-28
  1. 11

    Okay, ich habe dies heute und es funktioniert. Direct Buffer Streamen, keine Festplatte eingebunden. Also Arbeitsspeicher oder Festplatte Einschränkung kein Problem sein hier:

    JS:

    'use strict';

const AWS = require("aws-sdk");
AWS.config.update( { region: "eu-west-1" } );
const s3 = new AWS.S3( { apiVersion: '2006-03-01'} );

const   _archiver = require('archiver');

//This returns us a stream.. consider it as a real pipe sending fluid to S3 bucket.. Don't forget it
const streamTo = (_bucket, _key) => {
	var stream = require('stream');
	var _pass = new stream.PassThrough();
	s3.upload( { Bucket: _bucket, Key: _key, Body: _pass }, (_err, _data) => { /*...Handle Errors Here*/ } );
	return _pass;
};
      
exports.handler = async (_req, _ctx, _cb) => {
	var _keys = ['list of your file keys in s3'];
	
    var _list = await Promise.all(_keys.map(_key => new Promise((_resolve, _reject) => {
            s3.getObject({Bucket:'bucket-name', Key:_key})
                .then(_data => _resolve( { data: _data.Body, name: `${_key.split('/').pop()}` } ));
        }
    ))).catch(_err => { throw new Error(_err) } );

    await new Promise((_resolve, _reject) => { 
        var _myStream = streamTo('bucket-name', 'fileName.zip');		//Now we instantiate that pipe...
        var _archive = _archiver('zip');
        _archive.on('error', err => { throw new Error(err); } );
        
        //Your promise gets resolved when the fluid stops running... so that's when you get to close and resolve
        _myStream.on('close', _resolve);
        _myStream.on('end', _resolve);
        _myStream.on('error', _reject);
        
        _archive.pipe(_myStream);			//Pass that pipe to _archive so it can push the fluid straigh down to S3 bucket
        _list.forEach(_itm => _archive.append(_itm.data, { name: _itm.name } ) );		//And then we start adding files to it
        _archive.finalize();				//Tell is, that's all we want to add. Then when it finishes, the promise will resolve in one of those events up there
    }).catch(_err => { throw new Error(_err) } );
    
    _cb(null, { } );		//Handle response back to server
};

    • wäre es möglich den stream des zip wieder als die Antwort, die direkt an der "user" ?
    • mit Lambda, NICHT weil wir keinen direkten Zugriff auf den HTTP-response-stream. In regelmäßigen NodeJs Umwelt, JA, das ist möglich. Die überprüfung der NodeJs-docs, HTTP-Anfragen und Antworten sind ein Teil des Beschreibbaren Streams Objekte: link genau wie zlib, fs usw. aber wir haben keinen direkten Zugriff auf diese in Lambda; wir verwenden nur die callback-Funktion, um die Kommunikation an den client zurück.
    • Ich habe gerade festgestellt, dass Sie nicht Strom von Objekten von s3, die dazu führen könnten Probleme mit dem Speicher wenn der Download vieler Dateien, richtig? Ich bin nicht sicher, was die .get-Methode hat im tour-Beispiel, wie es nicht auf aws-sdk. Denke u bedeuten getObject. Aber sowieso, wie Sie darauf warten, für alle die heruntergeladenen Objekte zu beenden, die bedeutet, dass alle jene Objekt live im Speicher an der gleichen Zeit. Lambda-Arbeitsspeicher begrenzt, also denke ich es gebrauchen würde .getReadStream statt und hängen Sie diese an den archiver, oder bin ich etwas fehlt?
    • Das ist korrekt, tut mir Leid, haben wir einen wrapper für alle s3-Operationen, sollte getObject und Sie sollten eine return-Funktion.
    • Hinsichtlich der Speicher-Problem, wir haben gerade gekröpft bis der Speicher für diese Funktion irgendwo 3008MB. Aber Sie haben Recht, streaming der Gegenstände, auf die man in einer Zeit, sparen Sie mehr Speicher als gegen gepuffert, bis in der Liste. Ich werde versuchen, und aktualisieren Sie den code
    • Ich habe gerade versucht es mit dem s3.getObject().createReadStream() und die Speicherauslastung Haltestellen sind rund 170 MB für meinen test von 100 Dateien, die von rund 3-10mb. Im Vergleich zu ohne Strom geht es bis zu 730mb. Es ist auch schneller, da Sie nicht haben, zu warten, bis alle Objekte werden zuerst heruntergeladen und DANN starten Sie den stream auf den Eimer.

    InformationsquelleAutor user2718866
  2. 1

    Verwendung von streams kann schwierig sein, da bin ich mir nicht sicher, wie Sie konnte, Rohr mehrere streams in ein Objekt. Ich habe dies einige Male mit standard file-Objekt. Es ist ein mehrstufiger Prozess und es ist ziemlich schnell. Denken Sie daran, dass die Lambda arbeitet in Linux, so dass Sie haben alle Linux-Ressourcen an die hand, einschließlich der system /tmp-Verzeichnis.

    1. Erstellen Sie ein Unterverzeichnis in /tmp call "flüchtig" oder was auch immer für Sie arbeitet
    2. Verwenden s3.getObject () - und write-Datei-Objekte in /tmp/transient
    3. Verwenden Sie die GLOB-Paket zu generieren, die ein array[] Pfade von /tmp/transient
    4. Schleife das array und Reißverschluss.addLocalFile(array[i]);
    5. zip.writeZip('tmp/files.zip');
    • Das einzige Problem, das ich sehe ist, dass die lambda ist begrenzt auf 500mb Speicher in das tmp-Verzeichnis. In diesem Fall würde es begrenzen auch die Letzte zip-Größe.
    • Nicht sicher, wenn Sie eine Datei Verarbeitung entlang der Seite des .zip-Prozess, aber mit dieser Menge von Daten zu machen, werden Sie wollen, stellen Sie sicher, Ihre Funktion kann innerhalb der 5-Minuten-Ausführung Zeitrahmen. Meine größte Größe der Daten ist in der Regel um die 20-25mg pro Ausführung.
    • hast du es geschafft, dieses Problem zu lösen über lambda? Ich bin mit dem gleichen Problem. Wir müssen zip ein 1,5 GB video-Datei mit über 100 MB Bilder. We run out of memory. Wir haben auch versucht mit einem kleineren video-Datei (~1gb) mit den gleichen Bildern und get-timeouts. In der Hoffnung Sie mögen aufgedeckt zu haben, etwas nützliches, das uns dabei helfen könnte heraus zu.
    • Wir schließlich löste dieses Problem mit einer Java-streaming-Lösung. Dies erlaubt es uns, zu umgehen, um den Speicher Probleme.
    • könnten Sie bitte erzählen, wie hast du es lösen können mit Hilfe von Java-streaming-Lösung?
    • Wir verwendet die folgenden Bibliotheken github.com/alexmojaki/s3-stream-upload
    • Hast du das library erzeugen Sie ein zip-oder einfach nur der transport der Dateien?
    • Wir nutzten die Bibliothek zum erzeugen einer zip-in einem S3-bucket.

    InformationsquelleAutor jp_inc
Schreibe einen Kommentar