Das laden der Daten (inkrementell) in Amazon Redshift, S3 vs. DynamoDB vs. Einfügen

Habe ich eine web-app muss zum senden von berichten über die Verwendung, möchte ich mithilfe von Amazon RedShift, wie ein data warehouse für diesen Zweck,
Wie soll ich die Daten erfassen ?

Jedes mal, wenn der Benutzer die Interaktion mit meiner app möchte ich berichten, dass.. so, als sollte ich schreiben, die Dateien zu S3 ? und wie viele ?
Was ich meine ist:
- Wenn nicht, senden Sie die Infos sofort, dann könnte ich es verlieren als ein Ergebnis einer Verbindung verloren gehen, oder aus, einige Fehler in meinem system, während dessen gesammelt wurden, und machen Sie sich bereit, um verschickt werden zu S3...
- Wenn ich Schreibe-Dateien zu S3 auf jeder Benutzer-Interaktion, ich werde am Ende mit Hunderten von Dateien (jede Datei hat nur minimale Daten), müssen verwaltet werden, sortiert, gelöscht, nachdem kopiert worden ist, um die Rotverschiebung.. das die Dosis nicht wie eine gute Lösung scheint .

Was bin ich? Sollte ich DynamoDB statt, Sollte ich die einfach einfügen in die Rotverschiebung statt !?

Wenn ich tun müssen, schreiben Sie die Daten in DynamoDB, sollte ich löschen, halten Sie die Tabelle, nachdem kopiert worden ist .. was sind die besten Methoden ?

Auf jeden Fall, was sind die besten Praktiken zur Vermeidung von überschneidungen mit der Rotverschiebung ?

Schätzen Sie die Hilfe!

InformationsquelleAutor Ofer Velich | 2014-01-11
Schreibe einen Kommentar