Zuverlässigkeit Atomare Zähler in DynamoDB

War ich mit dem Gedanken Amazon DynamoDB in meiner Anwendung, und ich habe eine Frage bezüglich seiner Atomare Zähler Zuverlässigkeit.

Ich bin Aufbau einer verteilten Anwendung, muss gleichzeitig, und konsequent, Inkrement/Dekrement einen Zähler, gespeichert in einer Dynamo-Attribut.
Ich Frage mich, wie zuverlässig die Dynamo ' s atomic counter ist in eine schwere gleichzeitigen Umgebung, wo die concurrency-level ist extrem hoch (sagen wir zum Beispiel, eine Durchschnittliche rate von 20k gleichzeitige trifft zu auf die Idee kommen, das wäre fast 52 Milliarden inkrementiert/dekrementiert pro Monat).

Sollte der Indikator sein, super-zuverlässig und nie verpassen einen Treffer. Hat jemand getestet DynamoDB in solch kritischen Umgebungen?

Dank

InformationsquelleAutor Mark | 2012-02-20
  1. 18

    DynamoDB bekommt es die Skalierung von Eigenschaften durch die Aufspaltung der Schlüssel über mehrere Server hinweg. Dies ist ähnlich wie die anderen verteilten Datenbanken wie Cassandra und HBase-Skala. Während erhöhen Sie den Durchsatz auf DynamoDB, die nur bewegt werden Ihre Daten auf mehreren Servern und nun hat jeder server kann insgesamt gleichzeitige verbindungen /Anzahl der Server. Werfen Sie einen Blick in Ihren FAQ für eine Erklärung, wie Sie das erreichen maximaler Durchsatz:

    Q: Werde ich immer in der Lage sein, um meinen bereitgestellten Durchsatz?

    Amazon DynamoDB übernimmt ein relativ zufälliges Zugriffsmuster für alle Primärschlüssel. Sollten Sie Ihre Daten-Modell, so dass Ihre Anforderungen zu einer ziemlich gleichmäßigen Verteilung des Datenverkehrs auf die Primärschlüssel. Wenn Sie ein sehr unebenen oder Schiefen Zugriff Muster, die Sie möglicherweise nicht in der Lage zu erreichen, Ihren bereitgestellten Durchsatz.

    Beim speichern von Daten, teilt Amazon DynamoDB eine Tabelle in mehrere Partitionen und verteilt die Daten basieren auf der hash-Schlüsselelement des primary key. Der bereitgestellte Durchsatz, verbunden mit einer Tabelle gliedert sich ebenfalls auf die Partitionen verteilt; jeder partition den Durchsatz ist unabhängig verwaltet auf der Grundlage der Kontingent zugeteilt es. Es gibt keine gemeinsame Nutzung des bereitgestellten Durchsatzes über die Partitionen hinweg. Folglich, eine Tabelle in Amazon DynamoDB ist am besten in der Lage zu erfüllen, den bereitgestellten Durchsatz Ebenen, wenn die Arbeitslast verteilt sich ziemlich gleichmäßig auf die hash-Schlüsselwerte. Verteilen der Anforderungen auf hash-Schlüsselwerte verteilt die Anfragen in Partitionen, die hilft, erreichen Sie Ihre volle bereitgestellte Durchsatz.

    Wenn Sie eine ungleiche Arbeitsbelastung Muster über Primärschlüssel und sind nicht in der Lage, um Ihre bereitgestellte Durchsatz, können Sie in der Lage zu erfüllen Ihre durchsatzanforderungen durch die Erhöhung Ihrer bereitgestellte Durchsatz weiter, die geben mehr Durchsatz zu jeder partition. Es wird jedoch empfohlen, dass Sie erwägen, ändern Sie Ihre Anfrage, Muster oder Ihre Daten-Modell, um zu erreichen ein relativ zufälliges Zugriffsmuster für Primärschlüssel.

    Dies bedeutet, dass ein Schlüssel, der erhöht wird, die direkt keine Waage da, der Schlüssel muss live auf einem server. Es gibt andere Wege, dieses problem zu behandeln, zum Beispiel in-memory-aggregation mit einem flush erhöht, DynamoDB, (obwohl dies kann Probleme mit der Zuverlässigkeit) oder einem sharded Theke, wo auch die Stufen verteilt über mehrere Tasten und wieder zu Lesen, indem Sie alle Schlüssel in der sharded-Zähler (http://whynosql.com/scaling-distributed-counters/).

    InformationsquelleAutor gigq
  2. 8

    Neben gigq Antwort über Skalierbarkeit, DynamoDBs atomaren Schritten sind nicht idempotent und sind daher nicht zuverlässig: Wenn die Verbindung lässt nach Erteilung einer UpdateItem ADD Anfrage, haben Sie keine Möglichkeit zu wissen, ob das add begangen wurde oder nicht, so dass Sie nicht wissen, ob Sie sollten versuchen Sie es erneut oder nicht.

    DynamoDB bedingte updates dieses Problem beheben, auf Kosten der macht das system noch weniger skalierbar, weil Sie zu wiederholen, jedes mal, wenn zwei änderungen am Attribut versucht gleichzeitig, auch in der Abwesenheit eines Fehlers.

    • DynamoDB bedingte updates dieses Problem beheben, nicht wirklich: wenn der client ein Netzwerk-Fehler auf, wenn das schreiben wurde beantragt, aber bevor er davon weiß, was soll der Kunde tun?
    • Die docs sagen muss es wiederholen, weil bedingte updates sind idempotent, aber damit bin ich nicht einverstanden. E. g. der client liest einen Zähler, dessen Wert 10 und muss um 1 erhöht. Es führt der erste Aufruf: Zähler einstellen, um 11, wenn sein Wert 10. Die Aktualisierung wird ausgeführt und die Verbindung unterbrochen wird. Der client ins Netzwerk Ausnahme und Wiederholungen: die Bedingung false ist. Dann wird der client nicht weiß, ob Sie versuchen sollte, increment by 1 von 11 oder nicht: das problem ist, dass , wenn ein Netzwerk-Fehler Auftritt, der client hat keine Möglichkeit zu unterscheiden zwischen seiner eigenen Schrittweite und eine Schrittweite, die andere gemacht haben, die gleichzeitig
    • Was ist, wenn Sie die ReturnValues von der update-Anweisung? Auf diese Weise erhalten Sie den Wert, wenn das update gemacht wurde. Der Rückgabewert ist stark konsistent. Dann brauchen Sie nicht zu Lesen, und dann zu aktualisieren. Wenn Ihr Netzwerk fällt, werden Sie wiederholen. Schlimmste Fall ist, überspringen Sie eine Zahl in der Sequenz. docs.aws.amazon.com/amazondynamodb/latest/APIReference/...
    InformationsquelleAutor BCoates
  3. 1

    wenn Sie schreiben einen einzigen dynamo db-Schlüssel, Sie leiden unter hot partition Problem. Hot-partition-Ausgabe startet rund 300 TPS pro index. Also, wenn Sie 5 Indizes in der Tabelle, können Sie sehen, hot-partition-Problem rund um 300/5 ~ 60 TPS.

    Sonst, dynamo db ist skalierbar auf über 10-40K TPS, je nach Anwendungsfall.

    InformationsquelleAutor pavelb
Schreibe einen Kommentar