Wie join-Tabellen in AWS DynamoDB?

Ich weiß, das ganze design basiert auf natürlichen Gesteinskörnungen (Dokumente), aber ich bin denken zu implementieren, eine separate Tabelle für die Lokalisierungen (lang, Schlüssel, text) und dann mit Schlüssel in anderen Tabellen. Allerdings war ich nicht in der Lage zu finden Beispiel auf, dies zu tun.

Irgendwelche Hinweise, die hilfreich sein könnten!

InformationsquelleAutor Centurion | 2016-04-20
  1. 28

    Sind Sie richtig, DynamoDB ist nicht konzipiert als eine relationale Datenbank und unterstützt keine join-Operationen. Das kann man sich denken DynamoDB nur als eine Ansammlung von Schlüssel-Wert-Paaren.

    Können Sie den gleichen Schlüssel besitzen, der über mehrere Tabellen (z.B. document_IDs), aber DynamoDB nicht automatisch synchronisiert, oder haben Sie eine foreign key-features. Die document_IDs in einer Tabelle, während die benannt werden, sind technisch eine andere Gruppe als die, die in einer anderen Tabelle. Es ist bis zu Ihrer Anwendung-software, um sicherzustellen, dass die Schlüssel synchronisiert werden.

    DynamoDB ist eine andere Art des Denkens über Datenbanken und möchten Sie vielleicht zu prüfen, mit einem verwalteten relationalen Datenbank wie Amazon Aurora: https://aws.amazon.com/rds/aurora/

    Eine Sache zu beachten, Amazon EMR erlaubt DynamoDB-Tabellen, die verbunden werden, aber ich bin mir nicht sicher, das ist, was du suchst: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/EMRforDynamoDB.html

    • Danke! Mit einem Beitritt wäre eher die Ausnahme als eine design-Regel/Vorschrift. Haben Sie irgendwelche Gedanken auf die Leistung/Abrechnung/.. Strafen bei der Abfrage von Dokumenten von und Beitritt auf der Anwendungs-Seite? Ich denke immer noch, DynamoDB, werden Sie eine bessere Passform in meinem Fall, aber ich weiß nicht, gibt es einen erheblichen Nachteil für außergewöhnliche Fälle wie diese.
    • wenn Sie wissen, dass Ihr document_id (oder ähnlich) vorher, dann kann man nur das zugehörige Datensatz aus jeder Tabelle. Immer einen einzelnen Datensatz aus jeder Tabelle ist nicht teuer, und fügen Sie nach scheint sehr vernünftig. Das teure Zeug passiert, wenn Sie brauchen, um die Abfrage-oder scan: DynamoDB-Gebühren für jeden abgerufenen Datensatz in der scan - / Abfrage, auch wenn Sie eigentlich nicht wieder zurück zu der Anwendung. Wann immer Sie etwas Abfragen oder Scannen, präsentiert eine Gelegenheit, zu überprüfen, dass der Betrieb in mehr detail zu versuchen und die Beseitigung der Abfrage / scan.
    InformationsquelleAutor Reid Hughes
  2. 10

    Mit DynamoDB, anstatt sich ich denke, die beste Lösung ist die Speicherung der Daten in der Form, die Sie beabsichtigen, um Sie später zu Lesen.

    Wenn Sie sich selbst zu finden, die eine komplexe Lesen Sie Fragen, die Sie haben könnten, in die Falle getappt zu erwarten, DynamoDB, sich wie ein RDBMS, das ist es nicht. Transform-und shape-Daten, die Sie schreiben, halten Sie die Lesen einfach.

    Festplatte ist deutlich günstiger als compute in diesen Tagen - haben Sie keine Angst zu denormalise.

    InformationsquelleAutor Lloyd
  3. 3

    Müssen Sie die Abfrage der ersten Tabelle, dann Durchlaufen Sie jedes Element mit einer get-Anfrage auf die nächste Tabelle.

    Die anderen Antworten sind unbefriedigend, da 1) nicht die Frage beantworten und, noch wichtiger, 2) wie können Sie Ihre design-Tabellen im Voraus zu wissen, deren zukünftige Anwendung? Die technischen Schulden ist einfach zu hoch um eine vernünftige Abdeckung unbegrenzter zukünftiger Möglichkeiten.

    Meine Antwort schrecklich ineffizient, aber dies ist der einzige aktuelle Lösung der gestellten Frage.

    Spannung erwarte ich eine bessere Antwort.

    InformationsquelleAutor James Shiztar
  4. 1

    Einer Lösung, die ich gesehen habe, kommen mehrere Male in diesem Raum ist die sync von DynamoDB in eine separate Datenbank, die ist mehr geeignet für die Arten von Operationen, die Sie suchen.

    Schrieb ich eine blog zu diesem Thema den Vergleich verschiedener Ansätze, die ich gesehen habe die Leute nehmen dieses problem sehr, aber ich fasse einige der wichtigsten Imbissbuden hier, so dass Sie nicht haben, um all das gelesen.

    DynamoDB sekundäre Indizes

    Was ist gut?

    1. Schnell und keine anderen Systeme benötigt!
    2. Gut für eine ganz bestimmte analytische Funktion, die Sie gerade benötigen (wie z.B. eine Rangliste)

    Überlegungen

    1. # Begrenzt von sekundären Indizes, beschränkt treue Abfragen
    2. Teuer, wenn man je nach scans
    3. Sicherheit und Leistung betrifft mit der Produktions-Datenbank direkt für analytics

    DynamoDB + Kleber + S3 + Athena

    Wie join-Tabellen in AWS DynamoDB?

    Was ist gut?

    1. Alle Komponenten sind "serverlose" und erfordern keine Bereitstellung von Infrastruktur
    2. Einfach zu automatisieren ETL pipeline

    Überlegungen

    1. High-end-to-end-Daten-Latenz von mehreren Stunden, was bedeutet, dass veraltete Daten
    2. Abfrage-Latenz variiert zwischen zehn Sekunden bis Minuten
    3. Schema Durchsetzung können verlieren Informationen, die mit gemischten Typen
    4. ETL-Prozesses kann gewartet werden von Zeit zu Zeit, wenn die Struktur der Daten in der Quelle ändert

    DynamoDB + Hive/Spark

    Wie join-Tabellen in AWS DynamoDB?

    Was ist gut?

    1. Anfragen über aktuelle Daten in DynamoDB
    2. Erfordert keine ETL/pre-Verarbeitung andere als die Angabe eines Schemas

    Überlegungen

    1. Schema Durchsetzung können Informationen verloren gehen, wenn die Felder mit gemischten Typen
    2. EMR-cluster erfordert einiges an administration-und Infrastruktur-management
    3. Abfragen über die neuesten Daten beinhaltet scans und teuer sind
    4. Abfrage-Latenz variiert zwischen zehn Sekunden bis Minuten direkt auf Hive/Spark
    5. Sicherheit und Auswirkungen auf die Leistung der Ausführung analytischer Abfragen auf eine operative Datenbank

    DynamoDB + AWS Lambda + Elasticsearch

    Was ist gut?

    1. Full-text search unterstützt
    2. Unterstützung für verschiedene Arten von analytischen Abfragen
    3. Arbeiten können über die aktuellsten Daten in DynamoDB

    Überlegungen

    1. Verlangt das management und monitoring der Infrastruktur für die Einnahme, Indizierung, Replikation, und die Splitter
    2. Erfordert separates system zur Gewährleistung der Datenintegrität und-Konsistenz zwischen DynamoDB und Elasticsearch
    3. Skalierung erfolgt manuell und erfordert die Bereitstellung zusätzlicher Infrastruktur und operations
    4. Keine Unterstützung für joins zwischen verschiedenen Indizes

    DynamoDB + Rockset

    Wie join-Tabellen in AWS DynamoDB?

    Was ist gut?

    1. Komplett serverlos. Keine Operationen oder die Bereitstellung von Infrastruktur oder Datenbank erforderlich
    2. Live sync zwischen DynamoDB und das Rockset-Sammlung, so dass Sie nie mehr als ein paar Sekunden auseinander
    3. Überwachung zur Gewährleistung der Konsistenz zwischen DynamoDB und Rockset
    4. Automatisches Indizes gebaut, über die Daten enabling low-latency-Abfragen
    5. SQL-Abfrage dienen, kann die Skala zu hoher QPS
    6. Verknüpfungen mit Daten aus anderen Quellen wie Amazon Kinesis, Apache Kafka, Amazon S3, etc.
    7. Integrationen mit tools wie Tableau, Redash, Obermenge, und SQL-API über REST und Verwendung von client-Bibliotheken.
    8. Funktionen, einschließlich full-text Suche, ingest Transformationen, die Aufbewahrung, Verschlüsselung und fine-grained access control

    Überlegungen

    1. Nicht eine gute Passform für die Speicherung selten abgefragten Daten (wie Maschinen-logs)
    2. Nicht eine Transaktions-datastore

    (Full Disclosure: ich arbeite auf dem Produkt-team @ Rockset)
    Überprüfen Sie heraus die blog für mehr details über die einzelnen Ansätze.

    • Fantastische Antwort... dies ist ein Bereich, habe ich mich darüber gewundert und auch check-out Rockset!
    InformationsquelleAutor Anirudh Ramanathan
  5. 0

    Ich weiß, meine Antwort ist etwas spät, um ein paar Jahre. Allerdings war ich in der Lage zu Graben, bis einige zusätzliche Informationen, über Amazon DynamoDB & Verknüpfungen, die davon profitieren könnten, die Sie (oder vielleicht eine andere Person, die stolpern kann auf diese Diskussion, während der recherche dieser Informationen in der Zukunft).

    Auf den Punkt zu bringen, ich war in der Lage zu suchen, eine Dokumentation über die Amazon DynamoDB-Website, die besagt, dass der Apache HiveQL-Abfrage-Sprache, die eingesetzt werden können, zum ausführen von Verknüpfungen auf Amazon DynamoDB-Tabellen, Spalten & Daten, etc.

    Abfragen von Daten in DynamoDB (w/HiveQL):
    https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.Querying.html

    Arbeiten w/Amazon DynamoDB & Apache Hive:
    https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.Tutorial.html

    Bearbeitung Amazon DynamoDB-Daten mit Apache Hive in Amazon EMR:
    https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.html

    Ich hoffe, diese information hilft jemand aus, wenn nicht der original-poster.

    • Vorsichtig! Auch Hive kann nicht zaubern, es ist einfach eine Komfort-Schicht auf der Oberseite, mit einigen caching eingebaut. Wenn Sie möchten, um aggregierte Daten über mehrere DynamoDB Entitäten, Sie entstehen Lesen Kosten für jede dieser Entitäten. Man könnte sogar am Ende mit teuren scan-Vorgänge. Siehe docs.aws.amazon.com/amazondynamodb/latest/developerguide/...
    InformationsquelleAutor Matti
  6. 0

    Vor kurzem habe ich die gleiche Anforderung zum verwenden von join und aggregate-Funktion wie avg und sum mit dynamoDb, um dieses Problem zu lösen ich verwendet die Cdata-JDBC-Treiber und es funktionierte perfekt. It-support als auch Aggregat-Funktionen. Obwohl, ich bin auch auf der Suche nach der Lösung vermeiden Sie die Verwendung von cdata-wegen der Lizenz-Kosten von Cdata.

    InformationsquelleAutor vivek agrawal
Schreibe einen Kommentar