Tag: amazon-kinesis
Amazon Kinesis ist ein vollständig verwalteter service für die Echtzeit-Verarbeitung von streaming-Daten in großem Umfang.
Was ist partition Schlüssel in AWS Kinesis alle über?
2 Antworten
Ich war Lesung über AWS Kinesis. In dem folgenden Programm Schreibe ich die Daten in den stream mit dem Namen TestStream. Ich lief dieses Stück code 10 mal einlegen 10 Datensätze in den stream. var params =
Amazon KCL Checkpoints und Trim Horizont
3 Antworten
Wie sind die Kontrollpunkte und trimmen Verwandte in AWS-KCL-Bibliothek? Dokumentation Seite Handhabung Startup, der Abschaltung und Drosselung sagt: Standardmäßig die KCL-beginnt mit dem Lesen der Datensätze aus der Spitze des stream;, das ist der zuletzt hinzugefügten Datensatz.
Amazon Kinesis - + - Integration-Tests
3 Antworten
Derzeit arbeite ich an einer Serie von web-services, die wir integrieren müssen, mit Kinesis - die Umsetzung getan worden, aber wir haben eine Reihe von Integrations-tests (unsere web-services sind alle mit Spring Boot, so verwenden wir die
mehrere Konsumenten pro kinesis-Splitter
2 Antworten
Ich gelesen man kann mehrere consumer apps im kinesis-stream. http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html aber ich habe gehört, Sie können nur auf Verbraucher pro shard. Ist das wahr? Ich nicht finden, keine Dokumentation, um diese zu unterstützen, und kann mir nicht
Amazon Kinesis & AWS Lambda Wiederholungen
2 Antworten
Ich bin sehr neu in Amazon Kinesis also vielleicht ist das nur ein problem in meinem Verständnis aber in der AWS Lambda FAQ es sagt: Den Amazon Kinesis und DynamoDB Streams Datensätze an Ihre AWS Lambda-Funktionen sind
Anwendungsbericht für Anwendung_ (Status: ACCEPTED) endet niemals für Spark Submit (mit Spark 1.2.0 auf YARN)
12 Antworten
Ich bin mit kinesis-plus spark-Anwendung https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html Läuft bei mir wie unten Befehl ec2-instance : ./spark/bin/spark-submit --class org.apache.spark.examples.streaming.myclassname --master yarn-cluster --num-executors 2 --driver-memory 1g --executor-memory 1g --executor-cores 1 /home/hadoop/test.jar Habe ich installiert Funke an EMR. EMR details Master
Warum sollte ich Amazon Kinesis und nicht SNS-SQS verwenden?
10 Antworten
Ich habe einen Anwendungsfall, wo es Strom von Daten kommen und ich nicht verbrauchen kann, es im gleichen Tempo und brauchen einen Puffer. Dies kann gelöst werden, mit einem SNS-SQS-Warteschlange. Ich kam zu wissen, die Kinesis löst