Tag: apache-storm

Ich versuche, mich zu manipulieren, bis ein ein Kafka-Sturm "Hello World" system. Ich habe Kafka installiert ist und läuft, wenn ich Daten senden, mit der Kafka-producer Lesen kann ich es mit der Kafka-Konsole Verbraucher. Nahm ich die

Hallo, ich habe ein Problem mit dem storm-cluster. Es ist ähnlich wie Meine Topologie ist definiert als : package com.abc.newsclassification; import StormBase.KnowledgeGraph.ClassifierBolt; import StormBase.KnowledgeGraph.ClientSpecificTwitterSpout; import StormBase.KnowledgeGraph.LiveTwitterSpout; import StormBase.KnowledgeGraph.NewsTwitterSpout; import StormBase.KnowledgeGraph.TwitterTrainingBolt; import StormBase.KnowledgeGraph.UrlExtractorBolt; import backtype.storm.Config; import backtype.storm.LocalCluster; import

Ich bin in der Lage, senden Sie eine Topologie job in der multi-tenant-cluster. Der job ausgeführt wird. Jedoch, die logviewer-Seite nicht verfügbar. Gibt es eine Möglichkeit, dieses Problem zu lösen? willst du damit sagen, Sie sind nicht

als ich versuchte, zu senden die Topologie, die ich fand diese Exception in thread "main" java.lang.RuntimeException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar. at backtype.storm.utils.Utils.findAndReadConfigFile(Utils.java:115) at backtype.storm.utils.Utils.readDefaultConfig(Utils.java:135) at backtype.storm.utils.Utils.readStormConfig(Utils.java:155) at

Ich habe ein bisschen ein Problem in logging in eine Datei mit log4j im Sturm . Vor Abgabe meiner Topologie , ich.e in meiner main-Methode schrieb ich einige log-Anweisungen und konfiguriert den logger mit : PropertyConfigurator.configure(myLog4jProperties) Wenn

java.lang.NoClassDefFoundError: could not initialize class org.apache.log4j.Log4jLoggerFactory bei org.apache.log4j.Logger.getLogger(Logger.java:39) at kafka.utils.Protokollierung$Klasse.logger(Protokollierung.scala:24) bei kafka.Verbraucher.SimpleConsumer.logger$lzycompute(SimpleConsumer.scala:35) bei kafka.Verbraucher.SimpleConsumer.logger(SimpleConsumer.scala:35) bei kafka.utils.Protokollierung$class.info(Protokollierung.scala:77) an kafka.consumer.SimpleConsumer.info(SimpleConsumer.scala:35) bei kafka.Verbraucher.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:94) bei kafka.Verbraucher.SimpleConsumer.kafka$Verbraucher$SimpleConsumer$$sendRequest(SimpleConsumer.scala:83) bei kafka.Verbraucher.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:149) bei kafka.javaapi.Verbraucher.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:79) auf org.apache.Sturm.kafka.KafkaUtils.getOffset(KafkaUtils.java:75) at org.apache.Sturm.kafka.KafkaUtils.getOffset(KafkaUtils.java:65) at org.apache.Sturm.kafka.PartitionManager.(PartitionManager.java:103) at org.apache.Sturm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) at org.apache.Sturm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) at

Ich habe ein einfaches JSON-Objekt wie im folgenden d = { 'tag ': 'blah', 'name' : 'sam', 'score': {'row1': 100, 'row2': 200 } } Folgende ist mein python-code, der das senden von Nachrichten an Kafka from kafka

Habe ich versucht zu Debuggen mein Projekt, aber habe diese SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/storm/lib/logback-classic-1.0.13.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/user/.m2/repository/ch/qos/logback/logback-classic/1.0.13/logback-classic-1.0.13.jar!/org/slf4j/impl/StaticLoggerBinder.class] was soll ich tun ? habe ich noch keine Abhängigkeit

Ich habe gefehlt, um den Apache Storm streamen von Kafka. Ich bin noch komfortabler mit Python, so dass ich mich entschieden habe, streamparse (https://github.com/Parsely/streamparse). Die word count Beispiel ist der einleitende Beispiel. Ich habe versucht, es zu

Meine Anforderung ist Verschieben von Daten von einer Oracle-HDFS Die Daten auf HDFS Bewegen verarbeiteten Daten auf Teradata. Es ist auch erforderlich, um zu tun, diese gesamte Verarbeitung alle 15 Minuten. Die Lautstärke des source-Daten kann in

Ich versuche teilen sich die Aufgabe, unter den zahlreichen Ausläufe. Ich habe eine situation, wo ich bin immer einen Tupel/Nachricht aus externer Quelle, und ich möchte, um mehrere Instanzen eines Auslauf -, Haupt Absicht dahinter ist, zu

Wie stellen Sie eine benutzerdefinierte Konfiguration für eine storm Topologie? Zum Beispiel, wenn ich eine Topologie, die ich gebaut, die eine Verbindung zu einem MySQL-cluster und ich möchte in der Lage sein zu ändern die Server, die

Stehe ich vor einem Problem Must submit topologies using the 'storm' client script so that StormSubmitter knows which jar to upload bei der übermittlung einer Topologie auf einen Produktions-cluster mit IDE, während die gleiche Sache, wenn ich

"Parallelität Hinweis" wird verwendet, im Sturm zu parallelise eine laufende storm-Topologie. Ich weiß, es gibt Begriffe wie Arbeitsprozess, Testamentsvollstrecker und Aufgaben. Würde es Sinn machen die Parallelität Tipp so groß wie möglich, so dass Ihre Topologien sind

Dies ist eine Allgemeine Frage in Bezug auf Unit-Testing, Schrauben und Tüllen in eine Storm Topologie in Java geschrieben. Was ist die empfohlene Praxis und Leitfaden für unit-Tests (JUnit?) Schrauben und Tüllen? Ich kann zum Beispiel schreiben

Ich versuche zu lernen twitter-Sturm, indem Sie nach dem großen Artikel "Das Verständnis der Parallelität der eine Storm Topologie" Aber ich bin ein bisschen verwirrt durch das Konzept der "Aufgabe". Ist eine Aufgabe, die eine ausgeführte Instanz

Ich bin mit Sturm 0.8.1 zu Lesen eingehende Nachrichten aus einer Amazon SQS-Warteschlange und bin immer im Einklang Ausnahmen dabei: 2013-12-02 02:21:38 executor [ERROR] java.lang.RuntimeException: com.amazonaws.AmazonClientException: Unable to unmarshall response (ParseError at [row,col]:[1,1] Message: JAXP00010001: The parser

Arbeite ich mit Sturm und es ist in Ordnung für eine Menge von Anwendungsfällen. Vor kurzem hatte ich einen Blick auf Dreizackdie eine high-level-Abstraktion von Sturm. Es unterstützt die exactly-once - Verarbeitung und macht stateful Bearbeitung einfacher.

Wenn Sie versuchen, um meine Topologie durch StormSubmitter, ich bin immer - Caused by: java.lang.NoSuchFieldError: INSTANCE at org.apache.http.impl.io.DefaultHttpRequestWriterFactory.<init>(DefaultHttpRequestWriterFactory.java:52) Bin ich mit Frühling. Ich bin nicht initialisieren HttpClient im Auslauf/Bolt-Konstruktor. Statt dessen Initialisierung im Konstruktor einer Klasse, die

Wie funktioniert Sturm zu vergleichen, um Hadoop? Hadoop scheint die de-facto-standard für open-source-large scale batch-Verarbeitung, hat Sturm hat irgendwelche Vorteile gegenüber hadoop? oder Sind Sie völlig anders? Kommentar zu dem Problem Ich denke, die Frage ist absolut