Tag: spark-streaming

Habe ich angefangen zu lernen, spark-streaming von Spark-Motor und sehr neu in data analytics und Funken. Ich will einfach nur, um zu erstellen ein kleines IOT-Anwendung in die ich möchte, um eine Prognose über die zukünftigen Daten.

Ich habe eine spark-2.0-Anwendung, die Nachrichten liest, von kafka mit spark streaming (mit spark-streaming-kafka-0-10_2.11). Strukturierte streaming-sieht wirklich cool aus also ich wollte versuchen, und migrieren Sie den code, aber ich kann nicht herausfinden, wie es zu benutzen.

Entwickeln wir in der Spark-Rahmen, worin bewegen wir uns historischen Daten, die in der RDD-sets. Grundsätzlich RDD ist unveränderlich, nur-lese-dataset, auf dem wir Aktionen. Auf dieser Basis haben wir verschoben historischen Daten in RDD und wir machen

Ich versuche zu Lesen, Datensätze aus einer Kafka-Thema der Verwendung von Spark-Streaming. Dies ist mein code: object KafkaConsumer { import ApplicationContext._ def main(args: Array[String]) = { val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "localhost:9092", "key.deserializer" -> classOf[StringDeserializer],

cancerdetector@cluster-cancerdetector-m:~/SparkBWA/build$ spark-submit --class SparkBWA --master yarn-cluster --deploy-mode cluster --conf spark.yarn.jar=hdfs:///user/spark/spark-assembly.jar --driver-memory 1500m --executor-memory 1500m --executor-cores 1 --archives ./bwa.zip --verbose ./SparkBWA.jar -algorithm mem -reads paired -index /Data/HumanBase/hg38 -partitions 32 ERR000589_1.filt.fastq ERR000589_2.filt.fastqhb Output_ERR000589 Using properties file: /usr/lib/spark/conf/spark-defaults.conf Adding default

Mein OS ist OS X 10.11.6. Ich bin mit Spark 2.0, Zeppelin 0.6, Scala 2.11 Wenn ich diesen code ausführen im Zeppelin bekomme ich eine Ausnahme von Jackson. Wenn ich diesen code ausführen spark-shell - keine Ausnahme.

Bin ich mit spark 1.4 code und nun wollen wir zu bewegen, um spark 2.0, und wenn ich Sie in der Dokumentation unten, es sind nur ein paar features, die sind abwärtskompatibel, bedeutet das, dass ich geändert

So weit, wie der Funke noch nicht erstellt der DataFrame für streaming-Daten, aber wenn ich das Tue, Anomalien-Erkennung, es ist bequemer und schneller zu bedienen DataFrame für die Analyse der Daten. Ich habe es getan Teil, aber

Ich versuche, setup-Spark-Streaming, um Nachrichten von Kafka Warteschlange. Ich bin immer der folgende Fehler: py4j.protocol.Py4JJavaError: An error occurred while calling o30.createDirectStream. : org.apache.spark.SparkException: java.nio.channels.ClosedChannelException org.apache.spark.SparkException: Couldn't find leader offsets for Set([test-topic,0]) at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366) at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366) at scala.util.Either.fold(Either.scala:97)

Ich versuche zu verstehen, transformieren auf Spark DStream in Spark Streaming. Ich wusste, dass die Transformation viel Superlativ im Vergleich zu map, aber Kann jemand geben Sie mir einige Echtzeit-Beispiel oder klares Beispiel, das unterscheiden kann, transformieren

Habe ich, glaube ich, ein relativ üblicher Fall für spark streaming: Ich habe einen Strom von Objekten, die würde ich gerne filter basierend auf einem Referenz-Daten Zunächst dachte ich, dies wäre eine sehr einfache Sache zu erreichen,

Ich versuche, die Botschaften zu Lesen von kafka (version 10) Zündkerzen und versuchen, es zu drucken. import spark.implicits._ val spark = SparkSession .builder .appName("StructuredNetworkWordCount") .config("spark.master", "local") .getOrCreate() val ds1 = spark.readStream.format("kafka") .option("kafka.bootstrap.servers", "localhost:9092") .option("subscribe", "topicA") .load() ds1.collect.foreach(println)

Habe ich JSON-Nachrichten auf Kafka wie diese: {"id_post":"p1", "message":"blablabla"} und ich will Parsen der Nachricht und drucken (oder verwenden Sie für die weitere Berechnung) die message element. Mit folgendem code Drucke ich die json - val kafkaStream

Ich bin das schreiben eines einfachen Verbraucher-Programm mit spark streaming. Mein code speichern Sie einige der Daten in der Datei, aber nicht ALLE Daten. Kann mir jemand helfen wie dieses Problem zu beheben. Ich bin nicht sicher,

Ich bin der Gestaltung einer neuen Architektur, big data, wo mein client hat als IBM MQ broker , ich weiß, dass wir für die Arbeit mit Kafka in big-data-Architekturen , Weil ich nehme an das ist schneller

Den Wert spark.yarn.executor.memoryOverhead in einem Spark-Arbeit mit GARN zugewiesen werden sollen App oder nur den max-Wert? InformationsquelleAutor liyong | 2016-12-09

Ich versuche zu ausführen Beispiel basic sparkstreaming Beispiel in Scala IDE, aber ich erhalte folgende Fehlermeldung: Error: Could not find or load main class org.test.spark.streamExample. Könnte jemand helfen mich zu Sortieren, bitte. Möglich, Duplikat der Scala Projekt

Habe ich eine Klasse wie diese: public class Test { private static String name; public static String getName() { return name; } public static void setName(String name) { Test.name = name; } public static void print() {

Ich bin erste Schritte mit Spark. Bin ich immer ein Problem beim starten Funken. Ich heruntergeladen Funke offiziellen website, ich bin versucht, quickstart aus diesem https://spark.apache.org/docs/0.9.0/quick-start.html Habe ich heruntergeladen, setup sparkhome., und wenn ich versuchte, läuft ./pyspark

Ich würde gerne konvertieren DStream in ein array, Liste, etc. so kann ich dann übersetzen zu json und servieren es auf einem endpoint. Ich bin mit apache spark, Einspritzen von twitter-Daten. Wie kann ich preform dieser Vorgang

Dies ist der code zum ausführen einfacher SQL-Abfragen über Spark Streaming. import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.sql.SQLContext import org.apache.spark.streaming.Duration object StreamingSQL { case class Persons(name: String, age: Int) def main(args: Array[String]) { val sparkConf = new

Ich bin mit Kafka 0.8.2 zum empfangen von Daten von AdExchange dann benutze ich Spark Streaming 1.4.1 zum speichern von Daten auf MongoDB. Mein problem ist, wenn ich neu starten meine Spark Streaming Job zum Beispiel wie

Gibt es etwas in Scala wie, condition ? first_expression : second_expression; dass ich verwenden können, innerhalb der map-Funktion in scala? Ich möchte in der Lage sein, etwas zu schreiben wie: val statuses = tweets.map(status => status.isTruncate? //do

Bin ich mit Spark 1.3.0 mit python-api. Während der Transformation riesigen dataframes, ich cache viele DFs für eine schnellere Ausführung; df1.cache() df2.cache() Einmal die Verwendung von bestimmten dataframe ist über und wird nicht mehr benötigt, wie kann

Ich bin monitoring ein Funke Testamentsvollstrecker JVM von einer OutOfMemoryException. Ich Jconsole verwendet, um eine Verbindung zum Testamentsvollstrecker JVM. Im folgenden ist der snapshot von Jconsole: In das Bild Speicher ist dargestellt als 3,8 G und der