Tag: emr

Ich bin nicht in der Lage zu lokalisieren, die Fehler-logs oder Nachricht von println Anrufe in Scala während der Ausführung von jobs auf Spark im EMR. Wo finde ich diese? Ich bin das Einreichen der Spark job,

Habe ich einen job ausführen, die auf der AWS-EMR, gespeichert und der Ausgang in EMR-job ' s HDFS. Ich bin dann versucht zu kopieren das Ergebnis zu S3 über distcp oder s3distcp, aber beide sind nicht die,

Bin ich mit hive (mit externen Tabellen) zum verarbeiten von Daten in amazon S3 gespeicherten. Meine Daten sind wie folgt partitioniert: group/team/dt/ (z.B. eine Daten-Datei kann gespeichert werden, in einen Pfad group=myGroup/team=myTeam/dt=20120603) Ich würde gerne die Verarbeitung

Ich versuche, konvertieren Sie die Zeichenfolge in REC_TIME Spalte einen timestamp-format in der Struktur. Ex: Sun Jul 31 09:28:20 UTC 2016 => 2016-07-31 09:28:20 SELECT xxx, UNIX_TIMESTAMP(REC_TIME, "E M dd HH:mm:ss z yyyy") FROM wlogs LIMIT 10;

Ich dieses Dokument schlägt vor, http://spark.apache.org/docs/1.1.1/submitting-applications.html spsark version 1.1.0 ./spark/bin/spark-submit --py-files /home/hadoop/loganalysis/parser-src.zip \ /home/hadoop/loganalysis/ship-test.py conf und in code : conf = (SparkConf() .setMaster("yarn-client") .setAppName("LogAnalysis") .set("spark.executor.memory", "1g") .set("spark.executor.cores", "4") .set("spark.executor.num", "2") .set("spark.driver.memory", "4g") .set("spark.kryoserializer.buffer.mb", "128")) - und slave-Knoten

Ich bin mit einige machine learning algorithmen auf EMR-Spark-cluster. Ich bin neugierig, welche Art von Instanz zu verwenden, so kann ich den optimalen Kosten - /performance-Gewinn? Für die gleiche Höhe der Preise, ich kann wählen zwischen: vCPU

Ich bin mit 5 Knoten Spark-cluster über die AWS-EMR jeder Größe m3.xlarge (1 master 4 slaves). Ich lief erfolgreich durch eine 146Mb bzip2-komprimierte CSV-Datei und endete mit einem perfekt aggregierte Ergebnis. Nun bin ich zu verarbeiten versucht

Ich habe einen 17.7 GB-Datei auf S3. Es wurde erzeugt als die Ausgabe des Hive-Abfrage und es wird nicht komprimiert. Weiß ich, dass durch die Komprimierung, es werden etwa 2,2 GB (gzip). Wie kann ich diese Datei

Ich habe eine Hive-Tabelle, die durch eine Elastische MapReduce interaktive Sitzung und aufgefüllt, die es aus einer CSV-Datei wie folgt: CREATE TABLE csvimport(id BIGINT, time STRING, log STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD DATA

Ich bin mit hive über EMR, und kopieren Sie einige Dateien, um alle EMR-Instanzen. Einer Art und Weise, wie ich Sie verstehe, ist nur zum kopieren von Dateien auf das lokale Dateisystem, die auf jedem Knoten der