Tag: amazon-emr

Ich versuche, mit Amazon s3-Speicher mit EMR. Allerdings, wenn ich derzeit mein code bekomme ich mehrere Fehler, wie java.lang.IllegalArgumentException: This file system object (hdfs://10.254.37.109:9000) does not support access to the request path 's3n://energydata/input/centers_200_10k_norm.csv' You possibly called FileSystem.get(conf)

Ich möchte in der Lage sein zu erstellen EMR-Cluster, und für diejenigen Cluster, die zum senden von Nachrichten an eine zentrale Warteschlange. Um für diese zu arbeiten, ich brauche, um irgendeine Art von agent läuft auf jedem

Ich bin mit einem hive-Skript in Amazon EMR zu analysieren, einige Daten. Und ich bin mit der übertragung der Ausgabe auf Amazon s3-bucket. Nun die Ergebnisse der hive-Skripts nicht enthalten Spaltenüberschriften. Habe ich auch versucht, mit Hilfe

Wie Sie ein Glas in Zeppelin für %hive-interpreter? Habe ich versucht %z.dep(''); add jar <jar path> Auch zeppelin-hive-interpreter wirft ClassNotFoundException Hinzufügen ./interpreter/hive/ Durchführungen Sparsamkeit Ausnahme, während add jar sagt Datei nicht gefunden. Wie es zu tun? Ich

Habe ich einen job ausführen, die auf der AWS-EMR, gespeichert und der Ausgang in EMR-job ' s HDFS. Ich bin dann versucht zu kopieren das Ergebnis zu S3 über distcp oder s3distcp, aber beide sind nicht die,

Bin ich mit hive (mit externen Tabellen) zum verarbeiten von Daten in amazon S3 gespeicherten. Meine Daten sind wie folgt partitioniert: group/team/dt/ (z.B. eine Daten-Datei kann gespeichert werden, in einen Pfad group=myGroup/team=myTeam/dt=20120603) Ich würde gerne die Verarbeitung

Ich versuche zu laufen (py)Funken job auf EMR, der Prozess wird eine große Menge von Daten. Derzeit mein job fehlschlägt, mit der folgenden Fehlermeldung: Reason: Container killed by YARN for exceeding memory limits. 5.5 GB of 5.5

Ich bin mit einer EMR-cluster (version emr-4.2.0) für Spark-Amazon-spezifische maximizeResourceAllocation fahne dokumentiert hier. Laut den docs, "diese option berechnet die maximale Rechen-und Speicher-Ressourcen zur Verfügung für ein Testamentsvollstrecker auf einen Knoten in der core-Knoten-Gruppe und legt die

Ich bin das schreiben, um zu sehen, ob jemand weiß, wie zu beschleunigen S3 mal schreiben, von Spark läuft in EMR? Meine Funke Job dauert über 4 Stunden dauern, jedoch ist der cluster nur unter Last während

Habe ich viele Dateien im s3-bucket und die will ich kopieren Sie die Dateien der start-Datum von 2012. Unter diesem Befehl kopiert alle Datei. aws s3 cp s3://bp-dev/bp_source_input/C:\Business_Panorama\nts\data\in --recursive --include "201502_nts_*.xlsx" bedeutet, dass Platzhalter arbeiten? Wenn nicht,

Ich versuche zu löschen, einen Ordner erstellt, als Ergebnis einer MapReduce-job. Andere Dateien in den Eimer zu löschen ganz gut, aber dieser Ordner nicht löschen. Wenn ich versuche, es zu löschen von der Konsole aus, die Statusanzeige

Möchte ich zum erstellen einer Hive-Tabelle, aus der einige der JSON-Daten (geschachtelte) und ausführen von Abfragen auf? Ist das überhaupt möglich? Habe ich bekommen, wie weit das hochladen der JSON-Datei zu S3 und Einführung einer EMR-Instanz, aber

Ich bin mit kinesis-plus spark-Anwendung https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html Läuft bei mir wie unten Befehl ec2-instance : ./spark/bin/spark-submit --class org.apache.spark.examples.streaming.myclassname --master yarn-cluster --num-executors 2 --driver-memory 1g --executor-memory 1g --executor-cores 1 /home/hadoop/test.jar Habe ich installiert Funke an EMR. EMR details Master