Tag: hortonworks-data-platform

Verwenden Sie für Fragen im Zusammenhang mit der Hortonworks Data Platform (HDP), ein open-source Apache Hadoop data platform. Versuchen Sie suchen in https://community.hortonworks.com/ vor dem posten von Fragen hier.

Sqoop-import : composite primary key und Text Primärschlüssel

Anzahl der Antworten 1 Antworten
Stack : Installiert HDP-2.3.2.0-2950 mit Ambari 2.1 Quell-DB-Schemas, die auf sql-server und enthält mehrere Tabellen, die entweder primary key als : Varchar Composite - zwei varchar-Spalten oder eine varchar - + eine int-Spalte oder zwei int-Spalten. Es

Senden KafkaProducer vom lokalen Rechner auf hortonworks sandbox auf virtualbox

Anzahl der Antworten 1 Antworten
Habe ich ein wirklich einfaches Produzent, der läuft bei mir über eclipse auf meinem lokalen windows-Rechner... Was ich wirklich will, ist eine Nachricht über einen auf kafka, so dass ich in der Lage, um die broker, durch

Start-hive-metastore

Anzahl der Antworten 2 Antworten
Wir versuchen, starten Sie den hive-metastore auf unserem Linux-Server, aber wir stehen vor einem Problem. Wenn wir versuchen, starten Sie den hive-metastore-service mit folgendem Befehl: sudo hive-service metastore erhalten wir Unmengen von Fehlern wie diesem: Verursacht durch:

Habe InterruptedException während der Ausführung von word count mapreduce-job

Anzahl der Antworten 2 Antworten
Habe ich installiert Cloudera VM version 5.8 auf meinem Rechner. Wenn ich führen word count mapreduce-job, wirft es unten Ausnahme. `16/09/06 06:55:49 WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1281) at java.lang.Thread.join(Thread.java:1355) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:862) at

So entfernen Sie eine ambari service, nachdem Sie Hinzugefügt wurden

Anzahl der Antworten 5 Antworten
Nachdem Sie einen Dienst hinzufügen, um einen Knoten, wie gehen Sie über das entfernen dieses service aus sagen, ein Knoten oder alle Knoten? Zum Beispiel, habe ich Schwein und jetzt habe ich beschlossen, dass ich nicht mehr

Hive: Summe über eine bestimmte Gruppe (HiveQL)

Anzahl der Antworten 5 Antworten
Ich habe eine Tabelle: key product_code cost 1 UK 20 1 US 10 1 EU 5 2 UK 3 2 EU 6 Ich möchte die Summe aller Produkte für jede Gruppe von "key" und "anfügen", um jede

Anfragen hängen, wenn mit Hiveserver2 Sparsamkeit Java-client

Anzahl der Antworten 1 Antworten
Dies ist ein follow-up-Frage zu diese Frage, wo ich Fragen, was die Hiveserver 2 secondhand-java-client-API ist. Diese Frage sollte in der Lage zu stehen ohne hintergrund, wenn Sie nicht mehr benötigen Kontext. Nicht in der Lage zu

kinit: Clients Anmeldeinformationen widerrufen worden, während getting initial credentials

Anzahl der Antworten 1 Antworten
Ich habe hdp-cluster konfiguriert mit kerberos mit AD. Alle HDP-Dienst-accounts haben, principals und keytabs generiert, einschließlich der Funke. Ich weiß, service-Konten keine Passwörter und setzen zu deren Ablauf aufheben. Jetzt, während Sie kinit -kt spark.keytab -p spark-PRINCIPAL

Spark num-Vollzieher

Anzahl der Antworten 2 Antworten
Ich habe setup ein 10-Knoten-HDP-Plattform auf AWS. Unten ist meine Konfiguration 2 Server - Namen, Knoten-und Standby-Name-Knoten 7 Daten-Knoten und jeder Knoten hat 40 vCPUs und 160 GB Speicher. Ich versuche zu berechnen, die Anzahl der Testamentsvollstrecker

Wie ein ORC Datei in Hive-CDH?

Anzahl der Antworten 1 Antworten
Ich kann einfach erzeugen ein ORC Datei-format von Apache Hadoop oder Hortonworks' HDP: CREATE TABLE ... STORED AS ORC Aber dies funktioniert nicht Cloudera ' s die CDH 4.5. (Überraschung!) Ich: FEHLGESCHLAGEN: SemanticException Unbekannte Datei-format GESPEICHERT Klausel:

Kafka Java-Hersteller mit kerberos

Anzahl der Antworten 2 Antworten
Immer Fehler beim senden der Nachricht an kafka Thema in kerberosed Umwelt. Wir haben cluster auf hdp 2.3 Ich folgte diesem http://henning.kropponline.de/2016/02/21/secure-kafka-java-producer-with-kerberos/ Aber für das senden von Nachrichten, ich habe zu tun kinit explizit zuerst, dann erst

Funke an Garn, Container beendet mit einem nicht-null exit-code 143

Anzahl der Antworten 2 Antworten
Ich bin mit HDP 2.5, laufen spark-submit als Garn cluster-Modus. Ich habe versucht, zum generieren von Daten mithilfe dataframe cross join. ich.e val generatedData = df1.join(df2).join(df3).join(df4) generatedData.saveAsTable(...).... df1 storage-Ebene ist MEMORY_AND_DISK df2,df3,df4 storage-Ebene ist MEMORY_ONLY df1 hat

Konvertieren string in timestamp-hive -

Anzahl der Antworten 1 Antworten
Habe ich den string mit der timestamp-Wert wie "2013-02-02T04:04:11.240-4:00". Also Ziel ist die Umwandlung in den timestamp-format wie 2013-02-02 04:04:11. Wie kann ich dies tun. Dieser Befehl funktioniert from_unixtime(unix_timestamp(substr('20130502081559999',1,14), 'yyyyMMddHHmmss')) aber wenn ich versuche, so etwas wie

So finden Sie Hadoop-hdfs-Verzeichnis auf meinem system?

Anzahl der Antworten 3 Antworten
Wie findet Hadoop HDFS-Verzeichnis auf meinem system? Ich brauche diese, um auszuführen, folgenden Befehl ein - hadoop dfs -copyFromLocal <local-dir> <hdfs-dir> In diesem Befehl, den ich nicht knon meine hdfs-dir. Nicht sicher, ob hilfreich oder nicht, aber

Spark-Lesen-Datei von S3 mit sc.Textdatei ("s3n://...)

Anzahl der Antworten 12 Antworten
Versuchen, Lesen Sie eine Datei im S3 mit dem spark-shell: scala> val myRdd = sc.textFile("s3n://myBucket/myFile1.log") lyrics: org.apache.spark.rdd.RDD[String] = s3n://myBucket/myFile1.log MappedRDD[55] at textFile at <console>:12 scala> myRdd.count java.io.IOException: No FileSystem for scheme: s3n at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2607) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2614) at

hadoop-Benutzer die Datei-Berechtigungen

Anzahl der Antworten 2 Antworten
ich habe ein problem bei der Einstellung von hadoop-Datei Berechtigungen in hortonworks und cloudera. Meine Forderung ist: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now

Hortonworks HA Namenodes gibt eine Fehlermeldung "Operation Kategorie LESEN wird nicht unterstützt, im standby-Zustand"

Anzahl der Antworten 1 Antworten
Meine hadoop-cluster HA aktive namenode (host1) plötzlich in den standby-namenode(host2). Ich konnte keine Fehler in den hadoop-logs (in jedem server) die Ursache zu identifizieren. Nach dem einschalten des Namenodes folgende Fehlermeldung erschien im hdfs Protokolle Häufig und

Drop externen Hive-Tabelle OHNE Daten zu löschen

Anzahl der Antworten 2 Antworten
Ziel ist es zu zerstören, ein Bienenkorb-schema, sondern halten die Daten darunter. Angesichts einer externen Hive-Tabelle erstellt, zum Beispiel mit Skript 1, kann gelöscht werden mit Skript 2. Dies löscht die Daten (entfernt den Ordner /user/me/data/). In

So deaktivieren Sie Transparent Huge Pages (THP) in Ubuntu 16.04 LTS

Anzahl der Antworten 4 Antworten
Ich bin einrichten eines ambari-cluster mit 3 virtualbox-VMs unter Ubuntu 16.04 LTS. Aber ich bekomme die folgende Warnung: The following hosts have Transparent Huge Pages (THP) enabled. THP should be disabled to avoid potential Hadoop performance issues.

Usecases für mapred.job.Warteschlange.name

Anzahl der Antworten 2 Antworten
Was sind die realen Fälle, die auf map reduzieren Sie job-Warteschlangen, d.h. der Wert von mapred.job.queue.name Eigenschaft. Ich sehe default verwendet wird, wie der Wert immer. InformationsquelleAutor Aravind R. Yarram | 2014-01-03

So löschen Sie Dateien aus dem HDFS?

Anzahl der Antworten 4 Antworten
Ich habe gerade heruntergeladen Hortonworks sandbox-VM, darin gibt es Hadoop mit der version 2.7.1. Ich hinzufügen einige Dateien mit der hadoop fs -put /hw1/* /hw1 ...- Befehl. Nach es bin ich durch löschen der zusätzlichen Dateien, die

Suchen Sie nach der Portnummer, an der HDFS zu hören ist

Anzahl der Antworten 5 Antworten
Ich für den Zugriff auf hdfs mit voll qualifizierten Namen wie : hadoop fs -ls hdfs://machine-name:8020/user Könnte ich auch einfach auf hdfs mit hadoop fs -ls /user Aber ich Schreibe Testfälle, die Arbeit sollte auf verschiedenen Distributionen(HDP,

Spark liest Datei von S3 mit sc.textFile ("s3n: // ...)

Anzahl der Antworten 12 Antworten
Versuchen, Lesen Sie eine Datei im S3 mit dem spark-shell: scala> val myRdd = sc.textFile("s3n://myBucket/myFile1.log") lyrics: org.apache.spark.rdd.RDD[String] = s3n://myBucket/myFile1.log MappedRDD[55] at textFile at <console>:12 scala> myRdd.count java.io.IOException: No FileSystem for scheme: s3n at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2607) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2614) at