Hadoop HADOOP_CLASSPATH Fragen

Diese Frage bezieht sich nicht auf die Verteilung jar-Dateien in das gesamte cluster für die Arbeiter zu verwenden.

Er bezieht sich auf die Angabe einer Anzahl von zusätzlichen Bibliotheken die auf der client-Maschine. Um genauer zu sein: ich versuche, führen Sie den folgenden Befehl, um den Inhalt einer SequenceFile: 

   /path/to/hadoop/script fs -text /path/in/HDFS/to/my/file

Wirft er mir diese Fehlermeldung: text: java.io.IOException: WritableName can't load class: util.io.DoubleArrayWritable

Habe ich einen beschreibbaren Klasse namens DoubleArrayWritable. In der Tat , auf einem anderen computer funktioniert alles gut.

Ich versucht, die HADOOP_CLASSPATH enthalten die jar mit der Klasse, aber keine Ergebnisse. Eigentlich, wenn Sie ausführen: 

   /path/to/hadoop/script classpath

Dem Ergebnis nicht enthalten die jar-Datei die ich Hinzugefügt HADOOP_CLASSPATH.

Die Frage ist: wie geben Sie zusätzliche Bibliotheken beim ausführen von hadoop (durch die zusätzliche Bedeutung, die anderen Bibliotheken als diejenigen, die die hadoop-Skript enthält automatisch in den Klassenpfad)

Einige weitere Infos die vielleicht helfen:

  • Kann ich nicht ändern hadoop.sh Skript (und alle zugehörigen Skripte)
  • Ich kann nicht kopieren", "meine Bibliothek" in das /lib-Verzeichnis unter der hadoop-installation directory
  • In der hadoop-env.sh das von der hadoop.sh es ist diese Zeile: export HADOOP_CLASSPATH=$HADOOP_HOME/lib was wahrscheinlich erklärt, warum meine HADOOP_CLASSPATH env var ignoriert.
InformationsquelleAutor Razvan | 2012-10-17
  1. 15

    Wenn Sie nicht erlaubt HADOOP_CLASSPATH dann

    export HADOOP_CLASSPATH=/path/to/jar/myjar.jar:$HADOOP_CLASSPATH; \
    hadoop fs -text /path/in/HDFS/to/my/file

    wird die Arbeit machen. Da in Ihrem Fall diese variable ist überschrieben in hadoop-env.sh daher sollten Sie die -libjars option statt:

    hadoop fs -libjars /path/to/jar/myjar.jar -text /path/in/HDFS/to/my/file

    Alternativ aufrufen FsShell manuell:

    java -cp $HADOOP_HOME/lib/*:/path/to/jar/myjar.jar:$CLASSPATH \
org.apache.hadoop.fs.FsShell -conf $HADOOP_HOME/conf/core-site.xml \
-text /path/in/HDFS/to/my/file
    • ja, aber das hadoop-Skript tut: export HADOOP_CLASSPATH=$HADOOP_HOME/lib. Es schreibt mein HADOOP_CLASSPATH
    • siehe meine aktualisierte Antwort
    • wie gesagt, ich möchte nicht die "verteilte" classpath. Ich will nur zu legen Sie den classpath auf der client-Maschine
    • Ok. Dann können Sie aufrufen, FsShell manuell an (siehe Beispiel oben).
    InformationsquelleAutor Lorand Bendig
  2. 1

    Wenn jemand will, um zu überprüfen, hadoop classpath, geben Sie hadoop classpath im terminal.

    Um es zu kompilieren, verwenden Sie diese: javac -cp $(hadoop classpath):path/to/jars/* java_file.java

    InformationsquelleAutor subtleseeker
  3. 0

    Versuchen, um Ihre jar-Datei im default-CLASSPATH-variable und fügen auch HADOOP_CLASSPATH zu.
    Führen Sie dann den Befehl.


    export CLASSPATH=/your/jar/file/myjar.jar:$CLASSPATH:$HADOOP_CLASSPATH
    /path/to/hadoop/script fs -text /path/in/HDFS/to/my/file

    • der Standard-classpath var ignoriert von hadoop
    InformationsquelleAutor Rahul Mahajan
Schreibe einen Kommentar