Was ist der Pfad zum Verzeichnis, in Hadoop-Dateisystem?

Vor kurzem habe ich anfangen, zu lernen, Hadoop und Mahout. Ich will wissen, den Pfad zum Verzeichnis innerhalb der Hadoop-filesystem-Verzeichnis.

In hadoop-1.2.1/conf/core-site.xml ich habe angegeben:

<property>
  <name>hadoop.tmp.dir</name>
  <value>/Users/Li/File/Java/hdfstmp</value>
  <description>A base for other temporary directories.</description>
</property>

Im Hadoop-Dateisystem, habe ich die folgenden Verzeichnisse:

lis-macbook-pro:Java Li$ hadoop fs -ls
Found 4 items
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:25 /user/Li/output
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:24 /user/Li/temp
drwxr-xr-x   - Li supergroup          0 2013-11-06 14:50 /user/Li/tweets-seq
-rw-r--r--   1 Li supergroup    1979173 2013-11-05 15:50 /user/Li/u.data

Nun, wo ist /Benutzer/Li/output-Verzeichnis?

Habe ich versucht:

lis-macbook-pro:usr Li$ cd /user/Li/output
-bash: cd: /user/Li/output: No such file or directory

Also ich denke /user/Li/Ausgang ein relativer Pfad ist kein absoluter Pfad.

Dann Suche ich es in /Users/Li/- Datei/Java/hdfstmp. Es gibt zwei Ordner:

dfs

mapred

Aber ich kann nicht finden /user/Li/output in /Users/Li/- Datei/Java/hdfstmp.

InformationsquelleAutor Li' | 2013-11-12

11

Ihren ersten Anruf zu hadoop fs -ls ist eine relative Verzeichnis für den aktuellen Benutzer in der Regel Ihre Wurzeln in einem Verzeichnis namens /user/${user.name} im HDFS. So Ihr hadoop fs -ls Befehl ist die Auflistung der Dateien /Verzeichnisse relativ zu diesem Ort - in Ihrem Fall /user/Li/

Sollten Sie in der Lage sein, diesen geltend zu machen, durch ausführen einer aboolute Liste und bestätigen Sie den Inhalt /Ausgabe-match: hadoop fs -ls /user/Li/

Als diese Dateien werden in HDFS, Sie werden nicht in der Lage, Sie zu finden, die auf das lokale Dateisystem - vertrieben werden Sie über Ihre cluster-Knoten, die als Blöcke (für real-Dateien), und Metadaten-Einträge (Dateien und Verzeichnisse) in der NameNode.
- Vielen Dank für Ihre Erklärung. Angenommen ich bin mit hadoop single-node(Maschine), trotzdem habe ich keinen Zugriff auf HDFS wegen der Beschränkung der Architektur, richtig?
- Sie können installieren Sie eine SICHERUNG Stecker oder etwas ähnliches, damit Sie mount HDFS als Dateisystem, aber ansonsten, Nein, nicht direkt. Sie können die Abfrage der NameNode-Metadaten für eine Datei, entdecken Sie den block Namen und dann finden Sie die Blöcke, die auf dem lokalen Datei-system
- Sie sagen "in der Regel verwurzelt in einem Verzeichnis /user/${user.name}" -- wie können diese konfiguriert werden? Gibt es eine Möglichkeit, ich kann pwd Fall, ich denke ich bin irgendwo anders? Oder ls Datei in meinem aktuellen Verzeichnis und die Ergebnisse sind die Dateien absolute Pfade?
- Googeln Sie Ihre Frage führte mich zurück zu einem anderen einer meiner Antworten - stackoverflow.com/questions/10069568/hdfs-home-directory. Die Antwort und den link-die Quelle scheint immer noch gültig
- OK, "scheint zu hart kodiert werden" -- und nicht, ob ich das kann, verwenden Sie ls, um diese absolute Pfad, aber jetzt, wo ich weiß, es ist hart codiert, ich sollte in der Lage sein, um herauszufinden, den Weg, mich. Danke!
InformationsquelleAutor Chris White
6

Alle Dateien sind vorhanden, unter hdfs was ist Hadoop Distributed File System.
so sind diese Dateien nicht vorhanden in Ihr Dateisystem oder Ihre Verzeichnis-Struktur

im inneren bietet diese gespeichert sind, als
```
Path("hdfs://host:port/file"));
```
Die Einstellung der port ist in der xml-Datei unter Konfiguration-Verzeichnis von hadoop
$HADOOP_HOME/etc/hadoop/core-site.xml
```
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9010</value>
</property>
```
können Sie die Ansicht der Datei vorhanden unter hdfs mit Hilfe der Befehlszeile
```
hdfs dfs -ls
```
Grundlegende linux-Befehl von der Befehlszeile aus ausgeführt
```
hdfs dfs -<Command>
```
mit Hilfe dieser können Sie erstellen, die dir auch Datei löschen oder dir und die anderen Dinge auch

InformationsquelleAutor UserszrKs

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.