HDFS-Home-Verzeichnis

Habe ich setup einen einzelnen Knoten multi-user-hadoop-Clusters.
In meinem cluster ist ein admin-Benutzer, die verantwortlich für den Betrieb der cluster (superuser). Alle anderen Benutzer zugeteilt werden, ein hdfs-Verzeichnis wie /home/xyz wobei xyz ist ein Benutzername.

In unix, wir können ändern Sie den Standard-home-Verzeichnis für einen Benutzer in der /etc/passwd. Und standardmäßig Landung Verzeichnis für einen Benutzer ist das home-Verzeichnis.

Wie mache ich es, in hadoop für hdfs-Dateisystem.
Ich möchte beispielsweise, wenn der Benutzer Arten:
$hadoop dfs -ls auf unix-Eingabeaufforderung.
Es stellt eine Liste der Inhalte des home-Verzeichnisses von mir gewählt.

Weiter, hdfs Verzeichnisse werden erstellt, indem der superuser, läuft der cluster(hadoop superuser und nicht unix-root) und dann überträgt das Eigentum an einen bestimmten Benutzer.

InformationsquelleAutor Tapan Avasthi | 2012-04-09

  1. 7

    Ich bin nicht sicher, ob dies ist etwas, die konfiguriert werden können - die Quelle für DistributedFileSystem(Linie 150) hat einen Aufruf für getHomeDirectory zu sein scheint, dass hard-codiert:

    @Override
public Path getHomeDirectory() {
  return makeQualified(new Path("/user/" + dfs.ugi.getShortUserName()));
}

    Haben Sie zwei Möglichkeiten, wenn Sie wollen in der Lage sein, dies zu ändern:

    • Senden Sie ein ticket, um hadoop zu Fragen, für ein neues feature - Finden Sie unter diesem link
    • Änderung der Quelle selbst, und re-build + re-verteilen Sie die hadoop-core-jar über den cluster (einfach in Ihre einzelnen Knoten pseudo-cluster)
    Hi Chris, cool Beobachtung! Ich werde versuchen, wieder aufzubauen, meine Quelle war aber nur Fragen, wenn ich nur eine einzige änderung wie von dir erwähnte, oder es gibt einige andere Funktionen, wo kann ich es ändern müssen.
    Aus einem hadoop-source-dir, Ausführung: grep "\"/user" * -iRn --include=\*.java - diese fangen die meisten Dateien, aber vielleicht nicht alle. Sie können nicht ändern die verschiedenen unit-tests. Viel Glück!

    InformationsquelleAutor Chris White

  2. 1

    tapan, Jeder Benutzer hat ein "home" Verzeichnis in HDFS die sich unter " /Benutzer/Benutzername. Zum Beispiel, Wenn Sie geben hadoop fs -ls, es wird Sie der aktuelle Benutzer HDFS-Verzeichnis. Ich habe es auf der single mit zwei Benutzern.

    Kommen zu unix wie eine Datei (/etc/passwd) Einstellung, die ich nicht kannte. Aber, es ist wirklich interessant. Wie chris gesagt hat, können wir fügen Sie neue Funktion wie, vorstellen user-admin-site.xml wie die Konfigurationsdatei, und fügen Sie Gruppen, Benutzern, deren Berechtigungen auf Verzeichnisse, home directory etc. Wirklich intertesting, wir haben o versuchen Sie, diese...

    InformationsquelleAutor shiva kumar s

Schreibe einen Kommentar