Was ist die maximale Anzahl von Dateien in einem HDFS-Verzeichnis?

Was ist die maximale Anzahl von Dateien und Verzeichnissen erlaubt in einem HDFS (hadoop) - Verzeichnis?

InformationsquelleAutor Joseph Hansen | 2011-06-15
  1. 4

    Blöcke und Dateien werden in einer HashMap. So sind Sie verpflichtet, zu Integer.MAX_VALUE.
    So ein Verzeichnis ist keine Einschränkung, sondern das gesamte Dateisystem.

    • Aber der Rahmen könnte nicht wirklich skalieren, dass die Zahl aufgrund der s/w und h/w-Einschränkungen.
    InformationsquelleAutor Thomas Jungblut
  2. 10

    In der modernen Apache-Hadoop-Versionen, verschiedenen HDFS Grenzen gesteuert werden, indem Sie configuration properties mit fs-limits im Namen, die alle haben sinnvolle Standardwerte. Diese Frage ausdrücklich gebeten, über die Anzahl der Kinder, die in einem Verzeichnis. Das ist definiert durch dfs.namenode.fs-limits.max-directory-items, und der Standardwert ist 1048576.

    Finden Sie auf der Apache-Hadoop-Dokumentation in hdfs-default.xml für die vollständige Liste der fs-limits Konfigurations-Eigenschaften und Ihre Standardwerte. Kopieren-einfügen hier für die Bequemlichkeit:

    <property>
  <name>dfs.namenode.fs-limits.max-component-length</name>
  <value>255</value>
  <description>Defines the maximum number of bytes in UTF-8 encoding in each
      component of a path.  A value of 0 will disable the check.</description>
</property>

<property>
  <name>dfs.namenode.fs-limits.max-directory-items</name>
  <value>1048576</value>
  <description>Defines the maximum number of items that a directory may
      contain. Cannot set the property to a value less than 1 or more than
      6400000.</description>
</property>

<property>
  <name>dfs.namenode.fs-limits.min-block-size</name>
  <value>1048576</value>
  <description>Minimum block size in bytes, enforced by the Namenode at create
      time. This prevents the accidental creation of files with tiny block
      sizes (and thus many blocks), which can degrade
      performance.</description>
</property>

<property>
    <name>dfs.namenode.fs-limits.max-blocks-per-file</name>
    <value>1048576</value>
    <description>Maximum number of blocks per file, enforced by the Namenode on
        write. This prevents the creation of extremely large files which can
        degrade performance.</description>
</property>

<property>
  <name>dfs.namenode.fs-limits.max-xattrs-per-inode</name>
  <value>32</value>
  <description>
    Maximum number of extended attributes per inode.
  </description>
</property>

<property>
  <name>dfs.namenode.fs-limits.max-xattr-size</name>
  <value>16384</value>
  <description>
    The maximum combined size of the name and value of an extended attribute
    in bytes. It should be larger than 0, and less than or equal to maximum
    size hard limit which is 32768.
  </description>
</property>

    Alle diese Einstellungen verwenden, vernünftige Standard-Werte beschlossen, die von der Apache Hadoop community. Es wird allgemein empfohlen, dass die Benutzer nicht die Melodie, die diese Werte außer in sehr ungewöhnlichen Umständen.

    • vielen Dank für Ihre ausführliche und klare Antwort
    InformationsquelleAutor Chris Nauroth
  3. 6

    Vom http://blog.cloudera.com/blog/2009/02/the-small-files-problem/:

    Jedes Datei -, Verzeichnis-und block im HDFS ist als ein Objekt dargestellt, in der namenode ist der Speicher, von denen jeder nimmt 150 bytes, als Faustregel. Also 10 Millionen Dateien, die jeweils mit einem block nutzen würde, über 3 Gigabyte Speicher. Scaling-up viel über diese Ebene besteht ein problem mit der aktuellen hardware. Sicherlich ein Milliarden-Dateien ist nicht möglich.

    InformationsquelleAutor David Medinets
  4. 1

    Diese Frage wird insbesondere erwähnt, HDFS, aber eine Verwandte Frage ist, wie viele Dateien können Sie speichern auf einem Hadoop-cluster.

    Dass hat eine andere Antwort, wenn Sie MapR Dateisystem. In diesem Fall, die Milliarden von Dateien kann gespeichert werden auf dem cluster ohne ein problem.

    InformationsquelleAutor Ted Dunning
  5. 0

    in HDFS, die maximale Dateinamenlänge von 255 bytes. also, der Spruch über ein file-Objekt belegt nur 150 Bytes werden nicht richtig oder genau sind. bei der Berechnung der bytes für Speicher, sollten wir die maximale Besetzung eines Objekts.

    InformationsquelleAutor Zheng Yong
Schreibe einen Kommentar