Unterschiede zwischen Amazon S3 und S3n in Hadoop

Wenn ich mich mit meiner Hadoop-cluster zu Amazon storage-und heruntergeladenen Dateien in HDFS, fand ich s3:// hat nicht funktioniert. Bei der Suche nach Hilfe im Internet habe ich gefunden, die ich verwenden kann S3n. Wenn ich S3n es funktionierte. Ich verstehe nicht die Unterschiede zwischen der Verwendung S3 und S3n mit meinem Hadoop-cluster, kann sich das jemand erklären?

InformationsquelleAutor der Frage | 2012-05-13

  1. 34

    Ich denke, Ihr Hauptproblem war, im Zusammenhang mit S3 und S3n als zwei separate Anschlusspunkte für Hadoop. s3n:// bedeutet, "Eine gewöhnliche Datei, lesbar von außerhalb der Welt, in dieser S3-url". s3:// bezieht sich auf ein HDFS-Dateisystem abgebildet in einem S3-bucket, das sitzt auf AWS-storage-cluster. Also, wenn Sie eine Datei von Amazon Speicher-Eimer müssen Sie S3N und das ist, warum Ihr problem behoben ist. Die Informationen Hinzugefügt, die von @Steffen ist auch toll!!

    InformationsquelleAutor der Antwort AvkashChauhan

  2. 61

    Den zwei Dateisystemen für den Einsatz Amazon S3 sind dokumentiert in der jeweiligen Hadoop wiki-Seite Adressierung Amazon S3:

    • S3-Native Dateisystem (URI-Schema: s3n)

      Eine native Dateisystem zum Lesen und schreiben von regulären Dateien, die auf S3. Der Vorteil dieser
      Dateisystem ist, können Sie den Zugriff auf Dateien auf S3, die geschrieben wurden, mit
      andere tools. Umgekehrt, die andere Werkzeuge zugreifen können-Dateien geschrieben, mit
      Hadoop. Der Nachteil ist die 5 GB-limit für Datei-Größe auferlegt S3      .
      Aus diesem Grund es ist nicht geeignet als Ersatz für HDFS (die
      hat die Unterstützung für sehr große Dateien).

    • S3 Block-Dateisystem (URI-Schema: s3)

      Eine block-basierte Dateisystem unterstützt von S3. Dateien gespeichert sind, die als Blöcke, wie Sie
      sind in HDFS. Dies ermöglicht eine effiziente Umsetzung benennt. Diese
      Dateisystem erfordert, dass Sie widmen einen Eimer für das Dateisystem - Sie
      sollte nicht, verwenden Sie einen vorhandenen Eimer mit Dateien oder andere schreiben
      Dateien in den gleichen Eimer. Die Dateien, die von diesem Dateisystem werden kann
      größer als 5 GB, aber Sie sind nicht interoperabel mit anderen S3-tools      .

    Gibt es zwei Möglichkeiten, die S3 kann verwendet werden, mit Hadoop Map/Reduce,
    entweder als Ersatz für HDFS mit dem S3 blockieren Dateisystem (d.h.
    verwenden Sie es als eine zuverlässige verteilte Dateisystem mit Unterstützung für sehr
    große Dateien) oder als praktischer Aufbewahrungsort für Daten-Eingabe und
    Ausgabe von MapReduce, entweder unter Verwendung der S3-Dateisystem. Im zweiten Fall
    HDFS ist immer noch für die Map-und reduce-phase. [...]

    [Hervorhebung von mir]

    Also der Unterschied ist vor allem damit zu tun, wie die 5 GB Grenze ist, behandelt (das ist die größte Objekt, das in einem einzelnen PUT hochgeladenobwohl Objekte können eine Größe von 1 byte bis 5 Terabytesiehe Wie viel Daten kann ich speichern?): während der Verwendung des S3 Block-Dateisystem (URI-Schema: s3) ermöglicht die Beseitigung des 5GB-limit und speichern von Dateien bis zu 5 TB, es ersetzt HDFS wiederum.

    InformationsquelleAutor der Antwort Steffen Opel

  3. 5

    Hier ist eine Erklärung: https://notes.mindprince.in/2014/08/01/difference-between-s3-block-and-s3-native-filesystem-on-hadoop.html

    Den ersten S3-backed Hadoop-Dateisystem eingeführt wurde, die in Hadoop-0.10.0 (HADOOP-574). Hieß es das S3 block fileystem und es zugeordnet war, das URI-Schema s3://. In dieser Implementierung sind die Dateien gespeichert, die als Blöcke, so wie Sie sind in HDFS. Die Dateien, die von diesem Dateisystem sind nicht interoperabel mit anderen S3-tools - was dies bedeutet, ist, dass wenn Sie gehen, um die AWS-Konsole und versuchen Sie, sich für Dateien, die geschrieben werden durch das Dateisystem, du wirst Sie nicht finden - stattdessen würden Sie finden Dateien mit dem Namen etwas wie block_-1212312341234512345 etc.

    Um diese Einschränkungen zu überwinden, eine andere S3-backed-Dateisystem eingeführt wurde, die in Hadoop-0.18.0 (HADOOP-930). Hieß es das S3 native Dateisystem, und es wurde zugewiesen, das URI-Schema s3n://. Dieses Dateisystem ermöglicht den Zugriff auf Dateien auf S3, die geschrieben wurden, mit anderen tools... Wenn das Dateisystem eingeführt wurde, S3 hat ein filesize limit von 5 GB und damit das Dateisystem könnte funktionieren nur mit Dateien kleiner als 5 GB ist. Ende 2010, Amazon... erhöht die maximale Dateigröße von 5 GB bis 5 TB...

    Mit dem S3 block-Datei-system wird nicht mehr empfohlen. Verschiedene Hadoop-as-a-service-Anbieter wie Qubole und Amazon EMR gehen, wie weit mapping sowohl das s3://und die s3n://- URIs, um die S3 native Dateisystem, um dies sicherzustellen.

    So verwenden Sie immer das native Dateisystem. Es ist nicht mehr 5 GB Grenze. Manchmal müssen Sie möglicherweise zu geben s3:// statt s3n://aber stellen Sie sicher, dass alle Dateien, die Sie erstellen, werden sichtbar in den Eimer explorer im browser.

    Siehe auch http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-file-systems.html.

    Zuvor, Amazon EMR verwendet die S3 Native Dateisystem mit dem URI-Schema, s3n. Während diese immer noch funktioniert, empfehlen wir, dass Sie die s3-URI-Schema für die beste Leistung, Sicherheit und Zuverlässigkeit.

    Er sagt auch, Sie können s3bfs:// auf das alte block-Datei-system, früher bekannt als s3://.

    InformationsquelleAutor der Antwort osa

Schreibe einen Kommentar