Wenn Sie erstellen Sie eine externe Tabelle in Hive mit einer S3 Lage ist, die Daten übertragen?

Beim anlegen einer externen Tabelle in Hive (Hadoop) mit einem Amazon S3 Quelle Lage ist, die Daten übertragen auf die lokalen Hadoop HDFS auf:

  • externe Erstellung der Tabelle
  • wenn bogenlagen (HERR jobs) ausgeführt werden, die auf die externe Tabelle
  • nie (keine Daten übertragen) und HERR jobs Lesen von S3-Daten.

Welche Kosten entstehen hier für die S3 liest? Gibt es einen einzigen Kosten, die für die übertragung von Daten in HDFS-oder gibt es keine Daten-transfer-Kosten, aber wenn Sie den MapReduce job erstellt von Hive läuft auf diese externe Tabelle die Lesen Kosten auf Sie zu.

Beispiel externe Tabelle definition wäre:

CREATE EXTERNAL TABLE mydata (key STRING, value INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '='
LOCATION 's3n://mys3bucket/';
  • (vorausgesetzt, du meinst die finanziellen Kosten) ich denke nicht, du bist erhoben, für transfers zwischen S3 und EC2 innerhalb der gleichen AWS-Region aws.amazon.com/s3/pricing
InformationsquelleAutor Matt Alcock | 2012-11-29
Schreibe einen Kommentar