Hive-Cluster nach vs Reihenfolge von vs sortieren nach

Lassen Sie mich klarstellen, ersten: clustered by nur vertreibt Ihre Schlüssel in verschiedene Eimer, clustered by ... sorted by get buckets sortiert.

Mit einem einfachen experiment (siehe unten) können Sie sehen, dass Sie nicht global order by-default. Der Grund ist, dass Standard-Partitionierer teilt Schlüssel unter Verwendung von hash-codes unabhängig von der tatsächlichen Schlüssel bestellen.

Aber Sie können Ihre Daten völlig bestellt.

Motivation ist "Hadoop: The Definitive Guide" von Tom White (3. Auflage, Kapitel 8, S. 274, Gesamt Sortieren), wo er beschreibt, TotalOrderPartitioner.

Beantworte ich Ihre TotalOrdering Frage zuerst, und dann beschreiben verschiedene Art-Verwandte-Hive-Experimente, die ich getan habe.

Im Hinterkopf behalten: was ich beschreibe, hier ist ein 'proof of concept', ich war in der Lage zu handhaben, ein einziges Beispiel mit Claudera - CDH3-Verteilung.

Ursprünglich hatte ich gehofft, dass org.apache.hadoop.mapred.lib.TotalOrderPartitioner wird den trick tun. Leider hat es nicht, weil es aussieht wie Hive-Partitionen, die von Wert, nicht der Schlüssel. So habe ich es patchen (sollte Unterklasse, aber ich habe keine Zeit dafür):

Ersetzen

public int getPartition(K key, V value, int numPartitions) {
    return partitions.findPartition(key);
}

mit

public int getPartition(K key, V value, int numPartitions) {
    return partitions.findPartition(value);
}

Nun kann der (gepatchten) TotalOrderPartitioner als Ihre Bienenkorb-Partitionierer:

hive> set hive.mapred.partitioner=org.apache.hadoop.mapred.lib.TotalOrderPartitioner;

hive> set total.order.partitioner.natural.order=false

hive> set total.order.partitioner.path=/user/yevgen/out_data2

Ich auch

hive> set hive.enforce.bucketing = true; 

hive> set mapred.reduce.tasks=4;

in meinen tests.

Datei out_data2 erzählt TotalOrderPartitioner wie Eimer-Werten.
Sie generieren out_data2 durch Stichproben Ihrer Daten. In meinen tests verwendete ich 4 Eimer und die Tasten von 0 bis 10. Generiert ich out_data2 mit ad-hoc-Ansatz:

import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.hive.ql.io.HiveKey;
import org.apache.hadoop.fs.FileSystem;


public class TotalPartitioner extends Configured implements Tool{
    public static void main(String[] args) throws Exception{
            ToolRunner.run(new TotalPartitioner(), args);
    }

    @Override
    public int run(String[] args) throws Exception {
        Path partFile = new Path("/home/yevgen/out_data2");
        FileSystem fs = FileSystem.getLocal(getConf());

        HiveKey key = new HiveKey();
        NullWritable value = NullWritable.get();

        SequenceFile.Writer writer = SequenceFile.createWriter(fs, getConf(), partFile, HiveKey.class, NullWritable.class);
        key.set( new byte[]{1,3}, 0, 2);//partition at 3; 1 came from Hive -- do not know why
        writer.append(key, value);
        key.set( new byte[]{1, 6}, 0, 2);//partition at 6
        writer.append(key, value);
        key.set( new byte[]{1, 9}, 0, 2);//partition at 9
        writer.append(key, value);
        writer.close();
        return 0;
    }

}

Dann ich kopierte daraus resultierenden out_data2 zu HDFS (in /user/yevgen/out_data2)

Mit diesen Einstellungen hab ich meine Daten bucketorientierten/sortiert (siehe letzten Punkt in meiner testliste).

Hier ist meine Experimente.

• Erstellen von sample-Daten

  bash> echo -e "1\n3\n2\n4\n5\n7\n6\n8\n9\n0" > data.txt

• Erstellen grundlegende Prüfung-Tabelle:

  hive> create table test(int x);
  hive> load data local inpath 'data.txt' into table test;

Grundsätzlich diese Tabelle enthält die Werte von 0 bis 9, ohne Ordnung.

• Demonstrieren, wie die Tabelle kopieren funktioniert (wirklich mapred.reduzieren.Aufgaben-parameter setzt die MAXIMALE Anzahl von reduce-tasks verwenden)

  hive> create table test2(int x);

  hive> set mapred.reduzieren.Aufgaben=4;

  hive> insert overwrite table test2
  wählen Sie eine.x aus test ein
  join-test b
  auf einem.x=b ist.x; -- stupied mitmachen zu zwingen, nicht-triviale map-reduce

  bash> hadoop fs -cat /user/hive/warehouse/test2/000001_0

  1

  5

  9

• Zeigen giesst. Sie können sehen, dass die Tasten entsprechen dem Zufallsprinzip ohne jede Sortierung:

  hive> create table test3(x int)
  gruppiert (x) in 4 Eimer;

  hive> set-Struktur.durchzusetzen.giesst = true;

  hive> insert overwrite table test3
  select * from test;

  bash> hadoop fs -cat /user/hive/warehouse/test3/000000_0

  4

  8

  0

• Giesst mit der Sortierung. Die Ergebnisse sind teilweise sortiert, nicht ganz sortiert

  hive> create table-test4(x int)
  gruppiert (x) sortiert nach (x-desc)
  in 4 Eimer;

  hive> insert overwrite table test4
  select * from test;

  bash> hadoop fs -cat /user/hive/warehouse/test4/000001_0

  1

  5

  9

Können Sie sehen, dass die Werte in aufsteigender Reihenfolge sortiert sind. Sieht aus wie Hive Fehler in CDH3?

• Immer teilweise sortiert ohne cluster-Anweisung:

  hive> create table-test5 als
  wählen Sie "x"
  aus dem test
  Verteilung von x
  Sortieren nach x-desc;

  bash> hadoop fs -cat /user/hive/warehouse/test5/000001_0

  9

  5

  1

• Verwenden meine gepatcht TotalOrderParitioner:

  hive> set-Struktur.mapred.Partitionierer=org.apache.hadoop.mapred.lib.TotalOrderPartitioner;

  hive> set Gesamt.um.Partitionierer.natürlich.Bestellung=false

  hive> set Gesamt.um.Partitionierer.path=/user/Ausbildung/out_data2

  hive> create table-test6(x int)
  gruppiert (x) sortiert nach (x) in 4 Eimer;

  hive> insert overwrite table test6
  select * from test;

  bash> hadoop fs -cat /user/hive/warehouse/test6/000000_0

  1

  2

  0

  bash> hadoop fs -cat /user/hive/warehouse/test6/000001_0

  3

  4

  5

  bash> hadoop fs -cat /user/hive/warehouse/test6/000002_0

  7

  6

  8

  bash> hadoop fs -cat /user/hive/warehouse/test6/000003_0

  9

InformationsquelleAutor der Antwort Yevgen Yampolskiy

CLUSTER erzeugt keine Globale bestellen.

Akzeptierte Antwort (von Lars Yencken) in die Irre führt, indem Sie erklärt, dass die Reduzierungen erhalten, nicht überlappende Bereiche. Als Anton Zaviriukhin richtig Punkte, die BucketedTables Dokumentation, CLUSTER VON ist im Grunde zu VERBREITEN, INDEM (wie giesst) plus SORTIEREN, INDEM Sie in jedem Eimer/reducer. Und VERTEILEN, INDEM Sie einfach die hashes und die mods in den Eimer, und während die Hash-Funktion Mai bewahren, um (hash-i > - hash-j falls i > j), mod der hash-Wert nicht.

Hier ist ein besseres Beispiel für die überlappenden Bereiche

http://myitlearnings.com/bucketing-in-hive/

InformationsquelleAutor der Antwort Edi Bice