Was für eine Art von hash-Algorithmus wird verwendet für die Hive-built-in HASH () - Funktion

Welche Art von hashing-Algorithmus verwendet wird, der eingebaute HASH () - Funktion?

Bin ich im Idealfall auf der Suche für ein SHA512/SHA256-hash, ähnlich wie bei dem SHA () - Funktion bietet innerhalb der linkedin datafu UDFs für die Schweinehaltung.

  • Sie können viel erzählen von der Rückkehr geben. Da der HASH () - Funktion gibt einen (32-bit) INT-Typ, Sie können sicher davon ausgehen, es ist nicht SHA512 oder SHA256, denn diese würden die 512-bit-oder 256-bit-Rendite-Arten, beziehungsweise.
InformationsquelleAutor user1152532 | 2014-01-17
  1. 20

    HASH Funktion (wie der Hive 0.11) verwendet Algorithmus ähnlich java.util.Liste#hashCode.

    Seinen code sieht wie folgt aus:

    int hashCode = 0; //Hive HASH uses 0 as the seed, List#hashCode uses 1. I don't know why.
for (Object item: items) {
   hashCode = hashCode * 31 + (item == null ? 0 : item.hashCode());
}

    Im Grunde ist es eine klassische hash-Algorithmus, wie empfohlen, in dem Buch Effektiv Java.
    Zitat eines großen Mannes (und eine große buchen):

    Den Wert 31 wurde gewählt, weil es eine ungerade Primzahl. Wenn es auch
    und die Multiplikation überlaufen sind, Informationen, die verloren gehen würden, als
    die Multiplikation mit 2 ist äquivalent zu verlagern. Der Vorteil der Verwendung
    ein Paradebeispiel ist weniger klar, aber es ist traditionell. Eine schöne Eigenschaft von 31
    dass die Multiplikation ersetzt werden kann durch eine Verschiebung und eine Subtraktion
    für eine bessere Leistung: 31 * i == (i << 5) - ich. Moderne VMs tun
    Art der Optimierung automatisch.

    Ich schweife ab. Sie können sich die HASH Quelle hier.

    Wenn Sie verwenden möchten SHAxxx im Bienenstock, dann können Sie Apache verwenden DigestUtils Klasse und Hive-built-in reflect - Funktion (ich hoffe, das klappt):

    SELECT reflect('org.apache.commons.codec.digest.DigestUtils', 'sha256Hex', 'your_string')
    • es konvertieren in string.. für gegebenen Datentyp int
    • Ich hatte einen verwirren über diese; Wenn Bedingungen hatte nur zwei Elementen, und alle element entspricht, in diesem Fall HashCode = (0 * 31 + eleRawHash ) * 31 + eleRawHash => 32 * eleRawHash => eleRawHash << 5 ?
    InformationsquelleAutor Nigel Tufnel
  2. 0

    Als der Hive 2.1.0 es ist ein mask_hash Funktion, die den hash-string-Werte.

    Für Hive-2.x verwendet er md5 als hashing-Algorithmus. Dies war auf sha256 geändert für Hive-3.x

    InformationsquelleAutor sworisbreathing
Schreibe einen Kommentar