Datum-Vergleich im Hive

Arbeite ich mit Bienen und ich habe eine Tabelle wie folgt strukturiert:

CREATE TABLE t1 (
  id INT,
  created TIMESTAMP,
  some_value BIGINT
);

Muss ich nach jeder Zeile in t1 das ist weniger als 180 Tage alt. Die folgende Abfrage liefert keine Datensätze, obwohl es Daten in der Tabelle vorhanden, die Spiele der Suche nach Prädikat.

select * 
from t1 
where created > date_sub(from_unixtime(unix_timestamp()), 180);

Was ist der geeignete Weg, um führen Sie ein Termin-Vergleich in Hive?

InformationsquelleAutor Jeremiah Peschka | 2012-12-28

  1. 13

    Wie etwa:

    where unix_timestamp() - created < 180 * 24 * 60 * 60

    Datum der Mathematik ist in der Regel einfachsten, wenn Sie können, tun Sie es einfach mit dem aktuellen timestamp-Werte.

    Oder wollen Sie es nur abschneiden auf ganze Tage? Dann denke ich, das problem ist mit, wie Sie die Umwandlung hin und her zwischen ints und strings. Versuchen:

    where created > unix_timestamp(date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),180),'yyyy-MM-dd')

    Wandern durch die einzelnen UDF:

    1. unix_timestamp() gibt ein int: aktuelle Zeit in Sekunden seit Epoche
    2. from_unixtime(,'yyyy-MM-dd') konvertiert eine Zeichenfolge mit dem angegebenen format, z.B. '2012-12-28'
    3. date_sub(,180) subtrahiert von 180 Tagen ab, dass die Zeichenfolge und gibt eine neue Zeichenfolge in demselben format.
    4. unix_timestamp(,'yyyy-MM-dd') wandelt diese Zeichenfolge wieder in ein int

    Wenn das alles zu haarig ist, können Sie immer schreiben Sie eine UDF, es selbst zu tun.

    Fantastische Erklärung der Lösung, die landete ich mit. Eine Frage - wird der Vergleich zwischen TIMESTAMP/STRING und ein INT Arbeit in diesem Fall?
    Folgenden die TIMESTAMP/STRING zu INT vergleichen Sie funktioniert. Vielen Dank für die Informationen, es vereinfacht die Abfrage gut.

    InformationsquelleAutor Joe K

  2. 5

    Alternativ können Sie auch datediff. Dann die where-Klausel wäre

    im Fall von String-timestamp (jdbc-format) :

    datediff(from_unixtime(unix_timestamp()), created) < 180;

    im Falle der Unix-Epoche Zeit: 

    datediff(from_unixtime(unix_timestamp()), from_unixtime(created)) < 180;

    InformationsquelleAutor Lorand Bendig

  3. 3

    Ich denke, vielleicht ist es ein Hive-bug Umgang mit der timestamp geben. Ich habe versucht, verwenden Sie es vor kurzem und immer falsche Ergebnisse.
    Wenn ich ändern Sie Ihre schema für die Verwendung eines string statt timestamp, und liefern Werte in der

    yyyy-MM-dd HH:mm:ss

    format, dann die select-Abfrage für mich gearbeitet.

    Laut der Dokumentation, die Struktur sollte in der Lage sein, zu konvertieren, eine BIGINT-Vertretung Epoche Sekunden, um einen Zeitstempel, und dass alle bestehenden datetime-UDFs arbeiten mit dem Datentyp timestamp.

    mit dieser einfachen Abfrage:

    select from_unixtime(unix_timestamp()), cast(unix_timestamp() als
    Zeitstempel) von test_tt limit 1;

    Ich würde erwarten, dass beide Felder die gleiche, aber ich bekomme die Meldung:

    2012-12-29 00:47:43 1970-01-16 16:52:22.063

    Ich bin da anderer Seltsamkeit sowie.

    Wie es aussieht wird das berichtet in HIVE-3454, aber es wurden noch nicht alle Arbeit getan, um es zu beheben, wie die Hive-Betreuer wollen sicherstellen der Abwärtskompatibilität mit dem gebrochenen Verhalten.
    Dank plus hat Abhilfe... ich Suche für meinen anderen timestamp-Probleme als gut.

    InformationsquelleAutor libjack

  4. 3

    TIMESTAMP ist in Millisekunden

    unix_timestamp ist in Sekunden

    Sie multiplizieren die Rechte Seite von 1000.

    where created > 1000 * date_sub(from_unixtime(unix_timestamp()), 180);

    InformationsquelleAutor user1089933

  5. 1

    Nach Durchsicht dieses und verweist auf Datum Differenz weniger als 15 Minuten in Hive ich kam mit einer Lösung. Während ich bin nicht sicher, warum Hive nicht den Vergleich effektiv auf Daten, die als strings (sollten Sie Sortieren und vergleichen lexikographisch), die folgende Lösung funktioniert:

    FROM (
    SELECT  id, value,
            unix_timestamp(created) c_ts, 
            unix_timestamp(date_sub(from_unixtime(unix_timestamp()), 180), 'yyyy-MM-dd') c180_ts
    FROM    t1
) x
JOIN t1 t ON x.id = t.id
SELECT  to_date(t.Created), 
        x.id, AVG(COALESCE(x.HighestPrice, 0)), AVG(COALESCE(x.LowestPrice, 0))
WHERE   unix_timestamp(t.Created) > x.c180_ts
GROUP BY to_date(t.Created), x.id ;

    InformationsquelleAutor Jeremiah Peschka

Schreibe einen Kommentar