distinct vs. group by was ist besser

für den einfachsten Fall: wir alle finden Sie unter:

select id from mytbl 
group by id

und

select distinct id from mytbl

wie wir wissen, erzeugen Sie dieselbe Abfrage-plan, die hatte schon mehrfach erwähnt, in der einige Elemente wie Was ist besser: Distinct-oder Group By

Hive, aber der ehemalige hat nur eine Aufgabe reduzieren, während die letztere hat viele.

Experimente, die ich gegründet, dass die GRUPPE VON 10+ Zeiten schneller als DISTINCT.

Sind Sie anders.

Also, was ich gelernt habe, ist:

GRUPPE-ist jedenfalls nicht schlechter als DEUTLICH, und es ist besser manchmal.

Ich würde gerne wissen:

1. Wenn diese Schlussfolgerung stimmt.

2. Wenn das stimmt, halte ich eindeutig als Ansatz für logische Bequemlichkeit, aber warum VERSCHIEDENE nicht-GRUPPE-DURCH die bessere Umsetzung?

3. Wenn false ist, ich wäre sehr begierig zu wissen, seine dezente Einsatz im big-data-situation.

Danke sehr!!:)

  • Die Frage, die Sie verknüpft ist speziell über MS SQL Server Verhalten. Verschiedene Motoren haben verschiedene Ansätze, verschiedene Optimierungen etc. Es gibt keinen Grund zu glauben, nur weil group by und distinct gleichwertig sind, die auf MS SQL (einige bestimmte version) dies gilt auch für die Struktur. Haben Sie verwendet, ERKLÄREN Sie, Blick auf die tatsächlichen Ausführungspläne?
  • Danke. Ich fand Ihren Ansatz und verwendet den vergangen zwei Tagen auf der Suche in der Abfrage-Pläne von my SQL. Das interessante an der Sache ist, für den einfachen Fall wie oben, die Abfragepläne sind gleich (alle mit group-by) aber anders, wenn ich viele VERSCHIEDENE+UNION versus GROUPBY+UNION.
  • Vielleicht einen guten Grund hat, oder vielleicht ist es nur ein versehen (distinct ist nicht ganz so weit verbreitet wie es früher war - früher war es die go-to-hack für schlecht gestaltete DBs). Man könnte diese auf Hadoop/Hive-issue-tracker oder sowas, aber du wirst wohl noch haben gerade mit ihm Rollen. Es ist nicht immer offensichtlich, warum zwei ähnliche Abfragen am Ende ausgeführt, Wild, anders.
  • Das ist der Punkt! Sie erinnern mich an Dritte-Normal-Form. Völlig mit Ihnen einverstanden. Es ist zu offensichtlich, aber ich hatte nicht einmal bemerkt! Ich denke, ich habe Sie bekommen, die Antwort will ich aus Ihren Kommentaren. DISTINCT ist nur ein hack.
InformationsquelleAutor Chiron | 2015-08-07
  1. 15

    Deine Erfahrung ist interessant. Ich habe nicht gesehen, das einzige reducer Effekt für distinct versus group by. Vielleicht gibt es einige subtile Unterschiede in der Optimierung zwischen den beiden Konstrukten.

    Eine "berühmte" Beispiel in Hive ist:

    select count(distinct id)
from mytbl;

    versus

    select count(*)
from (select distinct id
      from mytbl
     ) t;

    Den ehemaligen verwendet nur einen Druckminderer und letzterer betreibt parallel. Ich habe gesehen, wie diese beiden in meiner Erfahrung, und es ist dokumentiert und diskutiert werden (zum Beispiel auf den Folien 26 und 27 in diesem Präsentation). Also distinct können auf jeden Fall das ausnutzen der Parallelität.

    Stelle ich mir vor, als Struktur reift, solche Probleme behoben werden. Jedoch, es ist ironisch, dass Postgres hat eine ähnliche performance-Problem mit COUNT(DISTINCT), obwohl ich denke, der eigentliche Grund ist ein bisschen anders.

    • Ich danke Ihnen sehr ! Ich benutzte den vergangen zwei Tagen auf der Suche in der Abfrage-Pläne von my SQL. Das interessante an der Sache ist, für den einfachen Fall wie oben, die Abfragepläne sind gleich (alle mit group-by) aber anders, wenn ich viele VERSCHIEDENE+UNION versus GROUPBY+UNION. Was ich gemacht habe ist, einfach ändern Sie alle "VERSCHIEDENE key' - Klausel in 'GROUP BY key" - Klausel, ohne andere strukturelle änderungen. Die Abfrage Pläne zeigten, dass: im AUSGEPRÄGTEN, meine statischen Spalte wie : < "TagString" als tag - > wird in der Konzern-Tasten, aber nicht bei der Verwendung von 'group by-Schlüssel'.
    • Ich verstehe nicht, warum ein einzelner statischer Wert auf die Geschwindigkeit der GRUPPE-DURCH.
    • Ich danke Ihnen sehr viel wieder! Aber ich fühle mich immer noch schwer zu sehen, die Antworten auf meine 3-Verwirrungen, die man deutlich aus deiner Antwort. Wenn Sie möchten, werfen ein wenig mehr Licht in meinem Kopf, ich wäre sehr froh für die Lösung dieser Frage mit Ihrer Antwort.
    InformationsquelleAutor Gordon Linoff
Schreibe einen Kommentar