Wie funktioniert Hive speichert die Daten, und was ist SerDe?

beim Abfragen einer Tabelle, einer SerDe wird Deserialisieren eine Reihe von Daten aus den bytes in der Datei für Objekte verwendet, die intern von Hive auf die Zeile der Daten. beim ausführen einer INSERT-oder CTAS (siehe "Importieren von Daten" auf Seite 441), in der Tabelle SerDe wird serialisieren Hive-interne Repräsentation einer Zeile von Daten in bytes, die geschrieben werden, um die Ausgabe-Datei.

  1. Ist serDe Bibliothek?
  2. Wie funktioniert hive-Daten speichern ich.e speichert es in einer Datei oder Tabelle?
  3. Bitte kann jemand erklären, die kühnen Sätze eindeutig?
    Ich bin neu auf hive!!
InformationsquelleAutor prad | 2013-01-30
  1. 10

    Antworten

    1. Ja, SerDe ist eine Bibliothek, die ist eingebaut, um die Hadoop-API
    2. Hive verwendet Dateisysteme wie HDFS oder jede andere storage (FTP) zum speichern von Daten, hier in form von Tabellen (die Spalten und Zeilen).
    3. SerDe - Serializer, Deserializer weist auf Struktur, wie die Verarbeitung eines Datensatzes (Zeile). Hive ermöglicht die semi-strukturierte (XML, E-Mail, etc) oder unstrukturierte Aufzeichnungen (Audio, Video, etc) verarbeitet werden, auch. Wenn Sie zum Beispiel 1000 GB im Wert von RSS-Feeds (RSS-XML-Dateien). Sie können ingest diese an einen Ort im HDFS. Sie würde schreiben müssen, eine benutzerdefinierte SerDe auf Grundlage der XML-Struktur, so dass Hive-weiß gewusst wie: laden von XML-Dateien Hive-Tabellen oder Umgekehrt.

    Weitere Informationen auf, wie man ein SerDe Lesen Sie diese post

    • Danke shazin.
    • Also serDe will (Deserialisieren)konvertieren von Daten-bytes aus einer Datei, die auf HDFS auf ein Objekt, um es zu bewahren es auf Hive-Tabelle. Hdfs(Datei)----Deserialisieren---->(Tabellen -) Struktur. Bin ich im Recht?
    • Es gibt keine 2 Ablagen im Bienenstock, Bienenstöcke speichern der eigentlichen Dateien im HDFS. SerDe Deserialisiert die Daten aus der Datei zu einem Objekt, so dass es kann abgefragt werden mittels SQL SELECT-syntax. und Daten mehr Hinzugefügt werden können in diese Dateien mit einem INSERT-SQL-ähnliche syntax. Der einzige laden ist, Dateien, die sich in HDFS für Hive.
    • hi shazin, meinst Du zu sagen, dass ohne SerDe Sie können keine Abfrage von Hive-Tabellen. Hive speichert die Daten in Dateien(Tabellen), die auf HDFS und SerDe(Deserialisierung) kommt ins Bild, wenn Sie die Daten Abfragen und wenn Sie möchten, fügen Sie mehr Daten SerDe(Serializaton) verwendet wird.
    • Ja, derzeit ist dieser SerDes werden von Hive standardmäßig MetadataTypedColumnsetSerDe, die für CSV-Dateien mit Trennzeichen.
    InformationsquelleAutor shazin
  2. 6

    In diesem Aspekt können wir sehen, Bienenstock als eine Art Datenbank-engine. Dieser Motor arbeitet auf Tabellen, die von gebaut werden, Datensätze.

    Wenn wir Hive (wie auch jede andere Datenbank) arbeiten in seinem eigenen internen Formaten - wir kümmern uns nicht.

    Wenn wir wollen, Hive, um dabei unsere eigenen Dateien als Tabellen (Tabellen für externe) wir haben ihn wissen zu lassen - wie zum übersetzen von Daten in Dateien in Datensätze. Dies ist genau die Rolle von SerDe. Sehen Sie es als plug-in ermöglicht Hive zu Lesen /schreiben Ihre Daten.

    Zum Beispiel - Sie möchten die Arbeit mit CSV. Hier ist ein Beispiel für CSV_Serde
    https://github.com/ogrodnek/csv-serde/blob/master/src/main/java/com/bizo/hive/serde/csv/CSVSerde.java
    Methode serialisiert werden die Daten zu Lesen, und hacken Sie es in die Felder vorausgesetzt, es ist CSV

    Methode Deserialisieren wird nehmen Sie einen Datensatz, und formatieren Sie Sie als CSV-Datei.

    • Danke David. Kann u geben Sie mir mehr detail auf, wie die Datenbank-engine arbeiten, vor allem der Bienenkorb. Jeder blog-oder pdf-Datei?
    • Ich weiß nicht, eine gute Quelle, Wenn Sie Hinweis der Bereich, den ich vielleicht in der Lage sein zu helfen. Als Ausgangspunkt würde ich vorschlagen, das Lesen über MySQL und es austauschbare Module. IMHO ist es der DB-engine mit einer mehr transparenten Architekturen. In Bezug auf hive - können Sie konkrete Fragen stellen, die ich kennen könnte.
    InformationsquelleAutor David Gruzman
  3. 1

    Hive analysieren, semi-strukturierte und unstrukturierte Daten sowie durch die Verwendung
    (1) komplexe Datentypen(struct,array,Gewerkschaften)
    (2) Durch die Verwendung SerDe

    SerDe-interface ermöglichen Sie uns anweisen, hive, wie der Eintrag verarbeitet werden soll. Serializer nehmen java-Objekt-Struktur gearbeitet hat,und konvertieren Sie es in etwas, das hive store und Deserializer nehmen binäre Darstellung eines Datensatzes und übersetzen in java-Objekt-Struktur manipulieren kann.

    InformationsquelleAutor Manish Pansari
  4. 0

    Ich denke, die oben genannten Konzepte serialise und deserialise hinten nach vorne. Serialise erfolgt auf schreiben, die strukturierten Daten in eine serialisierte bit - /byte-stream für die Lagerung. Beim Lesen der Daten ist deserialised von der bit/byte-Speicher-format, um die Struktur erforderlich, die durch den Leser. zB Hive braucht Strukturen, die Aussehen wie die Zeilen und Spalten aber hdfs speichert die Daten in bit - /byte-Blöcke, so serialise schreiben, deserialise auf Lesen.

    InformationsquelleAutor Greg
Schreibe einen Kommentar