Gewusst wie: konvertieren eine csv-Datei zu Parkett

Ich bin neu im Bereich Big data.Ich brauche zum konvertieren einer csv/txt-Datei für Parkett-format. Ich suchte eine Menge, aber konnte keine direkte Möglichkeit, dies zu tun. Gibt es irgendeine Möglichkeit das zu erreichen?

InformationsquelleAutor der Frage author243 | 2014-09-30

12

Hier ist ein Beispiel-Stück code, das macht es in beide Richtungen.

InformationsquelleAutor der Antwort Pratik Khadloya

Können Sie Apache Drillwie beschrieben in Konvertieren einer CSV-Datei zur Apache-Parkett Mit Bohrer.

In Kürze:

Starten Sie Den Apache Drill:

$ cd /opt/bohren/bin 
$ sqlline -u jdbc:drill:zk=local

Erstellen, Parkett-Datei:

-- Set Standard-Tabelle format für Parkett 
ALTER SESSION SET " speichern.format`='Parkett'; 

-- Erstellen Sie einen Parkett-Tabelle, die alle Daten aus der CSV-Tabelle 
CREATE TABLE dfs.tmp.`/Statistik/airport_data/" 
WÄHLEN Sie 
CAST(SUBSTR(Spalten[0],1,4) AS INT) `JAHR`, 
CAST(SUBSTR(Spalten[0],5,2) AS INT) `MONAT`, 
Spalten[1] als `AIRLINE`, 
Spalten[2] als `IATA_CODE`, 
Spalten[3] als " AIRLINE_2`, 
Spalten[4] als " IATA_CODE_2`, 
Spalten[5] als " GEO_SUMMARY`, 
Spalten[6] als " GEO_REGION`, 
Spalten[7] als " ACTIVITY_CODE`, 
Spalten[8] als " PRICE_CODE`, 
Spalten[9] als `TERMINAL`, 
Spalten[10] als " BOARDING_AREA`, 
CAST(Spalten[11] AS DOUBLE) `PASSENGER_COUNT` 
VON dfs.`/opendata/Beifahrer - /SFO_Passenger_Data/*.csv`;

Versuchen Sie, Daten aus den neuen Parkett-Datei:

 - Wählen Sie Daten aus Parkett-Tabelle 
WÄHLEN Sie * 
VON der dfs.tmp.`/Statistik/airport_data/*`

Können Sie ändern Sie die dfs.tmp Lage, indem Sie zu http://localhost:8047/storage/dfs (Quelle: CSV und Parkett).

InformationsquelleAutor der Antwort ostrokach

Der folgende code ist ein Beispiel für die Verwendung spark2.0. Lesen ist viel schneller als inferSchema option. Spark 2.0 konvertieren in Parkett-Datei in viel effizienter als spark1.6.

import org.apache.spark.sql.types._
var df = StructType(Array(StructField("timestamp", StringType, true),StructField("site", StringType, true),StructField("requests", LongType, true) ))
df = spark.read
          .schema(df)
          .option("header", "true")
          .option("delimiter", "\t")
          .csv("/user/hduser/wikipedia/pageviews-by-second-tsv")
df.write.parquet("/user/hduser/wikipedia/pageviews-by-second-parquet")

InformationsquelleAutor der Antwort Madhu Kiran Seelam

Ich schon gepostet eine Antwortwie dies mit Apache Drill. Allerdings, wenn Sie vertraut sind mit Python, können Sie nun dazu verwenden Pandas und PyArrow!

Installieren, Abhängigkeiten

Mit pip:

pip install pandas pyarrow

oder mit conda:

conda install pandas pyarrow -c conda-forge

Konvertieren Sie CSV zu Parkett in Blöcken

# csv_to_parquet.py

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

csv_file = '/path/to/my.tsv'
chunksize = 100_000

csv_stream = pd.read_csv(csv_file, sep='\t', chunksize=chunksize, low_memory=False)

for i, chunk in enumerate(csv_stream):
    print("Chunk", i)
    if i == 0:
        # Guess the schema of the CSV file from the first chunk
        parquet_schema = pa.Table.from_pandas(df=chunk).schema
        # Open a Parquet file for writing
        parquet_writer = pq.ParquetWriter(parquet_file, parquet_schema, compression='snappy')
    # Write CSV chunk to the parquet file
    table = pa.Table.from_pandas(chunk, schema=parquet_schema)
    parquet_writer.write_table(table)

parquet_writer.close()

Habe ich noch nicht getestet mit diesem code auf die Apache Drill version, aber meiner Erfahrung nach ist es viel schneller, konvertieren von Zehntausenden von Zeilen, die pro Sekunde (dies hängt von der CSV-Datei natürlich!).

InformationsquelleAutor der Antwort ostrokach

1) können Sie eine externe hive-Tabelle

create  external table emp(name string,job_title string,department string,salary_per_year int)
row format delimited
fields terminated by ','
location '.. hdfs location of csv file '

2) ein Weiterer hive-Tabelle, die speichert Parkett-Datei

create  external table emp_par(name string,job_title string,department string,salary_per_year int)
row format delimited
stored as PARQUET
location 'hdfs location were you want the save parquet file'

Die Tabelle einfügen Daten in Tabelle zwei :

insert overwrite table emp_par select * from emp

InformationsquelleAutor der Antwort Hemant Kumar

Lesen csv-Dateien als Dataframe in Apache Spark mit spark-csv-Paket. nach dem laden von Daten Dataframe speichern dataframe zu parquetfile.

val df = sqlContext.read
      .format("com.databricks.spark.csv")
      .option("header", "true")
      .option("inferSchema", "true")
      .option("mode", "DROPMALFORMED")
      .load("/home/myuser/data/log/*.csv")
df.saveAsParquetFile("/home/myuser/data.parquet")

InformationsquelleAutor der Antwort Milad Khajavi

from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
import sys

sc = SparkContext(appName="CSV2Parquet")
sqlContext = SQLContext(sc)

schema = StructType([
    StructField("col1", StringType(), True),
    StructField("col2", StringType(), True),
    StructField("col3", StringType(), True),
    StructField("col4", StringType(), True),
    StructField("col5", StringType(), True)])
rdd = sc.textFile('/input.csv').map(lambda line: line.split(","))
df = sqlContext.createDataFrame(rdd, schema)
df.write.parquet('/output.parquet')

InformationsquelleAutor der Antwort Shuli Hakim

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.