Nehmen Sie n Zeilen aus einem Funken dataframe und pass auf toPandas()

Habe ich diesen code:

l = [('Alice', 1),('Jim',2),('Sandra',3)]
df = sqlContext.createDataFrame(l, ['name', 'age'])
df.withColumn('age2', df.age + 2).toPandas()

Funktioniert gut, tut was es muss. Angenommen, wenn ich nur wollen, um den ersten n Zeilen, und rufen Sie dann toPandas() zurück ein pandas dataframe. Wie mache ich es? Ich kann nicht anrufen take(n) denn, dass nicht wieder ein dataframe und somit kann ich Sie nicht weitergeben zu toPandas().

Also anders ausgedrückt, wie kann ich die oberen n Zeilen aus einem dataframe und rufen toPandas() auf die daraus resultierenden dataframe? Kann nicht glauben, das ist schwierig, aber ich kann ' T es herausfinden.

Ich bin mit der Funke 1.6.0.

InformationsquelleAutor jamiet | 2016-11-10

  1. 26

    Können Sie die limit(n) Funktion:

    l = [('Alice', 1),('Jim',2),('Sandra',3)]
df = sqlContext.createDataFrame(l, ['name', 'age'])
df.limit(2).withColumn('age2', df.age + 2).toPandas()

    Oder:

    l = [('Alice', 1),('Jim',2),('Sandra',3)]
df = sqlContext.createDataFrame(l, ['name', 'age'])
df.withColumn('age2', df.age + 2).limit(2).toPandas()

    InformationsquelleAutor Neo

  2. 5

    Könnte man die ersten Zeilen von Spark DataFrame mit Kopf und erstellen Sie dann Pandas DataFrame:

    l = [('Alice', 1),('Jim',2),('Sandra',3)]
df = sqlContext.createDataFrame(l, ['name', 'age'])

df_pandas = pd.DataFrame(df.head(3), columns=df.columns)

In [4]: df_pandas
Out[4]: 
     name  age
0   Alice    1
1     Jim    2
2  Sandra    3
    gibt es einen signifikanten Unterschied zwischen head() und limit()?
    zurück erste n Zeilen wie take, und limit Grenzen geführt Spark Dataframe zu einer bestimmten Anzahl. Wahrscheinlich in diesem Fall limit mehr angemessen ist.
    Unterschied zwischen limit und head
    ah, ganz einfach. So limit() ist eine transformation, die head() ist eine Aktion. Danke Anton.

    InformationsquelleAutor Anton Protopopov

Schreibe einen Kommentar