Konvertieren Pandas dataframe zu Dask dataframe

Nehme an, dass ich pandas dataframe als:

df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})

Wenn ich konvertieren es in dask dataframe was soll name und divisions parameter bestehen aus:

from dask import dataframe as dd 
sd=dd.DataFrame(df.to_dict(),divisions=1,meta=pd.DataFrame(columns=df.columns,index=df.index))

TypeError: init() fehlt 1 erforderliche positionelle argument: 'name'

Bearbeiten :
Angenommen, ich erstelle ein pandas dataframe wie:

pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})

Ähnlich wie das erstellen dask dataframe, wie es drei weitere Argumente, die als name,divisions und meta.

sd=dd.Dataframe({'a':[1,2,3],'b':[4,5,6]},name=,meta=,divisions=)

Danke für Eure Antworten.

InformationsquelleAutor rey | 2016-09-27
  1. 26

    Ich denke, dass Sie verwenden können,dask.dataframe.from_pandas: 

    from dask import dataframe as dd 
sd = dd.from_pandas(df, npartitions=3)
print (sd)
dd.DataFrame<from_pa..., npartitions=2, divisions=(0, 1, 2)>

    EDIT:

    Finde ich Lösung:

    import pandas as pd
import dask.dataframe as dd
from dask.dataframe.utils import make_meta

df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})

dsk = {('x', 0): df}

meta = make_meta({'a': 'i8', 'b': 'i8'}, index=pd.Index([], 'i8'))
d = dd.DataFrame(dsk, name='x', meta=meta, divisions=[0, 1, 2])
print (d)
dd.DataFrame<x, npartitions=2, divisions=(0, 1, 2)>
    • Danke für die Antwort, aber ich möchte zu dem, was ist, Namen und Abteilungen-parameter während der Erstellung dask dataframe.Ich habe durch die Dokumentation, aber konnte nicht verstehen.
    • Ich bin nicht dask Experte, aber ich glaube, Sie brauchen, rom-raw-dask-Graphen.Aber ich denke, Autor dask mehr erklären.
    • Danke ich werde versuchen, es herauszufinden, und warten Sie für die anderen Antworten.
    • ist richtig. Sollten Sie eine Dask.DataFrame mit dem aus-pandas-Methode. Sie müssen nur verwenden Sie den Konstruktor in fortgeschrittenen Situationen
    • Ich habe es aber Schaffung von dataframe in pandas ist einfach wie erwähnt in edit aber ähnlich wie das erstellen einer einfachen dataframe direkt nicht von pandas.Ich Frage für pandas also @jezrael ist richtig, aber ich wollte nur wissen, erstellen eines Beispiel-dataframe direkt.
    • Ich Stimme zu, das wäre interessant zu wissen.
    • Ich füge Lösung, können Sie es überprüfen? Danke.
    • Ich finde die Lösung, bitte überprüfen Sie es.
    • vielen Dank für die Zugabe der Lösung.Ich hatte durchsucht github dask, aber konnte es nicht finden.
    • Und wie funktioniert es?
    • Es funktioniert gut, danke.
    • danke für die Annahme!

    InformationsquelleAutor jezrael
Schreibe einen Kommentar