verwandeln scipy spärlich csr-pandas?

Habe ich die

sklearn.preprocessing.OneHotEncoder

verwandeln einige Daten die Ausgabe ist scipy.sparse.csr.csr_matrix
wie kann ich merge es dann wieder in meiner ursprünglichen dataframe zusammen mit den anderen Spalten?

Habe ich versucht zu verwenden pd.concat aber ich bekomme 

TypeError: cannot concatenate a non-NDFrame object

Dank

InformationsquelleAutor KillerSnail | 2016-05-01
  1. 31

    Wenn A csr_matrix, die Sie verwenden können, .toarray() (es gibt auch .todense() erzeugt eine numpy matrix, die funktioniert auch für die DataFrame Konstruktor):

    df = pd.DataFrame(A.toarray())

    Anschließend können Sie diese mit pd.concat().

    A = csr_matrix([[1, 0, 2], [0, 3, 0]])

  (0, 0)    1
  (0, 2)    2
  (1, 1)    3

<class 'scipy.sparse.csr.csr_matrix'>

pd.DataFrame(A.todense())

   0  1  2
0  1  0  2
1  0  3  0

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2 entries, 0 to 1
Data columns (total 3 columns):
0    2 non-null int64
1    2 non-null int64
2    2 non-null int64

    In der version 0.20, pandas eingeführt sparse-Datenstrukturen, einschließlich der SparseDataFrame.

    Alternativ können Sie die sparse-Matrizen zu sklearn zu vermeiden, läuft der Speicher bei der Konvertierung zurück zu pandas. Nur konvertieren Sie Ihre Daten, um sparse-format, indem eine numpy array zu den scipy.sparse.csr_matrix Konstruktor und verwenden scipy.sparse.hstack zu kombinieren (siehe docs).

    • Was kann ich tun, wenn meine A. toarray() führt zu einem MemoryError? Gibt es eine Möglichkeit zu schaffen, den Dataframe ohne Sie zu konvertieren zurück zu einem ndarray?
    • Möchten Sie vielleicht einen Blick auf pandas sparse-Datenstrukturen
    • Gibt es eine Möglichkeit, ich kann Euch meine Werte als Beschriftungen für die neuen dataframe? E. g., wenn die heißen encoder hatten angegebenen Werte aus der Spalte 'Buchstaben' mit 'a a b b c a', dass mein neuer dataframe wäre unter der Leitung von letter_a, letter_b etc, ähnlich wie mit der dummy-encoder?
    • Gelöst wird dies durch die übergabe unterschiedlicher Argumente, um die dummy-encoder
    • Merke: wenn die sparse-matrix zu groß ist, wird es werfen memory Fehler da .toarray() schafft eine Dichte metrix.
    InformationsquelleAutor Stefan
  2. 3

    Könnte man auch vermeiden, dass wieder eine sparse matrix in Erster Linie durch die Einstellung des Parameters sparse zu False bei der Erstellung der Encoder.

    Die Dokumentation der OneHotEncoder Staaten:

    spärlich : boolean, default=True

    Zurück sparse matrix wenn-Satz Wahr, sonst wird ein array zurückgeben.

    Dann können Sie wieder aufrufen, das DataFrame Konstruktor für die Transformation der numpy-Arrays in ein DataFrame.

    InformationsquelleAutor scriptator
Schreibe einen Kommentar