Pandas Lambda-Funktion mit Nan-Unterstützung

Ich bin versucht zu schreiben, eine lambda-Funktion in der Pandas, der prüft, um zu sehen, ob Col1 ist ein Nan und wenn ja, nutzt eine andere Spalte Daten. Ich habe Probleme bei der code (unten) zu kompilieren/ausführen korrekt. 

import pandas as pd
import numpy as np
df=pd.DataFrame({ 'Col1' : [1,2,3,np.NaN], 'Col2': [7, 8, 9, 10]})  
df2=df.apply(lambda x: x['Col2'] if x['Col1'].isnull() else x['Col1'], axis=1)

Hat jemand eine gute Idee hat, wie man eine Lösung wie dies mit einer lambda-Funktion oder habe ich überschritten die Fähigkeiten der lambda? Wenn nicht, haben Sie eine andere Lösung? Danke.

  • Dein Beispiel hat nur eine Spalte. Sie können nicht zeichnen, aus Col2 wenn es nicht ein Col2 im dataset; weitere, im Allgemeinen, Sie können nicht "andere Spalte Daten", wenn es keine anderen Spalte.
  • Mögliche Duplikate von Pandas - FillNa mit anderen Spalte
  • Sich zu entschuldigen. Ich hätte eine willkürliche 'Col2'. Ich werde das testen und kommen zurück.
  • Dies scheint nicht zu funktionieren auf meinem großen DataFrame, aber funktioniert in einem Beispiel. Dies könnte sein, weil in meinem eigentlichen Daten gesetzt, hat einen anderen Datentyp verwenden, so fillna wird nicht funktionieren, richtig? Beide Col1 und Col2 in meinem aktuellen set sind dtype('O'), so sollte es kein problem sein.
InformationsquelleAutor Tyler Russell | 2017-05-19
  1. 11

    Müssen Sie pandas.isnull für die Prüfung, ob scalar NaN:

    df = pd.DataFrame({ 'Col1' : [1,2,3,np.NaN],
                 'Col2' : [8,9,7,10]})  

df2 = df.apply(lambda x: x['Col2'] if pd.isnull(x['Col1']) else x['Col1'], axis=1)

print (df)
   Col1  Col2
0   1.0     8
1   2.0     9
2   3.0     7
3   NaN    10

print (df2)
0     1.0
1     2.0
2     3.0
3    10.0
dtype: float64

    Aber besser ist die Verwendung Series.combine_first:

    df['Col1'] = df['Col1'].combine_first(df['Col2'])

print (df)
   Col1  Col2
0   1.0     8
1   2.0     9
2   3.0     7
3  10.0    10

    Andere Lösung mit Series.update:

    df['Col1'].update(df['Col2'])
print (df)
   Col1  Col2
0   8.0     8
1   9.0     9
2   7.0     7
3  10.0    10
    • Danke. Meinst du für dein anderes in Ihrem ersten lambda-Methode Col1 oder Col2?
    • Hmmm, ich denke, es ist Col2 - es bedeutet, bekommen Wert col2 wenn die Bedingung Wahr ist, sonst erhalten, der Wert von col1
    • Aber ich bevorzuge andere Lösungen, wenn nötig ersetzen NaNs tby anderen Spalte.
    • Ihre ersten beiden Methoden funktionieren einwandfrei. Nur aus Neugierde, warum denkst du, ist es besser zu nutzen-Serie.combine_first eher als eine lambda-Funktion auf dem df?
    • Weil es schneller ist und vektorisierter Funktion. Aber wenn kleine dataframe (100 Zeilen), ist es kein problem. aber wenn 1M Zeilen, ist es ein riesiger Unterschied.
    • Danke--dankbar für Eure Antworten! Immer noch lernen. Auf meine eigentlichen Daten, die lambda-Funktion wurde eine Größenordnung langsamer (8s vs. 0,8 s).
    • Danke für den Kommentar. apply ist obviusly verwendet, wenn keine pandas Funktion und Bedürfnis es zu schreiben. Viel Glück!

    InformationsquelleAutor jezrael
  2. 4

    Angenommen, Sie haben eine zweite Spalte, das ist:

    df = pd.DataFrame({ 'Col1' : [1,2,3,np.NaN], 'Col2': [1,2,3,4]})

    Die richtige Lösung für dieses problem wäre:

    df['Col1'].fillna(df['Col2'], inplace=True)
    • Sich zu entschuldigen. Ich hätte eine willkürliche 'Col2'. Ich werde das testen und kommen zurück.
    • Dies scheint nicht zu funktionieren auf meinem großen DataFrame, aber funktioniert in einem Beispiel. Dies könnte sein, weil in meinem eigentlichen Daten gesetzt, hat einen anderen Datentyp verwenden, so fillna wird nicht funktionieren, richtig? Beide Col1 und Col2 in meinem aktuellen set sind dtype('O'), so sollte es kein problem sein.
    • Funktioniert bei mir mit Daten-Objekt-Typen auch. Was ist das Problem, wenn der aktuelle Datensatz?
    InformationsquelleAutor Gerges
  3. 0

    Müssen Sie die Verwendung von np.nan()

    #import numpy as np
df2=df.apply(lambda x: 2 if np.isnan(x['Col1']) else 1, axis=1)   

df2
Out[1307]: 
0    1
1    1
2    1
3    2
dtype: int64
    • Ich werde es einmal versuchen. Danke.
    InformationsquelleAutor Allen
  4. 0

    Innerhalb pandas 0.24.2, ich benutze

    df.apply(lambda x: x['col_name'] if x[col1] is np.nan else expressions_another, axis=1)

    da pd.isnull() nicht funktioniert.

    in meine Arbeit,fand ich das folgende Phänomen,

    Kein fließendes Ergebnisse:

    df['prop'] = df.apply(lambda x: (x['buynumpday'] / x['cnumpday']) if pd.isnull(x['cnumpday']) else np.nan, axis=1)

    Ergebnisse vorhanden sind:

    df['prop'] = df.apply(lambda x: (x['buynumpday'] / x['cnumpday']) if x['cnumpday'] is not np.nan else np.nan, axis=1)
    InformationsquelleAutor jiahe
Schreibe einen Kommentar