wie entfernen Sie Spalten mit zu vielen fehlenden Werten in Python

Demo:

Setup:

In [105]: df = pd.DataFrame(np.random.choice([2,np.nan], (20, 5), p=[0.2, 0.8]), columns=list('abcde'))

In [106]: df
Out[106]:
      a    b    c    d    e
0   NaN  2.0  NaN  NaN  NaN
1   NaN  NaN  2.0  NaN  2.0
2   NaN  2.0  NaN  NaN  NaN
3   NaN  NaN  NaN  NaN  2.0
4   NaN  2.0  2.0  NaN  NaN
5   NaN  NaN  NaN  NaN  NaN
6   NaN  2.0  NaN  NaN  NaN
7   2.0  2.0  NaN  NaN  NaN
8   2.0  2.0  NaN  NaN  NaN
9   NaN  NaN  NaN  NaN  NaN
10  NaN  2.0  2.0  NaN  2.0
11  NaN  NaN  NaN  2.0  NaN
12  2.0  NaN  NaN  2.0  NaN
13  NaN  NaN  NaN  2.0  NaN
14  NaN  NaN  NaN  2.0  2.0
15  NaN  NaN  NaN  NaN  NaN
16  NaN  2.0  NaN  NaN  NaN
17  2.0  NaN  NaN  NaN  2.0
18  NaN  NaN  NaN  2.0  NaN
19  NaN  2.0  NaN  2.0  NaN

In [107]: df.isnull().mean()
Out[107]:
a    0.80
b    0.55
c    0.85
d    0.70
e    0.75
dtype: float64

Lösung:

In [108]: df.columns[df.isnull().mean() < 0.8]
Out[108]: Index(['b', 'd', 'e'], dtype='object')

In [109]: df[df.columns[df.isnull().mean() < 0.8]]
Out[109]:
      b    d    e
0   2.0  NaN  NaN
1   NaN  NaN  2.0
2   2.0  NaN  NaN
3   NaN  NaN  2.0
4   2.0  NaN  NaN
5   NaN  NaN  NaN
6   2.0  NaN  NaN
7   2.0  NaN  NaN
8   2.0  NaN  NaN
9   NaN  NaN  NaN
10  2.0  NaN  2.0
11  NaN  2.0  NaN
12  NaN  2.0  NaN
13  NaN  2.0  NaN
14  NaN  2.0  2.0
15  NaN  NaN  NaN
16  2.0  NaN  NaN
17  NaN  NaN  2.0
18  NaN  2.0  NaN
19  2.0  2.0  NaN

Verallgemeinern innerhalb pandas können Sie die folgenden zur Berechnung der Prozent-Werte in einer Spalte mit fehlenden Werten. Von diesen Spalten, die Sie filtern können Sie die Funktionen mit mehr als 80% NULL-Werte und löschen Sie dann die Spalten aus dem DataFrame.

pct_null = df.isnull().sum() / len(df)
missing_features = pct_null[pct_null > 0.80].index
df.drop(missing_features, axis=1, inplace=True)

Hier ist eine einfache Funktion, die Sie direkt verwenden können, durch die übergabe dataframe und Schwelle

def rmissingvaluecol(dff,threshold):
    l = []
    l = list(dff.drop(dff.loc[:,list((100*(dff.isnull().sum()/len(dff.index))>=threshold))].columns, 1).columns.values)
    print("# Columns having more than %s percent missing values:"%threshold,(dff.shape[1] - len(l)))
    print("Columns:\n",list(set(list((dff.columns.values))) - set(l)))
    return l


rmissingvaluecol(df,80) #Here threshold is 80% which means we are going to drop columns having more than 80% of missing values

#output
'''
# Columns having more than 60 percent missing values: 2
Columns:
 ['id', 'location']
'''

Nun erstellen neuer dataframe ohne diese Spalten

l = rmissingvaluecol(df,49)
df1 = df[l]

Bonus Schritt

Finden Sie den Prozentsatz von fehlenden Werten für jede Spalte (optional)

def missing(dff):
    print (round((dff.isnull().sum() * 100/ len(dff)),2).sort_values(ascending=False))

missing(df)

#output
'''
id          83.33
location    83.33
owner       16.67
pets        16.67
dtype: float64
'''

def show_null_columns(data,agg,threshold):
    if agg=='sum':
       null_cols=data.isnull().sum()
    elif agg=='mean':
       null_cols=data.isnull().mean()
    columns=data.columns
    null_dic={}
    for col,x in zip(columns,null_cols):
        if x>=threshold:
            null_dic[col]=x
    return null_dic
null_dic=show_null_columns(train,'mean',0.8)
train2=train.drop(null_dic.keys(),axis=1)