Zum extrahieren von nicht-nan-Werte aus mehreren Zeilen in ein pandas dataframe

Arbeite ich an mehreren taxi-datasets. Ich habe verwendet, pandas zu concat alle datasets in einer einzigen dataframe.

Mein dataframe so aussieht.

                     675                       1039                #and rest 125 taxis
                     longitude     latitude    longitude    latitude
date
2008-02-02 13:31:21  116.56359  40.06489       Nan          Nan
2008-02-02 13:31:51  116.56486  40.06415       Nan          Nan
2008-02-02 13:32:21  116.56855  40.06352       116.58243    39.6313
2008-02-02 13:32:51  116.57127  40.06324       Nan          Nan
2008-02-02 13:33:21  116.57120  40.06328       116.55134    39.6313
2008-02-02 13:33:51  116.57121  40.06329       116.55126    39.6123
2008-02-02 13:34:21  Nan        Nan            116.55134    39.5123

wo 675,1039 sind die taxi-ids. Grundsätzlich gibt es Total 127 taxis mit Ihren entsprechenden breiten-und Längengrade Säulen-up.

Habe ich mehrere Möglichkeiten zum extrahieren von nicht-null-Werte für eine Zeile.

df.ix[k,df.columns[np.isnan(df.irow(0))!=1]]
              (or)
df.irow(0)[np.isnan(df.irow(0))!=1]
              (or)
df.irow(0)[np.where(df.irow(0)[df.columns].notnull())[0]]

jeder der oben genannten Befehle zurück,

675   longitude    116.56359
      latitude     40.064890 
4549  longitude    116.34642
      latitude      39.96662
Name: 2008-02-02 13:31:21

nun möchte ich alle extrahieren der notnull-Werte aus den ersten paar Zeilen(sagen wir von Zeile 1 bis Zeile 6).

wie mache ich das?

kann ich wohl loop it up. Aber ich will eine nicht-geloopte Weg, es zu tun.

Jede Hilfe, Vorschläge sind willkommen.
Vielen Dank im adv! 🙂

InformationsquelleAutor user2179627 | 2013-04-15

4
```
df.ix[1:6].dropna(axis=1)
```
Als ein heads-up, irow werden veraltet in der nächsten Version des pandas. Neue Methoden, mit klarer, Nutzung, ersetzen Sie es.

http://pandas.pydata.org/pandas-docs/dev/indexing.html#deprecations
- Vielen Dank für die info. Aber anscheinend ist der Befehl, den Sie erwähnt wird, nicht das, was ich will 🙁 🙁 in einer Zeile, die ich brauche, um zu extrahieren alle notnull Werte. => für mehrere Zeilen, ohne zu iterieren, kann ich es tun, in einer kompakten Art und Weise ist die Frage. Vielen Dank für die Antworten 🙂
InformationsquelleAutor Dan Allan

In 0.11 (0.11rc1 ist jetzt raus), ist dies sehr einfach mit .iloc, wählen Sie zunächst die ersten 6 Zeilen, dann dropna fällt jede Zeile mit nan (Sie können auch einige Optionen, um dropna exakt zu Steuern, welche Spalten Sie möchten als)

Ich erkannte Sie wollen, 1:6, ich habe 0:6 in meiner Antwort....

In [8]: df = DataFrame(randn(10,3),columns=list('ABC'),index=date_range('20130101',periods=10))

In [9]: df.ix[6,'A'] = np.nan

In [10]: df.ix[6,'B'] = np.nan

In [11]: df.ix[2,'A'] = np.nan

In [12]: df.ix[4,'B'] = np.nan

In [13]: df.iloc[0:6]
Out[13]: 
                   A         B         C
2013-01-01  0.442692 -0.109415 -0.038182
2013-01-02  1.217950  0.006681 -0.067752
2013-01-03       NaN -0.336814 -1.771431
2013-01-04 -0.655948  0.484234  1.313306
2013-01-05  0.096433       NaN  1.658917
2013-01-06  1.274731  1.909123 -0.289111

In [14]: df.iloc[0:6].dropna()
Out[14]: 
                   A         B         C
2013-01-01  0.442692 -0.109415 -0.038182
2013-01-02  1.217950  0.006681 -0.067752
2013-01-04 -0.655948  0.484234  1.313306
2013-01-06  1.274731  1.909123 -0.289111

Nein, das ist nicht das, was ich will. in deinem Beispiel 2013-01-03 Zeile der Spalte B und C werden benötigt. Nur die Spalten mit Nan-Werte sollten nicht berücksichtigt werden. Aber wirklich vielen Dank für die Annahme etwas.
Wenn Sie nur wollen, zu betrachten eine Teilmenge der Spalten, versuchen dropna(subset=['C'])

InformationsquelleAutor Jeff

Mit Jeff dataframe:

import pandas as pd
from numpy.random import randn

df = pd.DataFrame(randn(10,3),columns=list('ABC'),index=pd.date_range('20130101',periods=10))
df.ix[6,'A'] = np.nan
df.ix[6,'B'] = np.nan
df.ix[2,'A'] = np.nan
df.ix[4,'B'] = np.nan

Können wir ersetzen nans durch einige Zahl, die wir kennen, ist nicht in der dataframe:

df = df.fillna(999)

Wenn Sie möchten, um nur die nicht-null-Werte, ohne die Iteration, die Sie tun können:

df_nona = df.apply(lambda x: list(filter(lambda y: y != 999, x)))
df_na = df.apply(lambda x: list(filter(lambda y: y == 999, x)))

Das problem dieses Ansatzes ist, dass das Resultat sind Listen, so verlieren Sie Informationen über den index.

df_nona
A    [-1.9804955861, 0.146116306853, 0.359075672435...
B    [-1.01963803293, -0.829747654648, 0.6950551455...
C    [2.40122968044, 0.79395493777, 0.484201174184,...
dtype: object

Andere option ist:

df1 = df.dropna()
index_na  = df.index ^ df1.index
df_na = df[index_na]

In diesem Fall, dass Sie nicht verlieren Informationen über den index, obwohl das wirklich ist, ähnlich wie die vorherigen Antworten.

Hoffe, es hilft!

InformationsquelleAutor karen

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.