Auswahl über mehrere Spalten mit Python Pandas?

Ich habe einen dataframe df im pandas, wurde mit pandas.read_table aus einer csv-Datei. Der dataframe hat mehrere Spalten und es wird indiziert, die von einer der Spalten, was einzigartig ist, das heißt, jede Zeile hat einen eindeutigen Wert für die Spalte für die Indexierung verwendet.)

Wie kann ich wählen Sie die Zeilen meiner dataframe basiert auf einem "komplexen" - filter angewendet, um mehrere Spalten? Ich kann ganz einfach wählen Sie aus der Scheibe des dataframe, wo Spalte colA größer ist als 10 zum Beispiel:

df_greater_than10 = df[df["colA"] > 10]

Aber was ist, wenn ich wollte einen filter wie: wählen Sie die Scheibe df wo alle der Spalten, die größer als 10?

Oder denen der Wert für colA größer ist als 10, sondern der Wert für colB ist weniger als 5?

Wie werden diese umgesetzt pandas?
Danke.

InformationsquelleAutor der Frage user248237dfsf | 2012-01-18

Ich möchte Sie ermutigen, diese Fragen stellen sich auf der Mailingliste, aber in jedem Fall, es ist immer noch ein sehr niedriges Niveau Affäre arbeiten mit den zugrunde liegenden NumPy-arrays. Zum Beispiel, wählen Sie die Zeilen, wo der Wert in jeder Spalte übersteigt, sagen wir, 1.5 in diesem Beispiel:

In [11]: df
Out[11]: 
            A        B        C        D      
2000-01-03 -0.59885 -0.18141 -0.68828 -0.77572
2000-01-04  0.83935  0.15993  0.95911 -1.12959
2000-01-05  2.80215 -0.10858 -1.62114 -0.20170
2000-01-06  0.71670 -0.26707  1.36029  1.74254
2000-01-07 -0.45749  0.22750  0.46291 -0.58431
2000-01-10 -0.78702  0.44006 -0.36881 -0.13884
2000-01-11  0.79577 -0.09198  0.14119  0.02668
2000-01-12 -0.32297  0.62332  1.93595  0.78024
2000-01-13  1.74683 -1.57738 -0.02134  0.11596
2000-01-14 -0.55613  0.92145 -0.22832  1.56631
2000-01-17 -0.55233 -0.28859 -1.18190 -0.80723
2000-01-18  0.73274  0.24387  0.88146 -0.94490
2000-01-19  0.56644 -0.49321  1.17584 -0.17585
2000-01-20  1.56441  0.62331 -0.26904  0.11952
2000-01-21  0.61834  0.17463 -1.62439  0.99103
2000-01-24  0.86378 -0.68111 -0.15788 -0.16670
2000-01-25 -1.12230 -0.16128  1.20401  1.08945
2000-01-26 -0.63115  0.76077 -0.92795 -2.17118
2000-01-27  1.37620 -1.10618 -0.37411  0.73780
2000-01-28 -1.40276  1.98372  1.47096 -1.38043
2000-01-31  0.54769  0.44100 -0.52775  0.84497
2000-02-01  0.12443  0.32880 -0.71361  1.31778
2000-02-02 -0.28986 -0.63931  0.88333 -2.58943
2000-02-03  0.54408  1.17928 -0.26795 -0.51681
2000-02-04 -0.07068 -1.29168 -0.59877 -1.45639
2000-02-07 -0.65483 -0.29584 -0.02722  0.31270
2000-02-08 -0.18529 -0.18701 -0.59132 -1.15239
2000-02-09 -2.28496  0.36352  1.11596  0.02293
2000-02-10  0.51054  0.97249  1.74501  0.20525
2000-02-11  0.10100  0.27722  0.65843  1.73591

In [12]: df[(df.values > 1.5).any(1)]
Out[12]: 
            A       B       C        D     
2000-01-05  2.8021 -0.1086 -1.62114 -0.2017
2000-01-06  0.7167 -0.2671  1.36029  1.7425
2000-01-12 -0.3230  0.6233  1.93595  0.7802
2000-01-13  1.7468 -1.5774 -0.02134  0.1160
2000-01-14 -0.5561  0.9215 -0.22832  1.5663
2000-01-20  1.5644  0.6233 -0.26904  0.1195
2000-01-28 -1.4028  1.9837  1.47096 -1.3804
2000-02-10  0.5105  0.9725  1.74501  0.2052
2000-02-11  0.1010  0.2772  0.65843  1.7359

Mehrere Bedingungen kombiniert werden mit & oder | (und die Klammern!):

In [13]: df[(df['A'] > 1) | (df['B'] < -1)]
Out[13]: 
            A        B       C        D     
2000-01-05  2.80215 -0.1086 -1.62114 -0.2017
2000-01-13  1.74683 -1.5774 -0.02134  0.1160
2000-01-20  1.56441  0.6233 -0.26904  0.1195
2000-01-27  1.37620 -1.1062 -0.37411  0.7378
2000-02-04 -0.07068 -1.2917 -0.59877 -1.4564

Wäre ich sehr interessiert, eine Art von query-API um diese Art von Dinge einfacher

InformationsquelleAutor der Antwort Wes McKinney

5

Gibt es zumindest ein paar Ansätze zur Verkürzung der syntax für diese Pandas, bis Sie eine vollständige query-API die Straße runter (vielleicht werde ich versuchen, zu verbinden, die github-Projekt und dies ist die Zeit erlaubt, und wenn niemand anderes bereits begonnen hat).

Einer Methode zur Verkürzung der syntax ein wenig ist unten angegeben:
```
inds = df.apply(lambda x: x["A"]>10 and x["B"]<5, axis=1) 
print df[inds].to_string()
```
Vollständig zu lösen, müsste man etwas bauen, wie die SQL-select-und where-Klauseln in Pandas. Dies ist nicht trivial, sondern ein stechen, dass ich denke, könnte für diese Arbeit ist die Verwendung der Python - operator built-in module. Dies ermöglicht Ihnen, zu behandeln Dinge wie größer-als-als-Funktionen, anstelle von Symbolen. So könnten Sie Folgendes tun:
```
def pandas_select(dataframe, select_dict):

    inds = dataframe.apply(lambda x: reduce(lambda v1,v2: v1 and v2, 
                           [elem[0](x[key], elem[1]) 
                           for key,elem in select_dict.iteritems()]), axis=1)
    return dataframe[inds]
```
Dann ein test-Beispiel wie dir wäre Folgendes zu tun:
```
import operator
select_dict = {
               "A":(operator.gt,10),
               "B":(operator.lt,5)                  
              }

print pandas_select(df, select_dict).to_string()
```
Kürzen kann man die syntax noch weiter, indem Sie entweder in mehr Argumente pandas_select zu behandeln, die verschiedenen Allgemeinen logischen Operatoren automatisch, oder importieren Sie Sie in den namespace mit kürzeren Namen.

Beachten Sie, dass die pandas_select obige Funktion arbeitet nur mit logischen und-Ketten von Zwängen. Sie müssten, um es zu ändern, um verschiedene logische Verhalten. Oder verwenden Sie not und der DeMorgan ' s Gesetze.

InformationsquelleAutor der Antwort ely
1

Einer Abfrage-Funktion wurde Hinzugefügt, um Pandas, da wurde diese Frage gestellt und beantwortet werden. Ein Beispiel ist unten gegeben.

Angesichts dieser sample-Daten-frame:
```
periods = 8
dates = pd.date_range('20170101', periods=periods)
rand_df = pd.DataFrame(np.random.randn(periods,4), index=dates, 
      columns=list('ABCD'))
```
Die Abfrage-syntax wie folgt können Sie über mehrere Filter, wie eine "WHERE" - Klausel in einer select-Anweisung.
```
rand_df.query("A < 0 or B < 0")
```
Sehen die Pandas Dokumentation für weitere details.

InformationsquelleAutor der Antwort M. K. Hunter

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.