Das entfernen von Duplikaten aus Pandas dataFrame mit Voraussetzung für die Beibehaltung der ursprünglichen

Vorausgesetzt, ich habe Folgendes DataFrame:

 A | B
 1 | Ms
 1 | PhD
 2 | Ms
 2 | Bs

Ich möchten entfernen Sie die doppelten Zeilen mit Bezug auf Spalte A und ich möchte Sie behalten die Zeile mit dem Wert 'Promotion' in der Spalte B als das original, wenn ich nicht finden, einen 'PhD', ich will behalten Sie die Zeile mit 'Bs' in der Spalte B.

Ich versuche, mit

 df.drop_duplicates('A')

Bedingung

  • wenn Sie Sortieren können, B alphabetisch, dann können Sie mit df.drop_duplicates('A', take_last=True), aber dann hätte man Ms manchmal anstelle von Bs.
  • Ja, ich hielt diese Idee. Aber es würde nicht funktionieren
  • Würden Sie bereit sein, nicht verwenden drop_duplicates?
  • ja, Wenn es funktioniert.
InformationsquelleAutor Rakesh Adhikesavan | 2015-10-09
  1. 8
    >>> df
    A   B
0   1   Ms
1   1   Ms
2   1   Ms
3   1   Ms
4   1   PhD
5   2   Ms
6   2   Ms
7   2   Bs
8   2   PhD

    Sortierung ein dataframe mit einer benutzerdefinierten Funktion:

    def sort_df(df, column_idx, key):
    '''Takes a dataframe, a column index and a custom function for sorting, 
    returns a dataframe sorted by that column using that function'''

    col = df.ix[:,column_idx]
    df = df.ix[[i[1] for i in sorted(zip(col,range(len(col))), key=key)]]
    return df

    Unserer Funktion zum Sortieren:

    cmp = lambda x:2 if 'PhD' in x else 1 if 'Bs' in x else 0

    In Aktion:

    sort_df(df,'B',cmp).drop_duplicates('A', take_last=True)

        A   B
4   1   PhD
8   2   PhD
    InformationsquelleAutor hellpanderr
  2. 5

    Unter der Annahme der Eindeutigkeit der B-Wert gegeben, Einen Wert, und dass jeder Wert ist eine Zeile mit Bs in der Spalte B:

    df2 = df[df['B']=="PhD"]

    geben Sie ein dataframe mit dem PhD Zeilen, die Sie wollen.

    Dann entfernen Sie alle PhD und Ms von df:

    df = df[df['B']=="Bs"]

    Dann verketten df und df2:

    df3 = concat([df2, df])

    Dann können Sie drop_duplicates wie Sie wollte:

    df3.drop_duplicates('A', inplace=True)
    InformationsquelleAutor jgloves
  3. 4

    Erwägen Sie die Verwendung Categoricals. Sie sind eine schöne war die Gruppe /order text nicht alphabetisch (unter anderem.)

    import pandas as pd
df = pd.DataFrame([(1,'Ms'), (1, 'PhD'), (2, 'Ms'), (2, 'Bs'), (3, 'PhD'), (3, 'Bs'), (4, 'Ms'), (4, 'PhD'), (4, 'Bs')], columns=['A', 'B'])
df['B']=df['B'].astype('category')
# after setting the column's type to 'category', you can set the order
df['B']=df['B'].cat.set_categories(['PhD', 'Bs', 'Ms'], ordered=True)
df.sort(['A', 'B'], inplace=True)
df_unique = df.drop_duplicates('A')
    InformationsquelleAutor mattvivier
Schreibe einen Kommentar