Zusammenführen von zwei dataframes basiert auf ein Datum zwischen zwei anderen Terminen ohne eine gemeinsame Spalte

Habe ich zwei dataframes, die ich Zusammenführen müssen, basierend auf, ob oder nicht ein date-Wert passt zwischen zwei andere Termine. Grundsätzlich, ich brauche, um führen Sie eine äußere Verknüpfung, bei der B.event_date ist zwischen A.start_date und A.end_date. Es scheint, dass die merge und kommen immer davon ausgehen, eine gemeinsame Säule, die in diesem Fall, habe ich nicht. 

    A                           B
    start_date  end_date        event_date  price
0   2017-03-27  2017-04-20  0   2017-01-20  100
1   2017-01-10  2017-02-01  1   2017-01-27  200

Result 
    start_date  end_date        event_date  price
0   2017-03-27  2017-04-20  
1   2017-01-10  2017-02-01      2017-01-20  100
2   2017-01-10  2017-02-01      2017-01-27  200
InformationsquelleAutor P Spence | 2017-04-24
  1. 21

    Daten erstellen und formatieren, datetimes:

    df_A = pd.DataFrame({'start_date':['2017-03-27','2017-01-10'],'end_date':['2017-04-20','2017-02-01']})
df_B = pd.DataFrame({'event_date':['2017-01-20','2017-01-27'],'price':[100,200]})

df_A['end_date'] = pd.to_datetime(df_A.end_date)
df_A['start_date'] = pd.to_datetime(df_A.start_date)
df_B['event_date'] = pd.to_datetime(df_B.event_date)

    Erstellen von Schlüsseln zu tun, die einen cross join:

    df_A = df_A.assign(key=1)
df_B = df_B.assign(key=1)
df_merge = pd.merge(df_A, df_B, on='key').drop('key',axis=1)

    Filtern von Datensätzen, die nicht den Kriterien der Veranstaltungstermine zwischen start-und end-Termine:

    df_merge = df_merge.query('event_date >= start_date and event_date <= end_date')

    Join zurück zum ursprünglichen Datum range-Tabelle und drop Schlüssel Spalte

    df_out = df_A.merge(df_merge, on=['start_date','end_date'], how='left').fillna('').drop('key', axis=1)

print(df_out)

    Ausgabe:

                  end_date           start_date           event_date price
0  2017-04-20 00:00:00  2017-03-27 00:00:00                           
1  2017-02-01 00:00:00  2017-01-10 00:00:00  2017-01-20 00:00:00   100
2  2017-02-01 00:00:00  2017-01-10 00:00:00  2017-01-27 00:00:00   200
    • Dies ist eine großartige Lösung-genau das, was ich brauchte. Ich kann nicht bis-Abstimmung, da ich nicht scheinen, um genug "Ruf" - Punkte. Funktioniert Super obwohl.
    • Macht diese Arbeit für große Datenmengen?
    • Nein, diese Methode bewirkt eine explosuon der Datensätze durch das kartesische Produkt, die durch diese Verknüpfung.
    • tun Sie vorschlagen, eine bessere alternative? es scheint nicht zu sein, eine richtige Art und Weise zu äußern, diese operation in pandas.
    • Finden Sie diese SO ein post als eine mögliche Lösung.
    • tolle Lösung ! Nur wndering, wenn mit der Zeit besser effiziente Lösungen gekommen ? auch die numpy basierte Lösung, die Sie finden, in einer Art und Weise platzt. Irgendwelche neuen Ideen?
    • Nein, ich hatte noch nicht alle neuen Ideen auf diese Weise merge/join.
    • Diese Lösung funktioniert nicht bei großen Datenmengen. Es wird Schlag es in keinem Verhältnis.
    • Ja, weil es ein Kartesisches explosion in den Aufzeichnungen, wie bereits in dieser Kommentar oben.
    • Für zukünftige Leser, ich habe eine Antwort für größere dataframe use cases hier

    InformationsquelleAutor Scott Boston
Schreibe einen Kommentar