Wie konvertieren von string in datetime mit Nullen - python, pandas?

Habe ich eine Serie mit einigen datetimes (als strings) und einige Nullen als 'nan':

import pandas as pd, numpy as np, datetime as dt
df = pd.DataFrame({'Date':['2014-10-20 10:44:31', '2014-10-23 09:33:46', 'nan', '2014-10-01 09:38:45']})

Ich versuche zu konvertieren, diese zu datetime:

df['Date'] = df['Date'].apply(lambda x: dt.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))

aber ich bekomme die Fehlermeldung:

time data 'nan' does not match format '%Y-%m-%d %H:%M:%S'

Also ich versuchen, diese in eine tatsächliche null-Werte:

df.ix[df['Date'] == 'nan', 'Date'] = np.NaN

und wiederholen:

df['Date'] = df['Date'].apply(lambda x: dt.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))

aber dann bekomme ich die Fehlermeldung:

werden müssen, Schnur, Schwimmer nicht

Was ist der Schnellste Weg, dieses problem zu lösen?

InformationsquelleAutor Colin O'Brien | 2015-03-27

  1. 20

    Verwenden Sie einfach to_datetime und setzen errors='coerce' zu handhaben duff Daten:

    In [321]:

df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
df
Out[321]:
                 Date
0 2014-10-20 10:44:31
1 2014-10-23 09:33:46
2                 NaT
3 2014-10-01 09:38:45

In [322]:

df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 4 entries, 0 to 3
Data columns (total 1 columns):
Date    3 non-null datetime64[ns]
dtypes: datetime64[ns](1)
memory usage: 64.0 bytes

    das problem mit dem Aufruf strptime ist, dass es ein Fehler ausgelöst, wenn der string, oder "dtype" ist falsch.

    Wenn du das getan hast dann würde es auch funktionieren:

    In [324]:

def func(x):
    try:
        return dt.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')
    except:
        return pd.NaT

df['Date'].apply(func)
Out[324]:
0   2014-10-20 10:44:31
1   2014-10-23 09:33:46
2                   NaT
3   2014-10-01 09:38:45
Name: Date, dtype: datetime64[ns]

    aber es wird schneller zur Nutzung der eingebauten to_datetime eher als Aufruf apply die im wesentlichen nur loops über Ihre Serie.

    timings

    In [326]:

%timeit pd.to_datetime(df['Date'], errors='coerce')
%timeit df['Date'].apply(func)
10000 loops, best of 3: 65.8 µs per loop
10000 loops, best of 3: 186 µs per loop

    Sehen wir hier, dass die Verwendung to_datetime ist 3X schneller.

    Die aktuelle syntax ist jetzt errors='coerce' statt coerce=True.

    InformationsquelleAutor EdChum

  2. 0

    Ich finde Vermietung pandas die Arbeit zu tun, um zu langsam zu sein auf große dataframes. In einem anderen Beitrag habe ich gelernt, eine Technik, die Geschwindigkeiten dieser sich dramatisch, wenn die Anzahl der eindeutigen Werte, die viel kleiner ist als die Anzahl der Zeilen. (Meine Daten sind in der Regel Aktienkurs-oder trade blotter-Daten). Es baut zuerst ein dict, der Karten, der text stammt Ihre datetime-Objekte, dann gilt das dict zu konvertieren die Spalte der text stammt.

    def str2time(val):
    try:
        return dt.datetime.strptime(val, '%H:%M:%S.%f')
    except:
        return pd.NaT

def TextTime2Time(s):
    times = {t : str2time(t) for t in s.unique()}
    return s.apply(lambda v: times[v])

df.date = TextTime2Time(df.date)

    InformationsquelleAutor jdmarino

Schreibe einen Kommentar