Comment convertir une chaîne de caractères de type datetime avec des valeurs null - python, les pandas?

J'ai une série avec quelques datetimes (chaînes) et certaines valeurs null 'nan':

import pandas as pd, numpy as np, datetime as dt
df = pd.DataFrame({'Date':['2014-10-20 10:44:31', '2014-10-23 09:33:46', 'nan', '2014-10-01 09:38:45']})

Je suis en train de convertir ces datetime:

df['Date'] = df['Date'].apply(lambda x: dt.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))

mais j'obtiens l'erreur:

time data 'nan' does not match format '%Y-%m-%d %H:%M:%S'

J'ai donc essayer de les transformer en réel les valeurs null:

df.ix[df['Date'] == 'nan', 'Date'] = np.NaN

et le répète:

df['Date'] = df['Date'].apply(lambda x: dt.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))

mais ensuite, j'obtiens l'erreur:

doit être de chaîne, pas de float

Quel est le moyen le plus rapide pour résoudre ce problème?

OriginalL'auteur Colin O'Brien | 2015-03-27

  1. 22

    Suffit d'utiliser to_datetime et définir errors='coerce' pour gérer duff données:

    In [321]:

df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
df
Out[321]:
                 Date
0 2014-10-20 10:44:31
1 2014-10-23 09:33:46
2                 NaT
3 2014-10-01 09:38:45

In [322]:

df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 4 entries, 0 to 3
Data columns (total 1 columns):
Date    3 non-null datetime64[ns]
dtypes: datetime64[ns](1)
memory usage: 64.0 bytes

    le problème avec l'appel de strptime c'est qu'il va déclencher une erreur si la chaîne, ou dtype est incorrect.

    Si vous avez fait cela, alors il devrait fonctionner:

    In [324]:

def func(x):
    try:
        return dt.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')
    except:
        return pd.NaT

df['Date'].apply(func)
Out[324]:
0   2014-10-20 10:44:31
1   2014-10-23 09:33:46
2                   NaT
3   2014-10-01 09:38:45
Name: Date, dtype: datetime64[ns]

    mais il sera plus rapide d'utiliser la fonction intégrée de to_datetime plutôt que d'appeler apply qui, essentiellement, boucles tout sur votre série.

    timings

    In [326]:

%timeit pd.to_datetime(df['Date'], errors='coerce')
%timeit df['Date'].apply(func)
10000 loops, best of 3: 65.8 µs per loop
10000 loops, best of 3: 186 µs per loop

    Nous voyons ici que l'utilisation de to_datetime est 3X plus rapide.

    Le cours syntaxe est maintenant errors='coerce' au lieu de coerce=True.

    OriginalL'auteur EdChum

  2. 0

    Je trouve laissant les pandas de faire le travail pour être trop lent sur de grandes dataframes. Dans un autre post, j'ai appris une technique qui permet ce de façon spectaculaire lorsque le nombre de valeurs uniques est beaucoup plus petit que le nombre de lignes. (Mes données est généralement cours de bourse de commerce ou de buvard de données). Il commence par créer un dict que les cartes de la texte de dates à leur datetime objets, puis applique le dict pour convertir la colonne de texte dates.

    def str2time(val):
    try:
        return dt.datetime.strptime(val, '%H:%M:%S.%f')
    except:
        return pd.NaT

def TextTime2Time(s):
    times = {t : str2time(t) for t in s.unique()}
    return s.apply(lambda v: times[v])

df.date = TextTime2Time(df.date)

    OriginalL'auteur jdmarino