Convertir une colonne de datetimes à l'époque en Python

Je suis actuellement un problème avec Python. J'ai une Pandas DataFrame et l'une des colonnes est une chaîne de caractères avec une date.
Le format est :

"%Y-%m-%d %H:%m:00.000". Par exemple : "2011-04-24 01:30:00.000"

J'ai besoin de convertir l'ensemble de la colonne d'entiers. J'ai essayé d'exécuter ce code, mais il est très lent et j'ai quelques millions de lignes.

    for i in range(calls.shape[0]):
        calls['dateint'][i] = int(time.mktime(time.strptime(calls.DATE[i], "%Y-%m-%d %H:%M:00.000")))

Avez-vous les gars savent comment faire pour convertir l'ensemble de la colonne à l'époque ?

Merci d'avance !

OriginalL'auteur marcsarfa | 2016-02-25

  1. 15

    convertir la chaîne en datetime à l'aide de to_datetime puis soustraire datetime 1970-1-1 et appel dt.total_seconds():

    In [2]:
import pandas as pd
import datetime as dt
df = pd.DataFrame({'date':['2011-04-24 01:30:00.000']})
df

Out[2]:
                      date
0  2011-04-24 01:30:00.000

In [3]:
df['date'] = pd.to_datetime(df['date'])
df

Out[3]:
                 date
0 2011-04-24 01:30:00

In [6]:    
(df['date'] - dt.datetime(1970,1,1)).dt.total_seconds()

Out[6]:
0    1303608600
Name: date, dtype: float64

    Vous pouvez voir que la conversion de cette valeur de retour, vous obtiendrez le même temps:

    In [8]:
pd.to_datetime(1303608600, unit='s')

Out[8]:
Timestamp('2011-04-24 01:30:00')

    De sorte que vous pouvez soit ajouter une nouvelle colonne ou remplacer:

    In [9]:
df['epoch'] = (df['date'] - dt.datetime(1970,1,1)).dt.total_seconds()
df

Out[9]:
                 date       epoch
0 2011-04-24 01:30:00  1303608600

    MODIFIER

    meilleure méthode comme suggéré par @Jeff:

    In [3]:
df['date'].astype('int64')//1e9

Out[3]:
0    1303608600
Name: date, dtype: float64

In [4]:
%timeit (df['date'] - dt.datetime(1970,1,1)).dt.total_seconds()
%timeit df['date'].astype('int64')//1e9

100 loops, best of 3: 1.72 ms per loop
1000 loops, best of 3: 275 µs per loop

    Vous pouvez voir qu'il est nettement plus rapide

    Merci pour votre réponse ! C'est génial de travailler et il est beaucoup beaucoup plus rapide que la boucle for !
    df.date.astype('int64')//1e9, mais est légèrement plus obsure
    Cheers, ont mis à jour ma réponse
    Qu'est-ce que dt? Ce n'était pas clair pour moi.
    ah que c'est un alias de la datetime module : import datetime as dt sera mise à jour pour que cela soit clair

    OriginalL'auteur EdChum

  2. 0

    De la Les Pandas de la documentation sur le travail avec des données de séries chronologiques:

    Nous soustraire à l'époque (minuit le 1er janvier 1970 UTC) et ensuite étage diviser par l ' “unité” (1 ms).

    stamps = pd.date_range('2012-10-08 18:15:05', periods=4, freq='D')
(stamps - pd.Timestamp("1970-01-01")) // pd.Timedelta('1ms')

    Cela donnera à l'époque le temps en millisecondes.

    OriginalL'auteur ares