Quelle est la différence entre dtype et de convertisseurs dans les pandas.read_csv?

pandas fonction read_csv() lit un .fichier csv. Sa documentation est ici

Selon la documentation, nous le savons:

dtype : Tapez un nom ou dict de la colonne -> type, par défaut Aucun type de Données
pour des données ou des colonnes. E. g. {‘a’: np.float64, ‘b’: np.int32}
(Non pris en charge avec le moteur=’python’)

et

convertisseurs : dict, par défaut Aucun Dict de fonctions pour la conversion de
les valeurs dans certaines colonnes. Les clés peuvent être des entiers ou des colonnes
les étiquettes

Lors de l'utilisation de cette fonction, je peux l'appeler
pandas.read_csv('file',dtype=object) ou pandas.read_csv('file',converters=object). Évidemment, convertisseur, son nom indique que le type de données sera converti, mais je me demande le cas de dtype?

OriginalL'auteur Bryan | 2015-12-07

  1. 16

    La différence sémantique est que dtype vous permet de spécifier comment traiter les valeurs, par exemple, soit en numérique ou de type chaîne de caractères.

    Convertisseurs vous permet d'analyser vos données d'entrée pour le convertir en un souhaité dtype à l'aide d'une fonction de conversion, e.g, l'analyse d'une chaîne de valeur de type datetime ou à certains autres dtype.

    Ici, nous voyons que les pandas tente d'intercepter les types:

    In [2]:
df = pd.read_csv(io.StringIO(t))
t="""int,float,date,str
001,3.31,2015/01/01,005"""
df = pd.read_csv(io.StringIO(t))
df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1 entries, 0 to 0
Data columns (total 4 columns):
int      1 non-null int64
float    1 non-null float64
date     1 non-null object
str      1 non-null int64
dtypes: float64(1), int64(2), object(1)
memory usage: 40.0+ bytes

    Vous pouvez le voir à partir de ce qui précède que 001 et 005 sont traités comme des int64 mais la chaîne de date reste str.

    Si nous disons que tout est object alors essentiellement, tout ce qui est str:

    In [3]:    
df = pd.read_csv(io.StringIO(t), dtype=object).info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1 entries, 0 to 0
Data columns (total 4 columns):
int      1 non-null object
float    1 non-null object
date     1 non-null object
str      1 non-null object
dtypes: object(4)
memory usage: 40.0+ bytes

    Ici, nous avons la force de la int colonne de str et dire parse_dates d'utiliser le date_parser pour analyser la colonne de date:

    In [6]:
pd.read_csv(io.StringIO(t), dtype={'int':'object'}, parse_dates=['date']).info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1 entries, 0 to 0
Data columns (total 4 columns):
int      1 non-null object
float    1 non-null float64
date     1 non-null datetime64[ns]
str      1 non-null int64
dtypes: datetime64[ns](1), float64(1), int64(1), object(1)
memory usage: 40.0+ bytes

    De même, nous aurions pu passer la to_datetime fonction pour convertir les dates:

    In [5]:
pd.read_csv(io.StringIO(t), converters={'date':pd.to_datetime}).info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1 entries, 0 to 0
Data columns (total 4 columns):
int      1 non-null int64
float    1 non-null float64
date     1 non-null datetime64[ns]
str      1 non-null int64
dtypes: datetime64[ns](1), float64(1), int64(2)
memory usage: 40.0 bytes
    Je précise pour les autres, que les deux paramètres peuvent être fournis dans le même read_csv invocation, bien que je n'ai pas testé pour le chevauchement des colonnes référencées dans les deux dtypes et la converters les dictionnaires si l'aide de l'API.
    Est-il un moyen pour faire de votre propre sniffer qui convertit dtypes? Je crois que ce serait utile de fichiers excel avec de nombreuses colonnes.
    Cela ne fonctionnera pas des feuilles de calcul excel sont importées à l'aide d'un 3ème partie module de sorte que les dtypes sont fournis par l'intermédiaire de ce module. Si c'était un fichier csv vous pouvez définir votre propre fonction et de charge ce de convertisseur et appliquée sur chaque colonne, qui serait à l'œuvre

    OriginalL'auteur EdChum