Efficace de vérifier si l'objet arbitraire NaN en Python / numpy / pandas?

Mes tableaux numpy utilisation np.nan pour désigner des valeurs manquantes. Comme je l'itération sur l'ensemble de données, j'ai besoin de détecter de telles valeurs manquantes et de les gérer d'une manière particulière.

Naïvement j'ai utilisé numpy.isnan(val), qui fonctionne bien, sauf val n'est pas parmi le sous-ensemble de types pris en charge par numpy.isnan(). Par exemple, les données manquantes peuvent se produire dans les champs de type chaîne, dans ce cas j'obtiens:

>>> np.isnan('some_string')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: Not implemented for this type

Autres que d'écrire un cher wrapper qui intercepte l'exception et retourne False, il est un moyen de gérer cela d'une manière élégante et efficace?

  • pandas a pandas.isnull(): je ne sais pas si cela répond à vos besoins, de sorte que certaines données de l'exemple peut-être bon.
  • pandas.isnull() semble fonctionner parfaitement. Le seul type de données, je suis en train de traiter avec qui rompt numpy.isnan() est une chaîne, et pandas.isnull() gère bien. En fait, il semble gérer le bien de tous n'importe quel objet je l'ai jeté à elle. Y avait-il des questions que vous avez été inquiété? Sinon, vous pouvez soumettre vos commentaires à part entière réponse, car il me semble que la réponse canonique, au moins pour les pandas utilisateurs.
InformationsquelleAutor Dun Peal | 2013-09-08
  1. 139

    pandas.isnull() (également pd.isna(), dans les versions plus récentes) vérifie les valeurs manquantes dans les deux numérique et chaîne/tableaux d'objets. À partir de la documentation, il vérifie:

    NaN en tableaux numériques, Aucun/NaN dans les tableaux d'objets

    Exemple rapide:

    import pandas as pd
import numpy as np
s = pd.Series(['apple', np.nan, 'banana'])
pd.isnull(s)
Out[9]: 
0    False
1     True
2    False
dtype: bool

    L'idée d'utiliser numpy.nan pour représenter les valeurs manquantes est quelque chose que pandas introduit, qui est pourquoi pandas a les outils pour faire face avec elle.

    Datetimes trop (si vous utilisez pd.NaT vous n'aurez pas besoin de spécifier le dtype)

    In [24]: s = Series([Timestamp('20130101'),np.nan,Timestamp('20130102 9:30')],dtype='M8[ns]')

In [25]: s
Out[25]: 
0   2013-01-01 00:00:00
1                   NaT
2   2013-01-02 09:30:00
dtype: datetime64[ns]``

In [26]: pd.isnull(s)
Out[26]: 
0    False
1     True
2    False
dtype: bool
    InformationsquelleAutor Marius
  2. 15

    Est votre type vraiment arbitraire? Si vous savez qu'il est juste va être un int, float ou une chaîne, vous pourriez faire

     if val.dtype == float and np.isnan(val):

    en supposant qu'il est enveloppé dans numpy , il aura toujours un dtype et seulement le flotteur et le complexe peut être NaN

    • Je fais affaire avec beaucoup de différents types de données. Alors que la plupart des colonnes sont de type int* ou float* types de données, d'autres pourraient être n'importe quel objet, même si jusqu'à présent le seul autre type que j'ai utilisé était de la chaîne.
    • Chaînes de caractères en python n'a pas dtype. Vous pourriez avoir à faire type(val) == 'float'
    • type(val) == float and np.isnan(val) - a fonctionné pour moi
    • Je suppose que ce sont des tableaux numpy pas régulier python chers. Par exemple: np.array(["bonjour"])[0].dtype fonctionne, mais ["bonjour"][0].dtype n'
    InformationsquelleAutor Hammer