Comment calculer le nombre de valeurs nan dans une pandas DataFrame?

Quel est le meilleur moyen de prendre en compte (pas un nombre) nan valeurs dans une pandas DataFrame?

Le code suivant:

import numpy as np
import pandas as pd
dfd = pd.DataFrame([1, np.nan, 3, 3, 3, np.nan], columns=['a'])
dfv = dfd.a.value_counts().sort_index()
print("nan: %d" % dfv[np.nan].sum())
print("1: %d" % dfv[1].sum())
print("3: %d" % dfv[3].sum())
print("total: %d" % dfv[:].sum())

Sorties:

nan: 0
1: 1
3: 3
total: 4

Alors que la sortie désirée est:

nan: 2
1: 1
3: 3
total: 6

Je suis en utilisant les pandas 0.17 avec Python 3.5.0 avec Anaconda 2.4.0.

InformationsquelleAutor SpeedCoder5 | 2015-12-30
  1. 12

    Si vous voulez compter que NaN valeurs dans la colonne 'a' d'un DataFrame df, utilisation:

    len(df) - df['a'].count()

    Ici count() nous dit que le nombre de non-valeurs NaN, et c'est soustrait du nombre total de valeurs (donné par len(df)).

    À compter des valeurs NaN en chaque colonne de df, utilisation:

    len(df) - df.count()

    Si vous souhaitez utiliser value_counts, de lui dire pas à la baisse des valeurs NaN par la mise en dropna=False (ajouté en 0.14.1):

    dfv = dfd['a'].value_counts(dropna=False)

    Cela permet à l'valeurs manquantes dans la colonne à être compté trop:

     3     3
NaN    2
 1     1
Name: a, dtype: int64

    Le reste de votre code devrait alors fonctionner comme vous le souhaitez (à noter qu'il n'est pas nécessaire de faire appel à sum; juste print("nan: %d" % dfv[np.nan]) suffit).

    • Et après à l'aide de la méthode ci-dessus dfv.des valeurs.sum() Compte le nombre de toutes les valeurs, c'est à dire 6 Merci. 😉
    • Pas de problème! Yep, ça marche. En fait, vous pouvez simplement écrire dfv.sum() compter toutes les valeurs. Ou même de manière plus efficace, il suffit de cocher len(dfd).
    InformationsquelleAutor Alex Riley
  2. 19

    De compter simplement les valeurs null, vous pouvez utiliser isnull(): 

    In [11]:
dfd.isnull().sum()

Out[11]:
a    2
dtype: int64

    Ici a est le nom de la colonne, et il y a 2 occurrences de la valeur null dans la colonne.

    InformationsquelleAutor ilyas patanam
  3. 1

    Un bon nettoyage de façon de compter tous NaN dans toutes les colonnes de votre dataframe serait ...

    import pandas as pd 
import numpy as np


df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
print(df.isna().sum().sum())

    À l'aide d'une somme unique, vous obtenez le nombre de NaN pour chaque colonne. La deuxième somme, sommes ceux de la colonne sommes.

    InformationsquelleAutor Thom Ives
  4. 1

    Encore une autre façon de compter les tous les nans un df:

    num_nans = df.size - df.count().sum()

    Horaires:

    import timeit

import numpy as np
import pandas as pd

df_scale = 100000
df = pd.DataFrame(
    [[1, np.nan, 100, 63], [2, np.nan, 101, 63], [2, 12, 102, 63],
     [2, 14, 102, 63], [2, 14, 102, 64], [1, np.nan, 200, 63]] * df_scale,
    columns=['group', 'value', 'value2', 'dummy'])

repeat = 3
numbers = 100

setup = """import pandas as pd
from __main__ import df
"""

def timer(statement, _setup=None):
    print (min(
        timeit.Timer(statement, setup=_setup or setup).repeat(
            repeat, numbers)))

timer('df.size - df.count().sum()')
timer('df.isna().sum().sum()')
timer('df.isnull().sum().sum()')

    imprime:

    3.998805362999999
3.7503365439999996
3.689461442999999

    donc à peu près équivalent

    InformationsquelleAutor Mr_and_Mrs_D
  5. 0

    si vous voulez seulement le résumé de nulle valeur pour chaque colonne, en utilisant le code suivant
    df.isnull().sum()
    si vous voulez savoir combien de valeurs null dans le bloc de données à l'aide de code suivant
    df.isnull().sum().sum() # calculate total

    InformationsquelleAutor shuishoudage