Supprimer la non-numérique de lignes dans une colonne avec les pandas

Il y a un dataframe comme la suivante, et il a un impur colonne 'id' qui il sholud être une colonne numérique

id, name
1,  A
2,  B
3,  C
tt, D
4,  E
5,  F
de, G

Est-il une manière concise pour supprimer les lignes car tt et de ne sont pas des valeurs numériques

tt,D
de,G

de faire le dataframe propre?

id, name
1,  A
2,  B
3,  C
4,  E
5,  F

OriginalL'auteur Akira Sendoh | 2015-11-27

  1. 12

    Vous pouvez utiliser la méthode standard de chaînes isnumeric et de l'appliquer à chaque valeur de votre id colonne:

    import pandas as pd
from io import StringIO

data = """
id,name
1,A
2,B
3,C
tt,D
4,E
5,F
de,G
"""

df = pd.read_csv(StringIO(data))

In [55]: df
Out[55]: 
   id name
0   1    A
1   2    B
2   3    C
3  tt    D
4   4    E
5   5    F
6  de    G

In [56]: df[df.id.apply(lambda x: x.isnumeric())]
Out[56]: 
  id name
0  1    A
1  2    B
2  3    C
4  4    E
5  5    F

    Ou si vous souhaitez utiliser id comme indice que vous pouvez faire:

    In [61]: df[df.id.apply(lambda x: x.isnumeric())].set_index('id')
Out[61]: 
   name
id     
1     A
2     B
3     C
4     E
5     F

    Modifier. Ajouter timings

    Même si le cas avec pd.to_numeric n'est pas à l'aide de apply méthode, il est presque deux fois plus lent qu'avec l'application de np.isnumeric pour str colonnes. Aussi, j'ai ajouter une option à l'aide de pandas str.isnumeric qui est de moins en moins de taper et encore plus vite, puis à l'aide de pd.to_numeric. Mais pd.to_numeric est plus général, car il pourrait travailler avec tout type de données (non seulement des chaînes de caractères).

    df_big = pd.concat([df]*10000)

In [3]: df_big = pd.concat([df]*10000)

In [4]: df_big.shape
Out[4]: (70000, 2)

In [5]: %timeit df_big[df_big.id.apply(lambda x: x.isnumeric())]
15.3 ms ± 2.02 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [6]: %timeit df_big[df_big.id.str.isnumeric()]
20.3 ms ± 171 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [7]: %timeit df_big[pd.to_numeric(df_big['id'], errors='coerce').notnull()]
29.9 ms ± 682 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

    OriginalL'auteur Anton Protopopov

  2. 32

    Utilisant pd.to_numeric

    In [1079]: df[pd.to_numeric(df['id'], errors='coerce').notnull()]
Out[1079]:
  id  name
0  1     A
1  2     B
2  3     C
4  4     E
5  5     F
    c'est le truc
    Si vous souhaitez conserver la colonne comme un nombre et non un objet, vous pourriez avoir besoin d'appeler pd.to_numeric séparément.
    Pas De apply 😀 !

    OriginalL'auteur Zero

  3. 5

    Étant donné que df est votre dataframe, 

    import numpy as np
df[df['id'].apply(lambda x: isinstance(x, (int, np.int64)))]

    Ce qu'il fait est de passage chaque valeur de la id colonne à la isinstance fonction et vérifie si c'est une int. Puis elle retourne un booléen tableau, et enfin retour uniquement les lignes où il y a True.

    Si vous avez également besoin de tenir compte de float valeurs, une autre option est la suivante:

    import numpy as np
df[df['id'].apply(lambda x: type(x) in [int, np.int64, float, np.float64])]

    Note que de toute façon n'est pas en place, de sorte que vous aurez besoin de le réaffecter à l'original de votre df, ou en créer un nouveau:

    df = df[df['id'].apply(lambda x: type(x) in [int, np.int64, float, np.float64])]
# or
new_df = df[df['id'].apply(lambda x: type(x) in [int, np.int64, float, np.float64])]

    OriginalL'auteur DeepSpace