Tranche Pandas dataframe par des étiquettes qui ne sont pas dans la liste

J'ai un pandas dataframe, df.

Je veux sélectionner tous les indices dans df qui sont pas dans une liste, blacklist.

Maintenant, j'utilise compréhension de liste pour créer des étiquettes de la tranche.

ix=[i for i in df.index if i not in blacklist]  
df_select=df.loc[ix]

Fonctionne très bien, mais peut-être maladroit, si je dois le faire souvent.

Est-il une meilleure façon de le faire?

OriginalL'auteur lmart999 | 2015-03-18

  1. 36

    Utilisation code isin sur l'index et inverser le booléen index pour effectuer la sélection d'une étiquette:

    In [239]:

df = pd.DataFrame({'a':np.random.randn(5)})
df
Out[239]:
          a
0 -0.548275
1 -0.411741
2 -1.187369
3  1.028967
4 -2.755030
In [240]:

t = [2,4]
df.loc[~df.index.isin(t)]
Out[240]:
          a
0 -0.548275
1 -0.411741
3  1.028967
    J'ai testé pour la vitesse contre la possibilité d'utiliser des jeux (et des listes pour la multi-indexation). Cette méthode est ~2x plus rapide. Je peux aussi confirmer que cela fonctionne pour MultiIndex
    Une autre remarque: j'ai utilisé @Hagrid67 exemple et n'a trouvé aucune réelle différence de vitesse entre l'indexation "dans la liste" et non "dans la liste"
    isin prend des valeurs, que vous pouvez passer à loc, correct? Quelle méthode utiliseriez-vous avec une liste d'entiers basés sur la localisation indices que vous souhaitez passer à iloc?

    OriginalL'auteur

  2. 8

    Vous pouvez utiliser set() de créer la différence entre les indices et ceux que vous souhaitez supprimer:

    df.loc[set(df.index) - set(blacklist)]

    Il a l'avantage d'être parcimonieux, ainsi que d'être plus facile à lire qu'une compréhension de liste.

    Merci, cette approche est bonne.

    OriginalL'auteur

  3. 1
    import pandas as pd
df = pd.DataFrame(data=[5,6,7,8], index=[1,2,3,4], columns=['D',])
blacklist = [2,3]
#your current way ...
ix=[i for i in df.index if i not in blacklist]  
df_select=df.loc[ix]

# use a mask
mask = [True if x else False for x in df.index if x not in blacklist]
df.loc[mask]

    http://pandas.pydata.org/pandas-docs/dev/indexing.html#indexing-label
    en fait, la ldc et lci à la fois prendre un booléen tableau, dans ce cas, le mask. à partir de maintenant, vous pouvez utiliser ce masque et devrait être plus efficace.

    OriginalL'auteur

  4. 0

    Grâce à ASGM; j'ai constaté que j'avais besoin de le mettre dans une liste à le faire fonctionner avec un MultiIndex:

    mi1 = pd.MultiIndex.from_tuples([("a", 1), ("a", 2), ("b", 1), ("b", 2)])
df1 = pd.DataFrame(data={"aaa":[1,2,3,4]}, index=mi1)
setValid = set(df1.index) - set([("a", 2)])
df1.loc[list(setValid)] # works
df1.loc[setValid] # fails

    (désolé ne peux pas commenter, l'insuffisance de l'rep)

    OriginalL'auteur