Comment sélectionner et supprimer des colonnes avec un nom en double dans pandas DataFrame

J'ai un énorme DataFrameoù certaines colonnes ont le même nom. Quand j'ai essayer de choisir une colonne qui existe en deux fois, (par exemple de del df['col name'] ou df2=df['col name']) j'obtiens une erreur. Que puis-je faire?

source d'informationauteur user3107640

  1. 13

    Vous pouvez adresse colonnes par index:

    >>> df = pd.DataFrame([[1,2],[3,4],[5,6]], columns=['a','a'])
>>> df
   a  a
0  1  2
1  3  4
2  5  6
>>> df.iloc[:,0]
0    1
1    3
2    5

    Ou vous pouvez renommer des colonnes, comme

    >>> df.columns = ['a','b']
>>> df
   a  b
0  1  2
1  3  4
2  5  6
  2. 4

    Ce n'est pas une bonne situation. Le mieux serait de créer une hiérarchie de la colonne système d'étiquetage (Pandas permet à plusieurs niveaux de la colonne d'étiquetage ou de la ligne étiquettes d'index). Déterminer ce qui rend les deux colonnes différentes qui ont le même nom de réellement différents les uns des autres et en tirer parti pour créer une organisation hiérarchique des index de colonne.

    Dans le temps de le dire, si vous savez que la localisation des colonnes dans la liste de colonnes (par exemple, de dataframe.columns), alors vous pouvez utiliser de nombreux explicite de l'indexation de fonctionnalités, telles que .ix[]ou .iloc[] pour récupérer des valeurs de la colonne en position.

    Vous pouvez également créer des copies des colonnes avec de nouveaux noms, tels que:

    dataframe["new_name"] = data_frame.ix[:, column_position].values

    où column_position références de la de position emplacement de la colonne que vous essayez d'obtenir (pas le nom).

    Ces peut ne pas fonctionner pour vous si les données sont trop volumineuses, cependant. Alors le mieux est de trouver un moyen de modifier le processus de construction pour obtenir la hiérarchie de l'index de colonne.

  3. 3

    Une autre solution:

    def remove_dup_columns(frame):
     keep_names = set()
     keep_icols = list()
     for icol, name in enumerate(frame.columns):
          if name not in keep_names:
               keep_names.add(name)
               keep_icols.append(icol)
     return frame.iloc[:, keep_icols]

import numpy as np
import pandas as pd

frame = pd.DataFrame(np.random.randint(0, 50, (5, 4)), columns=['A', 'A', 'B', 'B'])

print(frame)
print(remove_dup_columns(frame))

    La sortie est

        A   A   B   B
0  18  44  13  47
1  41  19  35  28
2  49   0  30  16
3  39  29  43  41
4  26  19  48  13
    A   B
0  18  13
1  41  35
2  49  30
3  39  43
4  26  48
  4. 1

    La fonction suivante supprime les colonnes avec dublicate noms et ne garde qu'un seul. Pas exactement ce que vous avez demandé, mais vous pouvez utiliser les cisailles à résoudre votre problème. L'idée est de retourner les numéros d'index et ensuite, vous pouvez donner une adresse de colonne spécifique indices directement. Les indices sont unique, tandis que les noms de colonnes ne sont pas 

    def remove_multiples(df,varname):
    """
    makes a copy of the first column of all columns with the same name,
    deletes all columns with that name and inserts the first column again
    """
    from copy import deepcopy
    dfout = deepcopy(df)
    if (varname in dfout.columns):
        tmp = dfout.iloc[:, min([i for i,x in enumerate(dfout.columns == varname) if x])]
        del dfout[varname]
        dfout[varname] = tmp
    return dfout

    où 

    [i for i,x in enumerate(dfout.columns == varname) if x]

    est la partie que vous avez besoin