Le comptage des doublons dans les Pandas DataFrame

Il doit y avoir un moyen facile de le faire, mais j'ai été incapable de trouver une solution élégante pour sur DONC ou à travailler par moi-même.

Je suis en train de compter le nombre de valeurs en double en fonction d'un ensemble de colonnes dans un DataFrame.

Exemple:

print df

    Month   LSOA code   Longitude   Latitude    Crime type
0   2015-01 E01000916   -0.106453   51.518207   Bicycle theft
1   2015-01 E01000914   -0.111497   51.518226   Burglary
2   2015-01 E01000914   -0.111497   51.518226   Burglary
3   2015-01 E01000914   -0.111497   51.518226   Other theft
4   2015-01 E01000914   -0.113767   51.517372   Theft from the person

Ma solution:

counts = dict()
for i, row in df.iterrows():
    key = (
            row['Longitude'],
            row['Latitude'],
            row['Crime type']
        )

    if counts.has_key(key):
        counts[key] = counts[key] + 1
    else:
        counts[key] = 1

Et je reçois le compte:

{(-0.11376700000000001, 51.517371999999995, 'Theft from the person'): 1,
 (-0.111497, 51.518226, 'Burglary'): 2,
 (-0.111497, 51.518226, 'Other theft'): 1,
 (-0.10645299999999999, 51.518207000000004, 'Bicycle theft'): 1}

Hormis le fait que ce code pourrait être améliorée (n'hésitez pas à commenter comment), ce qui serait le moyen de le faire à travers les Pandas?

Pour ceux qui sont intéressés, je suis en train de travailler sur un jeu de données à partir de https://data.police.uk/

OriginalL'auteur tales | 2015-11-30

  1. 16

    Vous pouvez utiliser groupby avec la fonction taille.
    Puis-je réinitialiser indice de renommer la colonne 0 à count.

    print df
  Month LSOA       code  Longitude   Latitude             Crime type
0    2015-01  E01000916  -0.106453  51.518207          Bicycle theft
1    2015-01  E01000914  -0.111497  51.518226               Burglary
2    2015-01  E01000914  -0.111497  51.518226               Burglary
3    2015-01  E01000914  -0.111497  51.518226            Other theft
4    2015-01  E01000914  -0.113767  51.517372  Theft from the person

df = df.groupby(['Longitude', 'Latitude', 'Crime type']).size().reset_index(name='count')
print df
   Longitude   Latitude             Crime type  count
0  -0.113767  51.517372  Theft from the person      1
1  -0.111497  51.518226               Burglary      2
2  -0.111497  51.518226            Other theft      1
3  -0.106453  51.518207          Bicycle theft      1

print df['count']
0    1
1    2
2    1
3    1
Name: count, dtype: int64

    OriginalL'auteur jezrael

  2. 2

    Un O(n) solution est possible via collections.Counter:

    from collections import Counter

c = Counter(list(zip(df.Longitude, df.Latitude, df.Crime_type)))

    Résultat:

    Counter({(-0.113767, 51.517372, 'Theft-from-the-person'): 1,
         (-0.111497, 51.518226, 'Burglary'): 2,
         (-0.111497, 51.518226, 'Other-theft'): 1,
         (-0.106453, 51.518207, 'Bicycle-theft'): 1})

    OriginalL'auteur jpp

  3. 1

    Vous pouvez regrouper sur la Longitude et la Latitude, et ensuite utiliser value_counts sur le Crime type colonne.

    df.groupby(['Longitude', 'Latitude'])['Crime type'].value_counts().to_frame('count')

                                           count
Longitude Latitude  Crime type                  
-0.113767 51.517372 Theft from the person      1
-0.111497 51.518226 Burglary                   2
                    Other theft                1
-0.106453 51.518207 Bicycle theft              1

    OriginalL'auteur Alexander