Pythonic/moyen efficace de suppression des espaces de tous les Pandas trame de Données de la cellule qui a un stringlike objet en elle

Je suis en train de lire un fichier CSV dans un DataFrame. J'ai besoin de dépouiller les espaces de toutes les stringlike cellules, laissant les autres cellules inchangé en Python 2.7.

Ici est ce que je fais:

def remove_whitespace( x ):
    if isinstance( x, basestring ):
        return x.strip()
    else:
        return x

my_data = my_data.applymap( remove_whitespace )

Est-il mieux ou plus idiomatique Pandas façon de le faire?

Est-il un moyen plus efficace (peut-être en faisant des choses colonne sage)?

J'ai essayé de chercher une réponse définitive, mais la plupart des questions sur ce sujet semble être la façon de suppression des espaces dans la colonne des noms eux-mêmes, ou supposer que les cellules sont toutes les chaînes.

Qu'arriverait-il si vous étiez à faire x.strip() sur un élément qui n'est pas une instance d'un basestring? Si il ne sont pas les inconvénients peut-être que vous pourriez supprimer le vérifier et de le remplacer par un bloc try et except. Qui pourrait accélérer les choses.
Êtes-vous à l'aide de pandas.read_csv (pandas.pydata.org/pandas-docs/version/0.17.0/generated/...)? Avez-vous essayé skipinitialspace=True?
Je pourrais avoir des espaces avant et après les données que j'ai soucier de la cellule, donc je pense que skipinitialspace fixe seulement la moitié du problème.
essayez d'appeler .strip() sur un non-stringlike objet (ou d'une chose qui n'a pas une bande de méthode, comme un type de données numérique) génère une exception. Vous avez raison, la manipulation de l'exception pourrait être plus rapide que de faire le check - selon la base de données et la fréquence des exceptions.
J'avais peur que ce pourrait être le cas.

OriginalL'auteur deadcode | 2015-11-18

28

Trébuché sur cette question alors que vous cherchez un moyen rapide et minimaliste, l'extrait de code que je pourrais utiliser. A l'assembler moi-même à partir de postes ci-dessus. Peut-être que quelqu'un va trouver utile:
```
data_frame_trimmed = data_frame.apply(lambda x: x.str.strip() if x.dtype == "object" else x)
```
De ce fait le travail. Dans le cas même de vos en-têtes, les espaces de fin, ajouter un .rename(columns=lambda x: x.strip()) à partir de stackoverflow.com/a/21607530/4355695
Cette méthode a échoué pour moi si les Pandas étiquetés une colonne comme object. Les Pandas seront étiquette de colonnes avec un mélange de types de données comme object qui ne veut pas forcément dire que chaque élément de cette colonne est une str.
Michael, pour les vraiment mélangés, vous pouvez utiliser l'OP méthode.
peut-être isinstance(x, str) serait une meilleure solution pour vérifier si une chaîne de caractères ou pas...

OriginalL'auteur Adam Owczarczyk

Vous pouvez utiliser des pandas Series.str.strip() méthode pour le faire rapidement pour chaque chaîne comme la colonne:

>>> data = pd.DataFrame({'values': ['   ABC   ', '   DEF', '  GHI  ']})
>>> data
      values
0     ABC   
1        DEF
2      GHI  

>>> data['values'].str.strip()
0    ABC
1    DEF
2    GHI
Name: values, dtype: object

OriginalL'auteur jakevdp

4

Lorsque vous appelez pandas.read_csv, vous pouvez utiliser une expression régulière qui correspond à zéro ou plusieurs espaces, suivi par une virgule suivie de zéro ou plus d'espace comme délimiteur.

Par exemple, voici "data.csv":
```
In [19]: !cat data.csv
1.5, aaa,  bbb ,  ddd     , 10 ,  XXX   
2.5, eee, fff  ,       ggg, 20 ,     YYY
```
(La première ligne se termine avec trois espaces après XXX, tandis que la deuxième ligne se termine à la dernière Y.)

Les utilisations suivantes pandas.read_csv() pour lire les fichiers, avec l'expression régulière ' *, *' comme délimiteur. (À l'aide d'une expression régulière comme délimiteur n'est disponible que dans le "python" moteur de read_csv().)
```
In [20]: import pandas as pd

In [21]: df = pd.read_csv('data.csv', header=None, delimiter=' *, *', engine='python')

In [22]: df
Out[22]: 
     0    1    2    3   4    5
0  1.5  aaa  bbb  ddd  10  XXX
1  2.5  eee  fff  ggg  20  YYY
```
Ce qui est très proche, mais il a un problème avec la cité des valeurs d'entrée, comme ceci: "a, b, c,d Il ne peut pas tirer les espaces sur le premier champ à laquelle je voudrais stockées dans le dataframe de la cellule 'a, b, c'

OriginalL'auteur Warren Weckesser
3

Le "data['values'].str.strip()" la réponse ci-dessus ne fonctionne pas pour moi, mais j'ai trouvé un travail simple autour de. Je suis sûr qu'il ya une meilleure façon de le faire. La str.strip() fonctionne sur la Série. Ainsi, j'ai converti le dataframe colonne dans une Série, dépouillé de l'espace, a remplacé le converti de la colonne de retour dans le dataframe. Ci-dessous le code d'exemple.
```
import pandas as pd
data = pd.DataFrame({'values': ['   ABC   ', '   DEF', '  GHI  ']})
print ('-----')
print (data)

data['values'].str.strip()
print ('-----')
print (data)

new = pd.Series([])
new = data['values'].str.strip()
data['values'] = new
print ('-----')
print (new)
```
OriginalL'auteur S. Herron
0

Ici est une colonne de solution sage avec les pandas s'appliquent:
```
import numpy as np

def strip_obj(col):
    if col.dtypes == object:
        return (col.astype(str)
                   .str.strip()
                   .replace({'nan': np.nan}))
    return col

df = df.apply(strip_obj, axis=0)
```
Ceci permet de convertir des valeurs dans l'objet des colonnes de type string. Doivent prendre garde avec mixte-type de colonnes. Par exemple, si votre colonne est codes postaux avec 20001 et ' 21110 ', vous vous retrouverez avec '20001' et '21110'.

OriginalL'auteur Blake

J'ai trouvé le code suivant utiles et quelque chose qui serait susceptible d'aider les autres. Cet extrait de code va vous permettre de supprimer les espaces dans une colonne ainsi que dans l'ensemble du DataFrame, selon votre cas d'utilisation.

import pandas as pd

def remove_whitespace(x):
    try:
        # remove spaces inside and outside of string
        x = "".join(x.split())

    except:
        pass
    return x

# Apply remove_whitespace to column only
df.orderId = df.orderId.apply(remove_whitespace)
print(df)


# Apply to remove_whitespace to entire Dataframe
df = df.applymap(remove_whitespace)
print(df)

OriginalL'auteur FunnyChef

0

Nous voulons:
1. Applique notre fonction à chaque élément de notre dataframe - utilisation applymap.
2. Utilisation type(x)==str (par rapport à x.dtype == 'object') parce que les Pandas seront étiquette de colonnes que object pour les colonnes de mélanges de types de données (un object colonne peut contenir des int et/ou str).
3. Maintenir le type de données de chaque élément (nous ne voulons pas tout convertir un str et puis la bande des espaces).
Donc, j'ai trouvé ce qui suit pour être la plus facile:

df.applymap(lambda x: x.strip() if type(x)==str else x)

OriginalL'auteur Michael Silverstein

Vous devez vous connecter pour publier un commentaire.