Python supprimer les mots vides de pandas dataframe

Je veux supprimer les mots vides de ma colonne "tweets". Comment puis-je itératif au cours de chaque ligne et de chaque élément?

pos_tweets = [('I love this car', 'positive'),
    ('This view is amazing', 'positive'),
    ('I feel great this morning', 'positive'),
    ('I am so excited about the concert', 'positive'),
    ('He is my best friend', 'positive')]

test = pd.DataFrame(pos_tweets)
test.columns = ["tweet","class"]
test["tweet"] = test["tweet"].str.lower().str.split()

from nltk.corpus import stopwords
stop = stopwords.words('english')
vieux post, mais pour la référence, l'arrêt de mots aura des mots comme "je" et "un". @EdChum votre code sera la cause de tous les mots pour être ruiné à cause de cela
probablement vous pouvez trier les mots vides basés sur des espaces et de la longueur.

OriginalL'auteur I am not George | 2015-04-08

  1. 18

    L'Aide De La Liste De Compréhension

    test['tweet'].apply(lambda x: [item for item in x if item not in stop])

    Retourne:

    0               [love, car]
1           [view, amazing]
2    [feel, great, morning]
3        [excited, concert]
4            [best, friend]
    Ce n'est pas de maintenir la chaîne, ce qui vous sera impossible de rechercher des combinaisons de mots une fois que vous supprimer les mots vides. Ed Chum commentaire ci-dessus maintient la chaîne.
    j'ai besoin d'ajouter str(x).split() et wil être test['tweet'].apply(lambda x: [item for item in str(x).split() if item not in stopwords.words('spanish')]) parce que montrer une erreur qui dit 'float' objet n'est pas objet iterable

    OriginalL'auteur Liam Foley

  2. 19

    Nous pouvons importer stopwords de nltk.corpus comme ci-dessous. Avec cela, Nous excluons les mots vides avec Python compréhension de liste et pandas.DataFrame.apply.

    # Import stopwords with nltk.
from nltk.corpus import stopwords
stop = stopwords.words('english')

pos_tweets = [('I love this car', 'positive'),
    ('This view is amazing', 'positive'),
    ('I feel great this morning', 'positive'),
    ('I am so excited about the concert', 'positive'),
    ('He is my best friend', 'positive')]

test = pd.DataFrame(pos_tweets)
test.columns = ["tweet","class"]

# Exclude stopwords with Python's list comprehension and pandas.DataFrame.apply.
test['tweet_without_stopwords'] = test['tweet'].apply(lambda x: ' '.join([word for word in x.split() if word not in (stop)]))
print(test)
# Out[40]:
#                                tweet     class tweet_without_stopwords
# 0                    I love this car  positive              I love car
# 1               This view is amazing  positive       This view amazing
# 2          I feel great this morning  positive    I feel great morning
# 3  I am so excited about the concert  positive       I excited concert
# 4               He is my best friend  positive          He best friend

    Il peut aussi être exclu par l'aide de pandas.Series.str.replace.

    pat = r'\b(?:{})\b'.format('|'.join(stop))
test['tweet_without_stopwords'] = test['tweet'].str.replace(pat, '')
test['tweet_without_stopwords'] = test['tweet_without_stopwords'].str.replace(r'\s+', ' ')
# Same results.
# 0              I love car
# 1       This view amazing
# 2    I feel great morning
# 3       I excited concert
# 4          He best friend

    Si vous ne pouvez pas importer des mots vides, vous pouvez les télécharger comme suit.

    import nltk
nltk.download('stopwords')

    Un autre moyen de réponse est de l'importation text.ENGLISH_STOP_WORDS de sklearn.feature_extraction.

    # Import stopwords with scikit-learn
from sklearn.feature_extraction import text
stop = text.ENGLISH_STOP_WORDS

    Avis que le nombre de mots dans le scikit-learn mots vides et nltk les mots vides sont différents.

    OriginalL'auteur Keiku

  3. 4

    Découvrez pd.DataFrame.replace(), il pourrait fonctionner pour vous:

    In [42]: test.replace(to_replace='I', value="",regex=True)
Out[42]:
                              tweet     class
0                     love this car  positive
1              This view is amazing  positive
2           feel great this morning  positive
3   am so excited about the concert  positive
4              He is my best friend  positive

    Edit : replace() recherche des chaîne(et même des sous-chaînes). Par exemple, il serait de remplacer rk de work si rk est un mot vide qui parfois n'est pas prévu.

    D'où l'utilisation de regex ici :

    for i in stop :
    test = test.replace(to_replace=r'\b%s\b'%i, value="",regex=True)
    bien travaillé!! juste la pensée de la mise à jour de la réponse avec le plus de cas

    OriginalL'auteur mok0