Comment faire pour supprimer les mots vides à l'aide de nltk ou python

Donc, j'ai un jeu de données que je voudrais supprimer les mots vides de l'aide

stopwords.words('english')

Je suis mal comment utiliser cela dans mon code pour simplement retirer ces mots. J'ai une liste de mots à partir de ces données, déjà, la partie que je suis mal, c'est la comparaison de cette liste et la suppression de l'arrêt de mots.
Toute aide est appréciée.

Où obtenez-vous les mots vides de? Est-ce à partir de NLTK?
from nltk.corpus import stopwords pour l'avenir googlers
Il est également nécessaire d'exécuter nltk.download("stopwords") afin de rendre le mot vide dictionnaire.
Voir aussi stackoverflow.com/questions/19130512/stopword-removal-with-nltk
Attention, un mot comme "non", est également considérée comme un mot vide dans nltk. Si vous faites quelque chose comme le sentiment d'analyse, filtrage de spam, une négation peut changer tout le sens de la phrase et si vous le retirez de la phase de traitement, vous risquez de ne pas obtenir des résultats exacts.

InformationsquelleAutor Alex | 2011-03-30

178
```
from nltk.corpus import stopwords
# ...
filtered_words = [word for word in word_list if word not in stopwords.words('english')]
```
- Merci pour les deux réponses, ils travaillent tous les deux, bien qu'il semblerait que j'ai une faille dans mon code la prévention de la liste d'arrêt de travail correctement. Cela devrait-il être une nouvelle question post? pas sûr de savoir comment les choses fonctionnent ici tout de suite!
- Pour améliorer les performances, pensez à stops = set(stopwords.words("english")) à la place.
- >>> import nltk >>> nltk.télécharger() Source
- stopwords.words('english') sont en minuscules. Donc, assurez-vous d'utiliser uniquement les minuscules des mots dans la liste par exemple [w.lower() for w in word_list]
InformationsquelleAutor Daren Thomas
19

Vous pouvez également faire un set de diff, par exemple:
```
list(set(nltk.regexp_tokenize(sentence, pattern, gaps=True)) - set(nltk.corpus.stopwords.words('english')))
```
- Remarque: cette fonction convertit la phrase à un ENSEMBLE qui supprime tous les doublons de mots et, par conséquent, vous ne sera pas en mesure d'utiliser la fréquence de comptage sur le résultat
InformationsquelleAutor David Lemphers

Je suppose que vous avez une liste de mots (word_list) à partir de laquelle vous souhaitez supprimer les mots vides. Vous pourriez faire quelque chose comme ceci:

filtered_word_list = word_list[:] #make a copy of the word_list
for word in word_list: # iterate over word_list
  if word in stopwords.words('english'): 
    filtered_word_list.remove(word) # remove word from filtered_word_list if it is a stopword

ce sera beaucoup plus lent que Daren Thomas compréhension de liste...

InformationsquelleAutor das_weezul

À exclure tout type de stop-mots, y compris nltk stop-words, vous pourriez faire quelque chose comme ceci:

from stop_words import get_stop_words
from nltk.corpus import stopwords

stop_words = list(get_stop_words('en'))         #About 900 stopwords
nltk_words = list(stopwords.words('english')) #About 150 stopwords
stop_words.extend(nltk_words)

output = [w for w in word_list if not w in stop_words]

InformationsquelleAutor sumitjainjr

3

Utilisation textcleaner bibliothèque de supprimer les mots vides de vos données.

Suivez ce lien:https://yugantm.github.io/textcleaner/documentation.html#remove_stpwrds

Suivez ces étapes pour le faire avec cette bibliothèque.
```
pip install textcleaner
```
Après l'installation:
```
import textcleaner as tc
data = tc.document(<file_name>) 
#you can also pass list of sentences to the document class constructor.
data.remove_stpwrds() #inplace is set to False by default
```
Utiliser le code ci-dessus à supprimer les stop-words.

InformationsquelleAutor Yugant Hadiyal

vous pouvez utiliser cette fonction, vous remarquerez que vous avez besoin pour réduire tous les mots

from nltk.corpus import stopwords

def remove_stopwords(word_list):
        processed_word_list = []
        for word in word_list:
            word = word.lower() # in case they arenet all lower cased
            if word not in stopwords.words("english"):
                processed_word_list.append(word)
        return processed_word_list

InformationsquelleAutor Mohammed_Ashour

à l'aide de filtre:

from nltk.corpus import stopwords
# ...  
filtered_words = list(filter(lambda word: word not in stopwords.words('english'), word_list))

InformationsquelleAutor Saeid BK

   import sys
print ("enter the string from which you want to remove list of stop words")
userstring = input().split(" ")
list =["a","an","the","in"]
another_list = []
for x in userstring:
    if x not in list:           # comparing from the list and removing it
        another_list.append(x)  # it is also possible to use .remove
for x in another_list:
     print(x,end=' ')

   # 2) if you want to use .remove more preferred code
    import sys
    print ("enter the string from which you want to remove list of stop words")
    userstring = input().split(" ")
    list =["a","an","the","in"]
    another_list = []
    for x in userstring:
        if x in list:           
            userstring.remove(x)  
    for x in userstring:           
        print(x,end = ' ') 
    #the code will be like this

InformationsquelleAutor Muhammad Yusuf

Vous devez vous connecter pour publier un commentaire.