La suppression non-anglais des mots d'un texte à l'aide de Python

Je suis en train de faire un nettoyage des données de l'exercice sur le langage python et le texte que je suis en train de nettoyer contient les mots italiens que je voudrais supprimer. J'ai été la recherche en ligne si je serais capable de faire cela sur Python à l'aide d'une trousse d'outils comme nltk.

Par exemple du texte :

"Io andiamo to the beach with my amico."

Je voudrais être à gauche avec :

"to the beach with my"

Personne ne sait d'une manière à la façon dont cela pourrait être fait?
Toute aide serait grandement appréciée.

OriginalL'auteur Andre Croucher | 2016-12-22

  1. 21

    Vous pouvez utiliser le words corpus de NLTK:

    import nltk
words = set(nltk.corpus.words.words())

sent = "Io andiamo to the beach with my amico."
" ".join(w for w in nltk.wordpunct_tokenize(sent) \
         if w.lower() in words or not w.isalpha())
# 'Io to the beach with my'

    Malheureusement, Io se trouve être un mot d'anglais. En général, il peut être difficile de décider si un mot est anglais ou pas.

    C'est exactement ce que je cherchais, merci!
    Édité pour préserver les non-mots (signes de ponctuation, des chiffres, etc.)
    veuillez envisager d'accepter cette réponse si d'autres personnes savent que vous avez résolu votre problème à l'aide de cette réponse. Merci.

    OriginalL'auteur DYZ

  2. 6

    Il y a une bonne bibliothèque Python appelé Enchanter. Il peut vérifier si un mot est anglais.

    À partir de leur page d'accueil:

    >>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]

    De sorte que vous pourriez faire quelque chose comme:

    string =  "Io andiamo to the beach with my amico."
english_words = []
for word in string.split():
    if d.check(word):
        english_words.append(word)
print " ".join(english_words)

    REMARQUE: les petits mots sont difficiles à déterminer la langue, que de nombreux petits mots peuvent être dans de nombreuses langues différentes, donc le résultat du code ci-dessus est:

    Io to the beach with my

    Où vous avez souhaité que Io aurait été exclu

    Je vous remercie beaucoup pour l'aide! Il a travaillé 🙂
    Note: Enchantement ne détermine pas beaucoup de Mots anglais. Par exemple, si vous essayez d.vérifier("codépendance") il va dire faux, mais "codépendance" est un mot anglais. Aussi, le projet n'est pas le maintien de plus.

    OriginalL'auteur JDrost1818