D'enregistrer et de réutiliser TfidfVectorizer dans scikit learn

Tout d'abord, il est préférable de laisser l'importation en haut de votre code au lieu de l'intérieur de votre classe:

from sklearn.feature_extraction.text import TfidfVectorizer
class changeToMatrix(object):
  def __init__(self,ngram_range=(1,1),tokenizer=StemTokenizer()):
    ...

Prochaine StemTokenizer ne semble pas être une représentation canonique de la classe. Peut-être que vous avez obtenu à partir de http://sahandsaba.com/visualizing-philosophers-and-scientists-by-the-words-they-used-with-d3js-and-python.html ou peut-être quelque part d'autre donc nous allons supposer qu'il renvoie une liste de chaînes de caractères.

class StemTokenizer(object):
    def __init__(self):
        self.ignore_set = {'footnote', 'nietzsche', 'plato', 'mr.'}

    def __call__(self, doc):
        words = []
        for word in word_tokenize(doc):
            word = word.lower()
            w = wn.morphy(word)
            if w and len(w) > 1 and w not in self.ignore_set:
                words.append(w)
        return words

Maintenant pour répondre à votre question, il est possible que vous ayez besoin pour ouvrir un fichier en mode octet avant de dumping d'un cornichon, c'est à dire:

>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> from nltk import word_tokenize
>>> import cPickle as pickle
>>> vectorizer = TfidfVectorizer(ngram_range=(0,2),analyzer='word',lowercase=True, token_pattern='[a-zA-Z0-9]+',strip_accents='unicode',tokenizer=word_tokenize)
>>> vectorizer
TfidfVectorizer(analyzer='word', binary=False, decode_error=u'strict',
        dtype=<type 'numpy.int64'>, encoding=u'utf-8', input=u'content',
        lowercase=True, max_df=1.0, max_features=None, min_df=1,
        ngram_range=(0, 2), norm=u'l2', preprocessor=None, smooth_idf=True,
        stop_words=None, strip_accents='unicode', sublinear_tf=False,
        token_pattern='[a-zA-Z0-9]+',
        tokenizer=<function word_tokenize at 0x7f5ea68e88c0>, use_idf=True,
        vocabulary=None)
>>> with open('vectorizer.pk', 'wb') as fin:
...     pickle.dump(vectorizer, fin)
... 
>>> exit()
alvas@ubi:~$ ls -lah vectorizer.pk 
-rw-rw-r-- 1 alvas alvas 763 Jun 15 14:18 vectorizer.pk

Note: à l'Aide de la with idiome pour i/o accès au fichier se ferme automatiquement le fichier une fois que vous sortez de la with portée.

Sur la question avec SnowballStemmer(), notez que SnowballStemmer('english') est un objet tandis que le radical fonction est SnowballStemmer('english').stem.

IMPORTANT:

• TfidfVectorizer'générateur de jetons paramètre s'attend à prendre une chaîne de caractères et retourne une liste de chaîne de
• Mais boule de neige stemmer ne prend pas une chaîne de caractères en entrée et retourne une liste de chaîne de caractères.

De sorte que vous aurez besoin pour ce faire:

>>> from nltk.stem import SnowballStemmer
>>> from nltk import word_tokenize
>>> stemmer = SnowballStemmer('english').stem
>>> def stem_tokenize(text):
...     return [stemmer(i) for i in word_tokenize(text)]
... 
>>> vectorizer = TfidfVectorizer(ngram_range=(0,2),analyzer='word',lowercase=True, token_pattern='[a-zA-Z0-9]+',strip_accents='unicode',tokenizer=stem_tokenize)
>>> with open('vectorizer.pk', 'wb') as fin:
...     pickle.dump(vectorizer, fin)
...
>>> exit()
alvas@ubi:~$ ls -lah vectorizer.pk 
-rw-rw-r-- 1 alvas alvas 758 Jun 15 15:55 vectorizer.pk

OriginalL'auteur alvas