À l'aide de pré-formés word2vec avec LSTM pour le mot "génération"

J'ai créé un gist avec un générateur simple qui s'appuie sur le dessus de votre idée initiale: c'est un LSTM réseau câblé à la pré-formés word2vec plongements, formés pour prédire le mot suivant dans une phrase. Les données sont le liste des résumés de arXiv site web.

Je vais mettre en évidence les parties les plus importantes ici.

Gensim Word2Vec

Votre code est bien, sauf pour le nombre d'itérations pour le former. La valeur par défaut iter=5 semble plutôt faible. En outre, il n'est certainement pas le goulot d'étranglement -- LSTM formation prend beaucoup plus de temps. iter=100 regarde mieux.

word_model = gensim.models.Word2Vec(sentences, size=100, min_count=1, 
                                    window=5, iter=100)
pretrained_weights = word_model.wv.syn0
vocab_size, emdedding_size = pretrained_weights.shape
print('Result embedding shape:', pretrained_weights.shape)
print('Checking similar words:')
for word in ['model', 'network', 'train', 'learn']:
  most_similar = ', '.join('%s (%.2f)' % (similar, dist) 
                           for similar, dist in word_model.most_similar(word)[:8])
  print('  %s -> %s' % (word, most_similar))

def word2idx(word):
  return word_model.wv.vocab[word].index
def idx2word(idx):
  return word_model.wv.index2word[idx]

Le résultat de l'incorporation de la matrice est enregistré dans pretrained_weights tableau qui a une forme (vocab_size, emdedding_size).

Keras modèle

Votre code est presque correct, sauf pour la perte de fonction. Etant donné que le modèle prédit que le mot suivant, c'est une tâche de classification, d'où la perte devrait être categorical_crossentropy ou sparse_categorical_crossentropy. J'ai choisi cette dernière pour des raisons d'efficacité: de cette façon, il évite un chaud-encodage, ce qui est assez cher pour un grand vocabulaire.

model = Sequential()
model.add(Embedding(input_dim=vocab_size, output_dim=emdedding_size, 
                    weights=[pretrained_weights]))
model.add(LSTM(units=emdedding_size))
model.add(Dense(units=vocab_size))
model.add(Activation('softmax'))
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')

Note de passage de la pré-formation de poids à weights.

Préparation des données

Afin de travailler avec sparse_categorical_crossentropy perte, les deux phrases, et les étiquettes doivent être mot indices. Des phrases courtes doivent être complétées par des zéros à la commune de la longueur.

train_x = np.zeros([len(sentences), max_sentence_len], dtype=np.int32)
train_y = np.zeros([len(sentences)], dtype=np.int32)
for i, sentence in enumerate(sentences):
  for t, word in enumerate(sentence[:-1]):
    train_x[i, t] = word2idx(word)
  train_y[i] = word2idx(sentence[-1])

Exemple de génération

C'est assez simple: les sorties du modèle le vecteur des probabilités, dont le mot suivant est échantillonné et annexé à l'entrée. Notez que le texte serait mieux et plus diversifiée, si le mot suivant est échantillonnés, plutôt que de choisi comme argmax. La température de base de l'échantillonnage aléatoire que j'ai utilisé est décrit ici.

def sample(preds, temperature=1.0):
  if temperature <= 0:
    return np.argmax(preds)
  preds = np.asarray(preds).astype('float64')
  preds = np.log(preds) / temperature
  exp_preds = np.exp(preds)
  preds = exp_preds / np.sum(exp_preds)
  probas = np.random.multinomial(1, preds, 1)
  return np.argmax(probas)

def generate_next(text, num_generated=10):
  word_idxs = [word2idx(word) for word in text.lower().split()]
  for i in range(num_generated):
    prediction = model.predict(x=np.array(word_idxs))
    idx = sample(prediction[-1], temperature=0.7)
    word_idxs.append(idx)
  return ' '.join(idx2word(idx) for idx in word_idxs)

Exemples de texte généré

deep convolutional... -> deep convolutional arithmetic initialization step unbiased effectiveness
simple and effective... -> simple and effective family of variables preventing compute automatically
a nonconvex... -> a nonconvex technique compared layer converges so independent onehidden markov
a... -> a function parameterization necessary both both intuitions with technique valpola utilizes

N'a pas trop de sens, mais il est capable de produire des phrases qui ressemblent au moins sur le plan grammatical, le son (parfois).

Le lien vers le complète script exécutable.