Tensorflow: Comment avoir toutes les variables de rnn_cell.BasicLSTM & rnn_cell.MultiRNNCell

J'ai une configuration où j'ai besoin d'initialiser un LSTM après l'initialisation, qui utilise tf.initialize_all_variables(). I. e. Je veux l'appeler tf.initialize_variables([var_list])

Est là pour regrouper tous les internes aptes à la formation de variables pour les deux:

  • rnn_cell.BasicLSTM
  • rnn_cell.MultiRNNCell

afin que je puisse initialiser JUSTE ces paramètres?

La raison principale que je veux c'est parce que je ne veux pas re-initialiser certaines formés valeurs à partir plus tôt.

InformationsquelleAutor bge0 | 2016-01-26
  1. 17

    La meilleure façon de résoudre votre problème est l'utilisation de la portée des variables. Les noms des variables au sein d'un champ d'application sera précédée de son nom. Voici un court extrait:

    cell = rnn_cell.BasicLSTMCell(num_nodes)

with tf.variable_scope("LSTM") as vs:
  # Execute the LSTM cell here in any way, for example:
  for i in range(num_steps):
    output[i], state = cell(input_data[i], state)

  # Retrieve just the LSTM variables.
  lstm_variables = [v for v in tf.all_variables()
                    if v.name.startswith(vs.name)]

# [..]
# Initialize the LSTM variables.
tf.initialize_variables(lstm_variables)

    Il fonctionne de la même façon avec MultiRNNCell.

    EDIT: changé tf.trainable_variables à tf.all_variables()

    • C'est parfait, merci. Je ne savais pas que tf.trainable_variables() respecte, mais je pense, avec le recul, cela fait sens!
    • Voudrais ajouter que tf.all_variables() au lieu de tf.trainable_variables() serait un meilleur choix. Principalement parce que il ya des choses comme les optimiseurs qui n'ont pas les moyens variables, qui serait pourtant encore besoin d'être initialisé.
    • Merci, vous êtes de droite. J'ai mis à jour le code.
    • Vous avez peut-être devriez vérifier pour v.name.startswith(vs.name + "/") car il pourrait y avoir une autre portée avec le même préfixe de nom, par exemple "LSTM2".
    • il fonctionne, mais parfois, je souhaite que la LSTM est configuré différemment pour être conforme à tous les autres types de variables dans tensorflow
    InformationsquelleAutor Rafał Józefowicz
  2. 11

    Vous pouvez également utiliser tf.get_collection():

    cell = rnn_cell.BasicLSTMCell(num_nodes)
with tf.variable_scope("LSTM") as vs:
  # Execute the LSTM cell here in any way, for example:
  for i in range(num_steps):
    output[i], state = cell(input_data[i], state)

  lstm_variables = tf.get_collection(tf.GraphKeys.VARIABLES, scope=vs.name)

    (en partie copié à partir de Rafal réponse)

    Noter que la dernière ligne est équivalente à la compréhension de liste dans Rafal du code.

    Fondamentalement, tensorflow magasins une collection mondiale de variables, qui peuvent être récupérés par tf.all_variables() ou tf.get_collection(tf.GraphKeys.VARIABLES). Si vous spécifiez scope (nom de l'étendue) dans le tf.get_collection() fonction, alors vous ne chercher tenseurs (variables dans ce cas) dans la collection dont les portées sont sous la portée spécifiée.

    EDIT:
    Vous pouvez également utiliser tf.GraphKeys.TRAINABLE_VARIABLES pour obtenir éducables variables seulement. Mais depuis la vanille BasicLSTMCell ne s'initialise pas non éducables variable, les deux seront fonctionnellement équivalent. Pour une liste complète de graphique par défaut collections, vérifiez cette out.

    • Ce est la façon la meilleure façon de Rafal de la solution 🙂
    • Tout comme j'ai fait remarquer ci-dessus, vous avez peut-être devrait mieux utiliser tf.get_collection(..., scope=vs.name + "/") car il pourrait y avoir un autre champ nommé "LSTM2" ou alors.
    InformationsquelleAutor Minjoon Seo