Différence entre Variable et get_variable dans TensorFlow

Autant que je sache, Variable est le fonctionnement par défaut pour la fabrication d'une variable, et get_variable est principalement utilisé pour le poids de partage.

D'une part, il y a quelques personnes en train de suggérer à l'aide de get_variable au lieu de la primitive Variable opération chaque fois que vous besoin d'une variable. D'autre part, je me contenterai de voir toute utilisation de get_variable dans TensorFlow de documents officiels et de démos.

Donc je veux savoir quelques règles de base sur la façon d'utiliser correctement ces deux mécanismes. Il n'existe aucun "standard" principes?

  • get_variable est nouvelle façon, la Variable est ancienne (ce qui pourrait être pris en charge pour toujours) que Lukasz dit (PS: il a écrit la plupart de la variable nom de la portée dans TF)
InformationsquelleAutor Lifu Huang | 2016-05-08
  1. 86

    Je vous recommande de toujours utiliser tf.get_variable(...) -- il sera plus facile de revoir votre code si vous avez besoin de partager des variables à tout moment, par exemple dans une configuration multi-gpu (voir le multi-gpu de l'ICRA exemple). Il n'y a aucun inconvénient à cela.

    Pur tf.Variable est de niveau inférieur; à un certain point tf.get_variable() n'existe pas, donc un peu de code utilise toujours le faible niveau moyen.

    • Merci beaucoup pour votre réponse. Mais j'ai encore une question sur la façon de remplacer tf.Variable avec tf.get_variable partout. C'est quand je veux initialiser une variable avec un tableau numpy, je ne peux pas trouver un endroit propre et efficace de le faire comme je le fais avec tf.Variable. Comment voulez-vous résoudre? Merci.
    InformationsquelleAutor Lukasz Kaiser
  2. 64

    tf.Variable est une classe, et il y a plusieurs façons de créer des tf.Variable y compris les tf.Variable.__init__ et de la tf.get_variable.

    tf.Variable.__init__: Crée une nouvelle variable avec initial_value.

    W = tf.Variable(<initial-value>, name=<optional-name>)

    tf.get_variable: Récupère une variable existante avec ces paramètres, ou en créer un nouveau. Vous pouvez également utiliser de l'initialiseur.

    W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
       regularizer=None, trainable=True, collections=None)

    Il est très utile d'utiliser les initialiseurs comme xavier_initializer:

    W = tf.get_variable("W", shape=[784, 256],
       initializer=tf.contrib.layers.xavier_initializer())

    Plus d'informations à https://www.tensorflow.org/versions/r0.8/api_docs/python/state_ops.html#Variable.

    • Oui, par Variable en fait je veux dire à l'aide de son __init__. Depuis get_variable est tellement pratique, je me demande pourquoi la plupart des TensorFlow code, j'ai vu l'utilisation Variable au lieu de get_variable. Existe-il des conventions ou des facteurs à considérer au moment de choisir entre eux. Merci!!!!
    • Si vous voulez avoir une certaine valeur, à l'aide de la Variable est simple: x = tf.Variable(3).
    • normalement, lorsque nous utilisons tf.Variable() on peut l'initialiser comme une valeur aléatoire à partir d'une distribution normale tronquée. Voici mon exemple w1 = tf.Variable(tf.truncated_normal([5, 50], stddev = 0.01), name = 'w1'). Ce serait l'équivalent de ce être? comment puis-je lui dire que je veux une normale tronquée? Dois-je simplement faire w1 = tf.get_variable(name = 'w1', shape = [5,50], initializer = tf.truncated_normal, regularizer = tf.nn.l2_loss) ?
    • Vous pouvez utiliser tf.truncated_normal_initializer() pour obtenir le résultat souhaité.
    InformationsquelleAutor Sung Kim
  3. 41

    Je peux trouver les deux principales différences entre l'un et l'autre:

    1. Première est que tf.Variable toujours créer une nouvelle variable, si tf.get_variable obtient à partir du graphique d'une variable existante avec ces paramètres, et si elle n'existe pas, il en crée un nouveau.

    2. tf.Variable exige que la valeur initiale être spécifié.

    Il est important de préciser que la fonction tf.get_variable précéder le nom de la variable courante portée pour effectuer la réutilisation des contrôles. Par exemple:

    with tf.variable_scope("one"):
    a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists
with tf.variable_scope("one", reuse = True):
    c = tf.get_variable("v", [1]) #c.name == "one/v:0"

with tf.variable_scope("two"):
    d = tf.get_variable("v", [1]) #d.name == "two/v:0"
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0"

assert(a is c)  #Assertion is true, they refer to the same object.
assert(a is d)  #AssertionError: they are different objects
assert(d is e)  #AssertionError: they are different objects

    La dernière erreur d'assertion est intéressant: Deux variables avec le même nom dans le même champ d'application sont censés être de la même variable. Mais si vous testez les noms de variables d et e vous vous rendrez compte que Tensorflow changé le nom de la variable e:

    d.name   #d.name == "two/v:0"
e.name   #e.name == "two/v_1:0"
    InformationsquelleAutor Jadiel de Armas
  4. 2

    Une autre différence réside dans le fait que l'on est dans ('variable_store',) de la collection, mais l'autre ne l'est pas.

    Veuillez voir la source code: 

    def _get_default_variable_store():
  store = ops.get_collection(_VARSTORE_KEY)
  if store:
    return store[0]
  store = _VariableStore()
  ops.add_to_collection(_VARSTORE_KEY, store)
  return store

    Permettez-moi de l'illustrer: 

    import tensorflow as tf
from tensorflow.python.framework import ops

embedding_1 = tf.Variable(tf.constant(1.0, shape=[30522, 1024]), name="word_embeddings_1", dtype=tf.float32) 
embedding_2 = tf.get_variable("word_embeddings_2", shape=[30522, 1024])

graph = tf.get_default_graph()
collections = graph.collections

for c in collections:
    stores = ops.get_collection(c)
    print('collection %s: ' % str(c))
    for k, store in enumerate(stores):
        try:
            print('\t%d: %s' % (k, str(store._vars)))
        except:
            print('\t%d: %s' % (k, str(store)))
    print('')

    La sortie:

    collection ('__variable_store',): 0: {'word_embeddings_2':
    <tf.Variable 'word_embeddings_2:0' shape=(30522, 1024)
    dtype=float32_ref>}

    InformationsquelleAutor Lerner Zhang