Tensorflow: Comment remplacer un nœud dans un calcul graphique?

Si vous avez deux graphes disjoints, et que vous voulez le lien, tourner à ceci:

x = tf.placeholder('float')
y = f(x)

y = tf.placeholder('float')
z = f(y)

dans cette:

x = tf.placeholder('float')
y = f(x)
z = g(y)

Est-il un moyen de le faire? Il semble que cela pourrait faciliter la construction dans certains cas.

Par exemple, si vous avez un graphique qui a l'image d'entrée comme un tf.placeholder, et vous voulez optimiser l'image d'entrée, profonde de rêve style, est-il un moyen de remplacer l'espace réservé avec un tf.variable nœud? Ou vous avez à penser qu'avant de construire le graphe?

InformationsquelleAutor mdaoust | 2015-11-17

python tensorflow

30

TL;DR: Si vous pouvez définir les deux calculs de fonctions Python, vous devriez le faire. Si vous ne pouvez pas, il y a des fonctionnalités plus avancées dans TensorFlow pour sérialiser et importer des graphiques, qui vous permet de créer des graphiques à partir de différentes sources.

Un moyen de le faire dans TensorFlow est de construire le disjoints calculs distincts tf.Graph objets, puis de les convertir à sérialisé protocole de tampons à l'aide de Graphique.as_graph_def():
```
with tf.Graph().as_default() as g_1:
  input = tf.placeholder(tf.float32, name="input")
  y = f(input)
  # NOTE: using identity to get a known name for the output tensor.
  output = tf.identity(y, name="output")

gdef_1 = g_1.as_graph_def()

with tf.Graph().as_default() as g_2:  # NOTE: g_2 not g_1       
  input = tf.placeholder(tf.float32, name="input")
  z = g(input)
  output = tf.identity(y, name="output")

gdef_2 = g_2.as_graph_def()
```
Ensuite, vous pouvez composer gdef_1 et gdef_2 dans un troisième graphique, à l'aide de tf.import_graph_def():
```
with tf.Graph().as_default() as g_combined:
  x = tf.placeholder(tf.float32, name="")

  # Import gdef_1, which performs f(x).
  # "input:0" and "output:0" are the names of tensors in gdef_1.
  y, = tf.import_graph_def(gdef_1, input_map={"input:0": x},
                           return_elements=["output:0"])

  # Import gdef_2, which performs g(y)
  z, = tf.import_graph_def(gdef_2, input_map={"input:0": y},
                           return_elements=["output:0"]
```
- est-il une raison que je ne peux pas vous entraîner en utilisant les resultants de ce qui précède, c'est à dire quelque chose comme tf.train.AdamOptimizer().minimize(tf.nn.l2_loss(z-x)) ? Je reçois quelque chose comme No variables to optimize
- C'est malheureusement exact. La solution de contournement consiste à faire vars = op.outputs[0] for op in tf.get_default_graph().get_operations() if op.type == "Variable"] puis passer var_list=vars à minimize().
- Merci pour la réponse rapide! Dans votre exemple pour y = f(input) j'ai essayé simples à l'aide d'un tf.mul(w, input) où w ~ N(0, 0.01) [c'est à dire un tf.Variable]. À l'aide de la collection de variables, je ne vois w être recueillies, mais toujours ce message d'erreur: TypeError: Argument is not a tf.Variable: Tensor("import/w:0", dtype=float32_ref)
- Enfin une solution! Merci @mrry il serait d'une grande loi de l'humanité afin de collecter de telles élémentaire développement des cas sur une page web, les moteurs de recherche de ne pas l'oublier, comme un certain post sur un forum comme celui-ci
InformationsquelleAutor mrry

Si vous souhaitez combiner formés modèles (par exemple de réutiliser des parties d'un modèle de pré-entraîné dans un nouveau modèle), vous pouvez utiliser un Saver pour enregistrer un point de contrôle sur le premier modèle, puis restaurer que le modèle (entièrement ou partiellement) dans un autre modèle.

Par exemple, disons que vous voulez réutiliser le modèle 1 de poids w dans le modèle 2, et aussi convertir x à partir d'un espace réservé à une variable:

with tf.Graph().as_default() as g1:
    x = tf.placeholder('float')
    w = tf.Variable(1., name="w")
    y = x * w
    saver = tf.train.Saver()

with tf.Session(graph=g1) as sess:
    w.initializer.run()
    # train...
    saver.save(sess, "my_model1.ckpt")

with tf.Graph().as_default() as g2:
    x = tf.Variable(2., name="v")
    w = tf.Variable(0., name="w")
    z = x + w
    restorer = tf.train.Saver([w]) # only restore w

with tf.Session(graph=g2) as sess:
    x.initializer.run()  # x now needs to be initialized
    restorer.restore(sess, "my_model1.ckpt") # restores w=1
    print(z.eval())  # prints 3.

Corrigez-moi si je me trompe, mais cette approche ne permet pas d'enregistrer votre structure graphique de sorte que vous besoin de redéfinir à chaque fois que vous voulez utiliser des variables.

InformationsquelleAutor MiniQuark

5

Il s'avère que tf.train.import_meta_graph passe tous les arguments supplémentaires pour le sous - import_scoped_meta_graph qui a le input_map argument et utilise quand il arrive à sa propre (interne) invocation de import_graph_def.

Il n'est pas documentée, et m'a pris sa réputation toooo beaucoup de temps pour le trouver, mais ça fonctionne!
- Merci beaucoup, j'ai recherche une réponse pour un long moment.
InformationsquelleAutor Jonan Georgiev

Exemple pratique:

import tensorflow as tf
g1 = tf.Graph()
with g1.as_default():
# set variables/placeholders
tf.placeholder(tf.int32, [], name='g1_a')
tf.placeholder(tf.int32, [], name='g1_b')
# example on exacting tensor by name
a = g1.get_tensor_by_name('g1_a:0')
b = g1.get_tensor_by_name('g1_b:0')
# operation ==>>     c = 2 * 3 = 6
mul_op = tf.multiply(a, b, name='g1_mul')
sess = tf.Session()
g1_mul_results = sess.run(mul_op, feed_dict={'g1_a:0': 2, 'g1_b:0': 3})
print('graph1 mul = ', g1_mul_results)  # output = 6
print('\ngraph01 operations/variables:')
for op in g1.get_operations():
print(op.name)
g2 = tf.Graph()
with g2.as_default():
# set variables/placeholders
tf.import_graph_def(g1.as_graph_def())
g2_c = tf.placeholder(tf.int32, [], name='g2_c')
# example on exacting tensor by name
g1_b = g2.get_tensor_by_name('import/g1_b:0')
g1_mul = g2.get_tensor_by_name('import/g1_mul:0')
# operation ==>>
b = tf.multiply(g1_b, g2_c, name='g2_var_times_g1_a')
f = tf.multiply(g1_mul, g1_b, name='g1_mul_times_g1_b')
print('\ngraph01 operations/variables:')
for op in g2.get_operations():
print(op.name)
sess = tf.Session()
# graph1 variable 'a' times graph2 variable 'c'(graph2)
ans = sess.run('g2_var_times_g1_a:0', feed_dict={'g2_c:0': 4, 'import/g1_b:0': 5})
print('\ngraph2 g2_var_times_g1_a = ', ans)  # output = 20
# graph1 mul_op (a*b) times graph1 variable 'b'
ans = sess.run('g1_a_times_g1_b:0',
feed_dict={'import/g1_a:0': 6, 'import/g1_b:0': 7})
print('\ngraph2 g1_mul_times_g1_b:0 = ', ans)  # output = (6*7)*7 = 294
''' output
graph1 mul =  6
graph01 operations/variables:
g1_a
g1_b
g1_mul
graph01 operations/variables:
import/g1_a
import/g1_b
import/g1_mul
g2_c
g2_var_times_g1_a
g1_a_times_g1_b
graph2 g2_var_times_g1_a =  20
graph2 g1_a_times_g1_b:0 =  294
'''

référence LIEN

InformationsquelleAutor Manuel Cuevas

Vous devez vous connecter pour publier un commentaire.