Ce n'global_step dire dans Tensorflow?

C'est tutoriel code de TensorFlow site web,

  1. qui pourrait aider à expliquer ce qui ne global_step veux dire?

    J'ai trouvé sur le Tensorflow site écrit que mondiale étape est utilisé comte de formation les étapes, mais je n'arrive pas à obtenir ce que l'on entend exactement.

  2. Aussi, quel est le nombre 0 moyenne lors de la configuration de global_step? 

    def training(loss,learning_rate):
        tf.summary.scalar('loss',loss)
        optimizer = tf.train.GradientDescentOptimizer(learning_rate)

        # Why 0 as the first parameter of the global_step tf.Variable?
        global_step = tf.Variable(0, name='global_step',trainable=False)

        train_op = optimizer.minimize(loss, global_step=global_step)

        return train_op

Selon Tensorflow doc global_step: incrément par les uns après les variables ont été mis à jour. Est-ce à dire après une mise à jour global_step devient 1?

InformationsquelleAutor GabrielChu | 2016-12-15
  1. 92

    global_step désigne le nombre de lots vu par le graphique. Chaque fois qu'un lot est fourni, les pondérations sont mises à jour dans la direction qui minimise la perte. global_step seulement assure le suivi du nombre de lots vu jusqu'à présent. Quand il est passé dans le minimize() liste d'arguments, la variable est augmenté de un. Jetez un oeil à optimizer.réduire().

    Vous pouvez obtenir le global_step valeur à l'aide de tf.le train.global_step().
    Également à portée de main sont les méthodes de l'utilitaire tf.le train.get_global_step ou tf.le train.get_or_create_global_step.

    0 est la valeur initiale de la mondial de l'étape dans ce contexte.

    • Merci! Dans le lien que vous avez fourni, tf.train.global_step(), le global_step_tensor est fixé à 10. Est-ce à dire 10 lots sont déjà vu par le graphique?
    • Je ne comprends toujours pas l'intérêt d'avoir global_step. N'est-ce pas la boucle pour les lots piloté par le programme en python lui-même, de sorte que le programme en python peuvent facilement savoir combien de lots ont été fait. Pourquoi s'embêter à avoir le tensorflow de maintient un compteur?
    • les optimiseurs de varys il constantes mondial de l'étape @xwk
    • pour répondre à xwk de la question, je pense que si vous arrêtez de formation après 100 itérations, au lendemain de la restauration du modèle et d'exécuter un autre 100 itérations. Maintenant, votre étape est de 200, mais la deuxième exécuter un nombre d'itérations de 1 à 100, ce qui est local à exécuter, rapport mondial étape de l'itération. Ainsi, le mondial de l'étape enregistrer le nombre total d'itérations, peut-être utilisée pour la modification de l'apprentissage du taux ou de l'autre hyper-paramètre.
    • pour construire sur Wei Liu réponse, mesures à l'échelon mondial sont également utiles pour le suivi des progrès de l'distribué TensorFlow emplois. En tant que travailleurs simultanément voir les lots, il doit y avoir un mécanisme pour le suivi du nombre total de lots vu. C'est la façon dont StopAtStepHook faire fonctionner par exemple.
    • Construire Malo réponse, aujourd'hui, les gens ont tendance à utiliser l'apprentissage des taux planificateur de modifier progressivement au taux d'apprentissage que la formation d'itérations augmente. De nombreux planificateurs dépendent de l'époque actuelle, nombre, mais certains peuvent aussi dépendre du lot actuel de l'indice. Par exemple, le cyclique planificateur a été utilisé pour modifier le taux d'apprentissage après chaque lot. Dans ce cas, le mondial de l'étape fournit un moyen pour le planificateur de savoir qui de lot, le modèle est aujourd'hui.

    InformationsquelleAutor martianwars
  2. 2

    La global_step Variable détient le nombre total d'étapes au cours de la formation à travers les tâches (chaque étape de l'indice ne se fera que sur une seule tâche).

    Un scénario créé par global_step nous aide à comprendre de savoir où nous en sommes dans
    le grand schéma, à partir de chacune des tâches séparément. Par exemple, la perte et la précision pourrait être tracée en fonction de la global_step sur Tensorboard.

    InformationsquelleAutor envy_intelligence
  3. 2

    vous montrer un vif exemple ci-dessous:

    code:

    train_op = tf.train.GradientDescentOptimizer(learning_rate=LEARNING_RATE).minimize(loss_tensor,global_step=tf.train.create_global_step())
with tf.Session() as sess:
    ...
    tf.logging.log_every_n(tf.logging.INFO,"np.mean(loss_evl)= %f at step %d",100,np.mean(loss_evl),sess.run(tf.train.get_global_step()))

    d'impression correspondants

    INFO:tensorflow:np.mean(loss_evl)= 1.396970 at step 1
INFO:tensorflow:np.mean(loss_evl)= 1.221397 at step 101
INFO:tensorflow:np.mean(loss_evl)= 1.061688 at step 201
    InformationsquelleAutor yichudu